Tekstverwerking met Snowflake Cortex AI

Tekstdata vormt een aanzienlijk deel van moderne data-analysetaken, van klantbeoordelingen tot zakelijke documenten. De mogelijkheid om tekstuele informatie te extraheren, samen te vatten, te vertalen en te analyseren is cruciaal voor datagedreven besluitvorming. Snowflake Cortex AI vereenvoudigt tekstverwerking door een low-to-no-code-omgeving te bieden voor AI-gebruik. In dit artikel behandelen we de basisfuncties van Cortex AI en geven we praktische tips voor de implementatie.

Snowflake Cortex AI zelf is een krachtige suite van AI- en machinelearningtools, ingebed in de Snowflake Data Cloud. Het heeft ingebouwde ondersteuning voor Large Language Model (LLM)-functies zoals Meta Llama 3 en Mistral Large-modellen.  

Snowflake Cortex AI is een uitstekende manier voor dataprofessionals van elk niveau om met AI te starten, omdat het kant-en-klare AI-functies in SQL biedt, geen externe API vereist en schaalt met de Snowflake-datainfrastructuur. 

Als je nieuw bent met Snowflake, raad ik de cursus Introduction to Snowflake SQL aan.

De tekstverwerkingsfuncties van Snowflake Cortex AI begrijpen

Snowflake Cortex AI biedt een reeks ingebouwde tools die tekstverwerking efficiënter maken. Van samenvatten en vertalen tot sentimentanalyse en documentparsing: met deze functies kun je inzichten uit grote hoeveelheden tekst halen, rechtstreeks binnen Snowflake. Laten we deze mogelijkheden verkennen en bekijken hoe ze in de praktijk kunnen worden toegepast.

Large Language Model (LLM)-functies

Snowflake Cortex AI biedt Large Language Model (LLM)-functies om diverse tekstgerelateerde taken efficiënt uit te voeren. 

Zo laat de functie COMPLETE je een prompt aan een specifiek model geven (zoals Llama3 of Mistral) en een antwoord terugkrijgen, vergelijkbaar met hoe je ChatGPT op het web gebruikt. 

Je kunt ook specifieke functies zoals SUMMARIZE en TRANSLATE gebruiken om snel en eenvoudig gerichte taken uit te voeren. Met deze functies kun je razendsnel samenvatten, vertalen en sentimenten analyseren. Wil je meer leren over LLM’s in het algemeen, bekijk dan de LLMs Concepts-cursus.

Document AI

Document AI is Snowflake’s eigen AI-functie, ontworpen om informatie uit ongestructureerde documenten te extraheren en te structureren. De kern is Arctic-TILT, Snowflake’s gespecialiseerde AI-model, waarmee tekst uit diverse documentformaten wordt geanalyseerd en omgezet naar gestructureerde, query-klaar data.

Met Document AI kunnen gebruikers:

• Documenten uploaden (bijv. pdf’s, gescande rapporten, facturen).
• AI-gestuurde queries stellen om relevante informatie te extraheren.
• Data-extractiepijplijnen automatiseren om workflows te stroomlijnen.

Hoewel deze tool zeer krachtig is, zijn er momenteel enkele beperkingen rond ondersteunde bestandstypen, documentgroottes en verwerkingslengte. Voor organisaties die met grote hoeveelheden ongestructureerde tekst werken—zoals juridische documenten, klantcontracten of jaarrekeningen—biedt Document AI echter een efficiënte manier om ruwe tekst om te zetten in gestructureerde Snowflake-databases, waardoor vervolganalyse aanzienlijk eenvoudiger wordt.

Uit de documentatie van Snowflake Document AI

Belangrijke tekstverwerkingsfuncties in Snowflake Cortex AI

Laten we kort kijken naar de belangrijkste functies van Snowflake Cortex AI en wat ze kunnen. In de volgende sectie geven we een paar (eenvoudige) stappen om deze functies te gebruiken.

Tekstsamenvatting

Tekst samenvatten doe je met de functie SUMMARIZE. Kort gezegd neemt die een gegeven stuk tekst en levert snel een samenvatting. Geef je bijvoorbeeld een lang artikel of rapport, dan krijg je de kerninformatie van die tekst terug.

Tekstvertaling

De functie TRANSLATE maakt naadloze taalvertaling mogelijk. Zo kun je klantfeedback of supporttickets die in een vreemde taal zijn ingediend vertalen naar het Engels. Er worden tal van doeltalen ondersteund, zoals Engels, Frans, Nederlands, Duits, Japans, Chinees en meer.

Sentimentanalyse

Sentimentanalyse bepaalt de algemene emotie of toon van een tekst. Het geeft context of iets positief, negatief of neutraal is. Snowflake’s functie SENTIMENT retourneert een numerieke waarde tussen -1 en 1, waarbij -1 negatief is, 1 positief en 0 overwegend neutraal.

Document parsing

Document parsing is mogelijk het meest complexe onderdeel hier. Het neemt een documentbestand dat ergens is opgeslagen en extraheert informatie uit dat document. Hiervoor kunnen we de functie PARSE_DOCUMENT gebruiken.

Tekstverwerking implementeren met Snowflake Cortex AI

Nu we de mogelijkheden voor tekstverwerking van Cortex AI hebben verkend, lopen we door hoe je ze in de praktijk brengt, te beginnen met het inrichten van je omgeving.

Je omgeving instellen

Er zijn een paar stappen om klaar te zijn voor het gebruik van Snowflake Cortex AI. Zorg dat je het volgende hebt geregeld:

1. Je hebt de databasegebruikersrol SNOWFLAKE.CORTEX_USER nodig.
2. Je data moet zijn opgeslagen in Snowflake-compatibele formaten.
3. Je moet Cortex AI-functies inschakelen in je Snowflake-instantie.

Als je niet de benodigde permissies hebt, neem dan contact op met je databasebeheerder (of als jij de beheerder bent, ken jezelf deze rollen toe) om toegang te krijgen. Let ook op dat sommige modellen mogelijk niet beschikbaar zijn door de specifieke instellingen van je organisatie.

Praktische voorbeelden

Laten we enkele voorbeelden doornemen van de kernfuncties samenvatten, vertalen en sentimentanalyse. We gebruiken verschillende voorbeeldtabelnamen en kolommen. Ga ervan uit dat de tabel waaruit we ophalen een willekeurige tabel in je Snowflake-database is, en dat de kolom je tekstinformatie bevat. Je zult snel zien hoe eenvoudig het is om deze functies in Snowflake uit te voeren.

Tekstgegevens samenvatten

We beginnen met een veelvoorkomende taak: een reeks nieuwsartikelen samenvatten.

-- Assume that the data is in the table ‘articles’
--We want to summarize all the text from all the articles we have in our database

SELECT SNOWFLAKE.CORTEX.SUMMARIZE(article_text) AS summary
FROM articles;

Supporttickets vertalen

Een andere veelvoorkomende taak is het vertalen van supporttickets die niet allemaal in je lokale taal binnenkomen. SNOWFLAKE.CORTEX.TRANSLATE(text, ‘source language’,’target language’) is de algemene syntax, waarbij ’source language’ en ’target language’ tweeletterige taalcodes zijn. 

Als de brontaal een lege string ’’ is, wordt de taal automatisch gedetecteerd.

/* We select from the table support_tickets
 The column ticket_description has all the ticket text
We are going from ‘fr’ to ‘en’ */
SELECT SNOWFLAKE.CORTEX.TRANSLATE(ticket_description, 'fr', 'en') FROM support_tickets;

--If we leave the source language as just an empty string ‘’, it will automatically detect the language
SELECT SNOWFLAKE.CORTEX.TRANSLATE(ticket_description, '', 'en') FROM support_tickets;

Sentimentanalyse uitvoeren op klantreacties

Tot slot bekijken we het klantensentiment op sociale media met SENTIMENT.

--Select from the social_media_comments table
--provide the text to the SENTIMENT function.
SELECT SNOWFLAKE.CORTEX.SENTIMENT(comment_text) FROM social_media_comments;

Best practices en aandachtspunten

Zoals met alles rond AI hebben we best practices en richtlijnen nodig. Door dataprivacywetten te volgen en onze queries te optimaliseren, halen we het beste uit Snowflake Cortex AI.

Dataprivacy en beveiliging

Dataprivacy is een van de belangrijkste aspecten, zeker bij AI. Gelukkig is dit in Snowflake in je omgeving ingebed. Je kunt het toegangscontroleframework van Snowflake gebruiken om te helpen zorgen dat je toegangsbest practices en regelgeving naleeft.

• Zorg voor naleving van AVG, CCPA en andere regelgeving bij het verwerken van gebruikersdata.
• Rolgebaseerde toegangscontrole (RBAC) gebruiken om gevoelige tekstverwerking te beperken.

Prestatie-optimalisatie

Ongestructureerde data kan enorm zijn. Slim omgaan met de verwerking minimaliseert zowel draaitijd als kosten. Probeer deze best practices voor prestatie-optimalisatie:

• Batchverwerking: Verwerk tekst in bulk in plaats van rij voor rij.
• Efficiënte opslag: Sla grote documenten op in geoptimaliseerde Snowflake-tabellen.
• Indexeren en cachen: Gebruik indexering voor vaak geraadpleegde tekstdata.

Conclusie

Snowflake Cortex AI vereenvoudigt tekstverwerking met ingebouwde, AI-gestuurde tekstfuncties rechtstreeks in Snowflake SQL. Met robuuste mogelijkheden voor samenvatten, vertalen, sentimentanalyse en documentparsing kunnen dataprofessionals van elk niveau moeiteloos waardevolle inzichten uit tekst halen. 

Door gebruik te maken van kant-en-klare AI-tools kunnen bedrijven waardevolle informatie ontsluiten en eenvoudig datagedreven beslissingen nemen. Ben je benieuwd naar meer over Snowflake en de tooling, bekijk dan deze resources:

• How to Learn Snowflake in 2025
• Introduction to Data Modeling in Snowflake
• Introduction to Snowflake for Beginners
• Snowflake Cortex AI met Python