Textverarbeitung mit Snowflake Cortex AI

Textdaten machen einen großen Teil der modernen Datenanalyse aus, von Kundenrezensionen bis hin zu Unternehmensdokumenten. Die Fähigkeit, Textinformationen zu extrahieren, zusammenzufassen, zu übersetzen und zu analysieren, ist entscheidend, um datengestützte Entscheidungen zu treffen. Snowflake Cortex AI vereinfacht die Textverarbeitung, indem es eine Umgebung mit wenig bis gar keinem Code für den Einsatz von KI bietet. Dieser Artikel behandelt die grundlegenden Funktionen von Cortex AI und gibt dann einige praktische Tipps für die Umsetzung.

Snowflake Cortex AI selbst ist eine leistungsstarke Suite von KI- und Machine Learning-Tools, die in die Snowflake Data Cloud eingebettet ist. Es hat integrierte Unterstützung für Large Language Model (LLM) Funktionen wie Meta Llama 3 und Mistral Large Modelle.

Snowflake Cortex AI ist eine hervorragende Möglichkeit für Datenexperten aller Ebenen, mit KI zu beginnen, da es vorgefertigte KI-Funktionen in SQL bietet, keine externe API benötigt und mit der Snowflake-Dateninfrastruktur skaliert. 

Wenn du neu in Snowflake bist, empfehle ich dir die Einführung in Snowflake SQL Kurs.

Die Textverarbeitungsfunktionen von Snowflake Cortex AI verstehen

Snowflake Cortex AI bietet eine Reihe von integrierten Tools, die die Textverarbeitung effizienter machen. Von der Zusammenfassung und Übersetzung bis hin zur Stimmungsanalyse und dem Parsen von Dokumenten ermöglichen diese Funktionen den Nutzern, direkt in Snowflake Erkenntnisse aus großen Textmengen zu gewinnen. Wir wollen diese Fähigkeiten erkunden und herausfinden, wie sie in realen Szenarien angewendet werden können.

Funktionen des großen Sprachmodells (LLM)

Snowflake Cortex AI bietet Large Language Model (LLM) Funktionen, um verschiedene textbezogene Aufgaben effizient zu erledigen. 

Mit der Funktion COMPLETE kannst du zum Beispiel einem bestimmten Modell (z. B. Llama3 oder Mistral) eine Aufforderung geben und eine Antwort erhalten, ähnlich wie du ChatGPT im Internet verwenden könntest. 

Du kannst auch bestimmte Funktionen wie SUMMARIZE und TRANSLATE nutzen, um bestimmte Aufgaben schnell und einfach zu erledigen. Diese Funktionen machen es sehr einfach, schnell Zusammenfassungen, Übersetzungen und Stimmungsanalysen durchzuführen. Wenn du mehr über LLMs im Allgemeinen erfahren möchtest, schau dir den LLMs-Konzepte-Kurs.

Dokument AI

Document AI ist eine Snowflake-eigene Funktion der künstlichen Intelligenz, die entwickelt wurde, um Informationen aus unstrukturierten Dokumenten zu extrahieren und zu strukturieren. Im Kern nutzt es Arctic-TILT, Snowflakes spezielles KI-Modell, um Text aus verschiedenen Dokumentenformaten zu analysieren und in strukturierte, abfragefähige Daten zu konvertieren.

Mit Document AI können Nutzer/innen:

• Dokumente hochladen (z. B. PDFs, eingescannte Berichte, Rechnungen).
• Stelle KI-gesteuerte Abfragen um relevante Informationen zu erhalten.
• Automatisiere Datenextraktions-Pipelines um Arbeitsabläufe zu rationalisieren.

Dieses Tool ist zwar sehr leistungsfähig, hat aber derzeit einige Einschränkungen in Bezug auf die unterstützten Dateitypen, die Dokumentengröße und die Bearbeitungsdauer. Für Unternehmen, die mit großen Mengen an unstrukturiertem Text zu tun haben - wie z. B. Rechtsdokumente, Kundenverträge oder Jahresabschlüsse - bietet Document AI eine effiziente Möglichkeit, Rohtext in strukturierte Snowflake-Datenbanken umzuwandeln, was die nachgelagerte Analyse erheblich erleichtert.

Aus der Snowflake Document AI Dokumentation

Wichtige Textverarbeitungsfunktionen in Snowflake Cortex AI

Schauen wir uns kurz die wichtigsten Funktionen von Snowflake Cortex AI an und was sie leisten können. Im nächsten Abschnitt findest du ein paar (einfache) Schritte zur Nutzung dieser Funktionen.

Text-Zusammenfassung

Die Textzusammenfassung wird mit der Funktion SUMMARIZE durchgeführt. Kurz gesagt, es nimmt einen gegebenen Text und liefert schnell eine Zusammenfassung. Wenn du ihr zum Beispiel einen längeren Artikel oder Bericht gibst, liefert sie die wichtigsten Informationen zu diesem Text.

Textübersetzung

Die Funktion TRANSLATE ermöglicht eine nahtlose Sprachübersetzung. Es kann Kundenfeedback oder Supporttickets, die in einer Fremdsprache eingereicht wurden, ins Englische übersetzen. Es unterstützt eine Vielzahl von Zielsprachen wie Englisch, Französisch, Niederländisch, Deutsch, Japanisch, Chinesisch und mehr.

Stimmungsanalyse

Die Sentimentanalyse erkennt die allgemeine Emotion oder den Ton eines Textes. Sie gibt Aufschluss darüber, ob etwas positiv, negativ oder neutral ist. Die Funktion SENTIMENT von Snowflake gibt einen numerischen Wert zwischen -1 und 1 zurück, wobei -1 negativ, 1 positiv und 0 generell neutral ist.

Dokument-Parsing

Das Parsen von Dokumenten ist wahrscheinlich die komplexeste Funktion in diesem Bereich. Es nimmt eine Dokumentendatei, die irgendwo gespeichert ist, und extrahiert Informationen aus diesem Dokument. Wir können dafür die Funktion PARSE_DOCUMENT verwenden.

Implementierung von Textverarbeitung mit Snowflake Cortex AI

Nachdem wir nun die Textverarbeitungsfähigkeiten von Cortex AI kennengelernt haben, wollen wir uns ansehen, wie du sie in die Tat umsetzt, indem du deine Umgebung einrichtest.

Einrichten deiner Umgebung

Es gibt ein paar Schritte, um Snowflake Cortex AI zu benutzen. Vergewissere dich, dass du die folgenden Angaben vollständig hast:

1. Du brauchst die SNOWFLAKE.CORTEX_USER Datenbankbenutzerrolle.
2. Deine Daten müssen in Snowflake-kompatible Formate.
3. Sie müssen die Cortex AI-Funktionen in deiner Snowflake-Instanz aktivieren.

Wenn du nicht über die erforderlichen Rechte verfügst, sprich mit deinem Datenbankadministrator (oder wenn du der Administrator bist, gib dir selbst diese Rollen), um Zugang zu erhalten. Beachte auch, dass aufgrund der besonderen Einstellungen deines Unternehmens einige Modelle für dich nicht verfügbar sein könnten.

Praktische Beispiele

Im Folgenden werden einige Beispiele für die wichtigsten Funktionen von Zusammenfassungen, Übersetzungen und Stimmungsanalysen vorgestellt. Wir werden verschiedene Beispieltabellennamen und -spalten verwenden. Nehmen wir an, dass die Tabelle, aus der wir die Daten abrufen, eine beliebige Tabelle in deiner Snowflake-Datenbank ist und die Spalte deine Textinformationen enthält. Du wirst schnell sehen, wie einfach es sein kann, diese Funktionen in Snowflake auszuführen.

Textdaten zusammenfassen

Beginnen wir mit einer sehr häufigen Aufgabe, nämlich der Zusammenfassung verschiedener Nachrichtenartikel.

-- Assume that the data is in the table ‘articles’
--We want to summarize all the text from all the articles we have in our database

SELECT SNOWFLAKE.CORTEX.SUMMARIZE(article_text) AS summary
FROM articles;Bereitgestellt von

Support-Tickets übersetzen

Eine weitere häufige Aufgabe ist die Übersetzung von Supportanfragen, die nicht alle in deiner Landessprache abgefasst sind. SNOWFLAKE.CORTEX.TRANSLATE(text, ‘source language’,’target language’) ist die allgemeine Syntax, bei der ’source language’ und ’target language’ in einem zweibuchstabigen Sprachcode geschrieben werden. 

Wenn die Ausgangssprache eine leere Zeichenkette ’’ ist, wird die Sprache automatisch erkannt.

/* We select from the table support_tickets
 The column ticket_description has all the ticket text
We are going from ‘fr’ to ‘en’ */
SELECT SNOWFLAKE.CORTEX.TRANSLATE(ticket_description, 'fr', 'en') FROM support_tickets;

--If we leave the source language as just an empty string ‘’, it will automatically detect the language
SELECT SNOWFLAKE.CORTEX.TRANSLATE(ticket_description, '', 'en') FROM support_tickets;Bereitgestellt von

Durchführen von Stimmungsanalysen zu Kundenkommentaren

Zum Schluss wollen wir uns die Kundenstimmung in den sozialen Medien mit SENTIMENT ansehen.

--Select from the social_media_comments table
--provide the text to the SENTIMENT function.
SELECT SNOWFLAKE.CORTEX.SENTIMENT(comment_text) FROM social_media_comments;Bereitgestellt von

Bewährte Praktiken und Überlegungen

Wie bei allem, was mit KI zu tun hat, müssen wir sicherstellen, dass wir über eine Reihe von Best Practices und Richtlinien verfügen. Wir stellen sicher, dass wir die Datenschutzgesetze einhalten und unsere Abfragen optimieren, damit wir die beste Erfahrung mit Snowflake Cortex AI machen.

Datenschutz und Sicherheit

Der Datenschutz ist eine der wichtigsten Komponenten, vor allem wenn es um KI geht. Snowflake bindet sie zum Glück in deine Umgebung ein. Mit dem Snowflake-Zugangskontrollsystem kannst du sicherstellen, dass du die Best Practices für den Zugang und die Einhaltung von Vorschriften einhältst.

• Sicherstellung der Einhaltung von GDPR, CCPA und anderen Vorschriften bei der Verarbeitung von Nutzerdaten.
• Verwenden Sie rollenbasierte Zugriffskontrolle (RBAC) um die Verarbeitung sensibler Texte einzuschränken.

Leistungsoptimierung

Unstrukturierte Daten können riesig sein. Wenn wir die Daten intelligent verarbeiten, können wir sowohl die Laufzeit als auch die Kosten minimieren. Probiere diese Best Practices zur Leistungsoptimierung aus:

• Stapelverarbeitung: Verarbeite Text im Pulk statt Zeile für Zeile.
• Effiziente Lagerung: Speichern Sie große Dokumente in optimierten Snowflake Tabellen.
• Indizierung und Zwischenspeicherung: Verwende die Indizierung für häufig verwendete Textdaten.

Fazit

Snowflake Cortex AI vereinfacht die Textverarbeitung, indem es integrierte KI-gestützte Textfunktionen direkt in Snowflake SQL bietet. Mit seinen robusten Funktionen für die Zusammenfassung, Übersetzung, Stimmungsanalyse und das Parsen von Dokumenten können Datenexperten aller Ebenen mühelos aussagekräftige Erkenntnisse aus Texten gewinnen. 

Durch den Einsatz von vorgefertigten KI-Tools können Unternehmen wertvolle Informationen erschließen und datengestützte Entscheidungen leicht treffen. Wenn du mehr über Snowflake und seine Werkzeuge erfahren möchtest, kannst du diese Ressourcen nutzen:

• Wie man Snowflake im Jahr 2025 lernen kann
• Einführung in die Datenmodellierung in Snowflake
• Einführung in Snowflake für Einsteiger/innen
• Snowflake Cortex AI mit Python