Elaborazione del testo con Snowflake Cortex AI

I dati testuali rappresentano una parte significativa delle moderne attività di analisi, dai feedback dei clienti ai documenti aziendali. La capacità di estrarre, riassumere, tradurre e analizzare le informazioni testuali è fondamentale per prendere decisioni basate sui dati. Snowflake Cortex AI semplifica l'elaborazione del testo offrendo un ambiente low-to-no-code per utilizzare l'AI. In questo articolo vedremo le funzioni fondamentali di Cortex AI e forniremo alcuni consigli pratici per l'implementazione.

Snowflake Cortex AI è una potente suite di strumenti di AI e machine learning integrata nello Snowflake Data Cloud. Include il supporto nativo per funzioni basate su Large Language Model (LLM) come Meta Llama 3 e Mistral Large.  

Snowflake Cortex AI è un ottimo modo per chi lavora con i dati, a qualsiasi livello, di iniziare con l'AI: offre funzioni di AI predefinite in SQL, non richiede API esterne e scala con l'infrastruttura dati di Snowflake. 

Se sei nuovo su Snowflake, ti consiglio il corso Introduction to Snowflake SQL.

Capire le funzioni di elaborazione del testo di Snowflake Cortex AI

Snowflake Cortex AI mette a disposizione una suite di strumenti integrati progettati per rendere più efficiente l'elaborazione del testo. Dal riassunto e dalla traduzione all'analisi del sentiment e al parsing dei documenti, queste funzioni permettono di estrarre insight da grandi volumi di testo direttamente in Snowflake. Esploriamo queste capacità e come applicarle in scenari reali.

Funzioni basate su Large Language Model (LLM)

Snowflake Cortex AI fornisce funzioni LLM per svolgere in modo efficiente varie attività legate al testo. 

Per esempio, la funzione COMPLETE consente di fornire un prompt a un modello specifico (come Llama3 o Mistral) e ottenere una risposta, in modo simile a come useresti ChatGPT sul web. 

Puoi anche utilizzare funzioni specifiche come SUMMARIZE e TRANSLATE per svolgere rapidamente attività mirate. Queste funzioni rendono molto semplice eseguire riassunti, traduzioni e analisi del sentiment. Se vuoi saperne di più sugli LLM in generale, dai un'occhiata al corso LLMs Concepts.

Document AI

Document AI è la funzionalità proprietaria di intelligenza artificiale di Snowflake progettata per estrarre e strutturare informazioni da documenti non strutturati. Al suo interno utilizza Arctic-TILT, il modello AI specializzato di Snowflake, per analizzare testo da vari formati di documento e convertirlo in dati strutturati, pronti per le query.

Con Document AI, puoi:

• Caricare documenti (ad es., PDF, report scansionati, fatture).
• Porre query guidate dall'AI per estrarre informazioni rilevanti.
• Automatizzare pipeline di estrazione dati per snellire i flussi di lavoro.

Sebbene questo strumento sia molto potente, al momento presenta alcune limitazioni su tipi di file supportati, dimensioni dei documenti e lunghezza di elaborazione. Tuttavia, per le organizzazioni che trattano grandi volumi di testo non strutturato—come documenti legali, contratti con i clienti o bilanci—Document AI offre un modo efficiente per convertire testo grezzo in database strutturati su Snowflake, facilitando notevolmente le analisi successive.

Dalla documentazione di Snowflake Document AI

Funzionalità chiave di elaborazione del testo in Snowflake Cortex AI

Diamo uno sguardo rapido alle funzionalità principali di Snowflake Cortex AI e a cosa consentono di fare. Nella sezione successiva vedremo alcuni (semplici) passaggi per usarle.

Riassunto del testo

Il riassunto del testo si realizza con la funzione SUMMARIZE. In breve, prende un insieme di testo e fornisce rapidamente un sommario. Per esempio, se le passi un articolo o un report lungo, restituirà le informazioni salienti di quel testo.

Traduzione del testo

La funzione TRANSLATE consente una traduzione tra lingue senza soluzione di continuità. Può prendere feedback dei clienti o ticket di supporto inviati in una lingua straniera e tradurli in inglese. Supporta molte lingue di destinazione come inglese, francese, olandese, tedesco, giapponese, cinese e altre.

Analisi del sentiment

L'analisi del sentiment individua l'emozione o il tono complessivo di un testo. Fornisce contesto su se qualcosa sia positivo, negativo o neutro. La funzione SENTIMENT di Snowflake restituisce un valore numerico tra -1 e 1, dove -1 è negativo, 1 è positivo e 0 è generalmente neutro.

Parsing dei documenti

Il parsing dei documenti può essere la funzionalità più complessa qui. Prende un file di documento archiviato da qualche parte ed estrae informazioni da quel documento. Possiamo usare la funzione PARSE_DOCUMENT per questo.

Implementare l'elaborazione del testo con Snowflake Cortex AI

Ora che abbiamo esplorato le capacità di elaborazione del testo di Cortex AI, vediamo come metterle in pratica a partire dalla configurazione dell'ambiente.

Configurare l'ambiente

Ci sono alcuni passaggi per prepararti a usare Snowflake Cortex AI. Assicurati di avere quanto segue:

1. Ti servirà il ruolo utente del database SNOWFLAKE.CORTEX_USER .
2. I tuoi dati devono essere archiviati in formati compatibili con Snowflake.
3. Devi abilitare le funzioni di Cortex AI nella tua istanza Snowflake.

Se non hai le autorizzazioni necessarie, parla con l'amministratore del database (oppure, se lo sei tu, assegnati questi ruoli) per ottenere l'accesso. Nota anche che, in base alle impostazioni della tua organizzazione, alcuni modelli potrebbero non essere disponibili.

Esempi pratici

Vediamo alcuni esempi delle funzioni chiave di riassunto, traduzione e analisi del sentiment. Useremo vari nomi di tabelle e colonne di esempio. Supponi che la tabella da cui attingiamo sia una qualsiasi del tuo database Snowflake e che la colonna contenga le informazioni testuali. Vedrai subito quanto è facile eseguire queste funzioni in Snowflake.

Riassumere dati testuali

Iniziamo con un compito molto comune: riassumere una varietà di articoli di cronaca.

-- Assume that the data is in the table ‘articles’
--We want to summarize all the text from all the articles we have in our database

SELECT SNOWFLAKE.CORTEX.SUMMARIZE(article_text) AS summary
FROM articles;Offerto da

Tradurre i ticket di supporto

Un altro compito comune è tradurre i ticket di supporto che potrebbero non arrivare tutti nella tua lingua locale. SNOWFLAKE.CORTEX.TRANSLATE(text, ‘source language’,’target language’) è la sintassi generale in cui ’source language’ e ’target language’ sono scritti con un codice lingua a due lettere. 

Se la lingua sorgente è una stringa vuota ’’, la lingua viene rilevata automaticamente.

/* We select from the table support_tickets
 The column ticket_description has all the ticket text
We are going from ‘fr’ to ‘en’ */
SELECT SNOWFLAKE.CORTEX.TRANSLATE(ticket_description, 'fr', 'en') FROM support_tickets;

--If we leave the source language as just an empty string ‘’, it will automatically detect the language
SELECT SNOWFLAKE.CORTEX.TRANSLATE(ticket_description, '', 'en') FROM support_tickets;Offerto da

Eseguire l'analisi del sentiment sui commenti dei clienti

Infine, diamo un'occhiata al sentiment dei nostri clienti sui social media usando SENTIMENT.

--Select from the social_media_comments table
--provide the text to the SENTIMENT function.
SELECT SNOWFLAKE.CORTEX.SENTIMENT(comment_text) FROM social_media_comments;Offerto da

Buone pratiche e considerazioni

Come per tutto ciò che riguarda l'AI, è importante seguire un insieme di buone pratiche e linee guida. Rispettare le leggi sulla privacy dei dati e ottimizzare le query ci garantirà la migliore esperienza con Snowflake Cortex AI.

Privacy e sicurezza dei dati

La privacy dei dati è uno degli aspetti più critici, soprattutto in ambito AI. Fortunatamente, Snowflake la integra nel tuo ambiente. Puoi utilizzare il framework di controllo degli accessi di Snowflake per garantire l'adozione delle migliori pratiche di accesso e la conformità normativa.

• Garantisci la conformità a GDPR, CCPA e ad altre normative durante l'elaborazione dei dati degli utenti.
• Usa controlli di accesso basati sui ruoli (RBAC) per limitare l'elaborazione di testi sensibili.

Ottimizzazione delle prestazioni

I dati non strutturati possono essere enormi. Gestirli in modo intelligente ridurrà tempi di esecuzione e costi. Prova queste buone pratiche per ottimizzare le prestazioni:

• Elaborazione in batch: elabora il testo in blocco invece che una riga alla volta.
• Archiviazione efficiente: archivia i documenti di grandi dimensioni in tabelle Snowflake ottimizzate.
• Indicizzazione e caching: usa l'indicizzazione per i dati testuali consultati di frequente.

Conclusioni

Snowflake Cortex AI semplifica l'elaborazione del testo offrendo funzioni integrate e potenziate dall'AI direttamente in Snowflake SQL. Con solide capacità di riassunto, traduzione, analisi del sentiment e parsing dei documenti, chi lavora con i dati a tutti i livelli può estrarre facilmente insight significativi dal testo. 

Sfruttando strumenti di AI predefiniti, le aziende possono sbloccare informazioni preziose e prendere decisioni basate sui dati con facilità. Se vuoi approfondire Snowflake e i suoi strumenti, prova queste risorse:

• How to Learn Snowflake in 2025
• Introduction to Data Modeling in Snowflake
• Introduction to Snowflake for Beginners
• Snowflake Cortex AI with Python