Processamento de texto com o Snowflake Cortex AI

Os dados de texto constituem uma parte significativa das tarefas modernas de análise de dados, abrangendo desde avaliações de clientes até documentos corporativos. A capacidade de extrair, resumir, traduzir e analisar informações textuais é fundamental para a tomada de decisões orientadas por dados. O Snowflake Cortex AI simplifica o processamento de texto, fornecendo um ambiente com pouco ou nenhum código para o uso de IA. Este artigo abordará as funções fundamentais do Cortex AI e, em seguida, fornecerá algumas dicas práticas de implementação.

O Snowflake Cortex AI em si é um poderoso conjunto de ferramentas de IA e machine learning incorporadas à nuvem de dados da Snowflake. Ele tem suporte integrado para funções do Large Language Model (LLM), como Meta Llama 3 e Mistral Large modelos.

O Snowflake Cortex AI é uma excelente maneira de os profissionais de dados de todos os níveis começarem a usar a IA, pois fornece funções de IA pré-construídas em SQL, não requer uma API externa e é dimensionado com a infraestrutura de dados da Snowflake. 

Se você é novo no Snowflake, recomendo que faça o curso Introdução ao Snowflake SQL para você.

Entendendo as funções de processamento de texto do Snowflake Cortex AI

O Snowflake Cortex AI fornece um conjunto de ferramentas integradas projetadas para tornar o processamento de texto mais eficiente. Da sumarização e tradução à análise de sentimentos e análise de documentos, essas funções permitem que os usuários extraiam insights de grandes volumes de texto diretamente no Snowflake. Vamos explorar esses recursos e como eles podem ser aplicados em cenários do mundo real.

Funções do modelo de linguagem grande (LLM)

O Snowflake Cortex AI fornece funções de LLM (Large Language Model) para que você execute várias tarefas relacionadas a texto com eficiência. 

Por exemplo, a função COMPLETE permite que os usuários forneçam um prompt a um modelo específico (como Llama3 ou Mistral) e recebam uma resposta, semelhante à forma como você pode usar o ChatGPT na Web. 

Você também pode usar funções específicas, como SUMMARIZE e TRANSLATE, para realizar tarefas específicas de forma rápida e fácil. Essas funções facilitam muito a execução rápida de resumos, traduções e análises de sentimentos. Se você quiser saber mais sobre LLMs em geral, confira o curso Conceitos de LLMs.

Documento AI

O Document AI é o recurso de inteligência artificial proprietário da Snowflake, projetado para extrair e estruturar informações de documentos não estruturados. Em sua essência, ele aproveita o Arctic-TILT, o modelo de IA especializado da Snowflake, para analisar textos de vários formatos de documentos e convertê-los em dados estruturados e prontos para consulta.

Com o Document AI, os usuários podem:

• Fazer upload de documentos (por exemplo, PDFs, relatórios digitalizados, faturas).
• Faça consultas orientadas por IA para extrair informações relevantes.
• Automatize os pipelines de extração de dados para otimizar os fluxos de trabalho.

Embora essa ferramenta seja altamente avançada, atualmente ela tem algumas limitações em relação aos tipos de arquivos suportados, tamanhos de documentos e duração do processamento. No entanto, para as organizações que lidam com grandes volumes de texto não estruturado, como documentos legais, contratos de clientes ou demonstrações financeiras, a Document AI oferece uma maneira eficiente de converter texto bruto em bancos de dados estruturados da Snowflake, facilitando significativamente a análise downstream.

Da documentação do Snowflake Document AI

Principais recursos de processamento de texto no Snowflake Cortex AI

Vamos dar uma breve olhada nos principais recursos do Snowflake Cortex AI e no que eles podem fazer. A próxima seção fornecerá algumas etapas (simples) para usar esses recursos.

Resumo de texto

A compactação de texto é realizada usando a função SUMMARIZE. Em resumo, ele pega um determinado conjunto de textos e fornece rapidamente um resumo. Por exemplo, se você der a ele um artigo ou relatório extenso, ele fornecerá as informações mais importantes desse texto.

Tradução de texto

A função TRANSLATE permite a tradução perfeita de idiomas. Ele pode receber feedback do cliente ou tíquetes de suporte enviados em um idioma estrangeiro e traduzi-los para o inglês. Ele é compatível com vários idiomas de destino, como inglês, francês, holandês, alemão, japonês, chinês e outros.

Análise de sentimento

A análise de sentimento discerne a emoção ou o tom geral de um texto. Ele fornece um contexto sobre se algo é positivo, negativo ou neutro. A função SENTIMENT do Snowflake retorna um valor numérico entre -1 e 1, sendo -1 negativo, 1 positivo e 0 geralmente neutro.

Análise de documentos

A análise de documentos pode ser a funcionalidade mais complexa aqui. Ele pega um arquivo de documento que está armazenado em algum lugar e extrai informações desse documento. Você pode usar a função PARSE_DOCUMENT para isso.

Implementando o processamento de texto com o Snowflake Cortex AI

Agora que exploramos os recursos de processamento de texto do Cortex AI, vamos explicar como colocá-los em ação, começando pela configuração do ambiente.

Configurando seu ambiente

Você precisa seguir algumas etapas para se preparar para usar o Snowflake Cortex AI. Certifique-se de que você tenha os seguintes itens completos:

1. Você precisará do arquivo SNOWFLAKE.CORTEX_USER do banco de dados.
2. Seus dados devem ser armazenados em formatos compatíveis com o Snowflake.
3. Você deve habilitar as funções as funções do Cortex AI em sua instância do Snowflake.

Se você não tiver as permissões necessárias, fale com o administrador do banco de dados (ou, se você for o administrador, forneça a si mesmo essas funções) para obter acesso. Observe também que, devido às configurações específicas da sua organização, alguns modelos podem não estar disponíveis para você.

Exemplos práticos

Vamos examinar alguns exemplos das principais funções de resumo, tradução e análise de sentimentos. Usaremos vários exemplos de nomes de tabelas e colunas. Suponha que a tabela da qual estamos extraindo seja qualquer tabela do seu banco de dados Snowflake e que a coluna contenha as informações de texto. Você verá rapidamente como é fácil executar essas funções no Snowflake.

Resumindo dados de texto

Vamos começar com uma tarefa muito comum de resumir uma variedade de artigos de notícias.

-- Assume that the data is in the table ‘articles’
--We want to summarize all the text from all the articles we have in our database

SELECT SNOWFLAKE.CORTEX.SUMMARIZE(article_text) AS summary
FROM articles;

Tradução de tíquetes de suporte

Outra tarefa comum é traduzir tíquetes de suporte que talvez não estejam todos no idioma local. SNOWFLAKE.CORTEX.TRANSLATE(text, ‘source language’,’target language’) é a sintaxe geral em que ’source language’ e ’target language’ serão escritos em um código de idioma de duas letras. 

Se esse idioma de origem for uma cadeia de caracteres vazia ’’, o idioma será detectado automaticamente.

/* We select from the table support_tickets
 The column ticket_description has all the ticket text
We are going from ‘fr’ to ‘en’ */
SELECT SNOWFLAKE.CORTEX.TRANSLATE(ticket_description, 'fr', 'en') FROM support_tickets;

--If we leave the source language as just an empty string ‘’, it will automatically detect the language
SELECT SNOWFLAKE.CORTEX.TRANSLATE(ticket_description, '', 'en') FROM support_tickets;

Realização de análise de sentimento nos comentários dos clientes

Por fim, vamos analisar o sentimento de nossos clientes nas mídias sociais usando SENTIMENT.

--Select from the social_media_comments table
--provide the text to the SENTIMENT function.
SELECT SNOWFLAKE.CORTEX.SENTIMENT(comment_text) FROM social_media_comments;

Práticas recomendadas e considerações

Como em tudo relacionado à IA, precisamos garantir que tenhamos um conjunto de práticas recomendadas e diretrizes. Certificando-nos de que seguimos as leis de privacidade de dados e otimizando nossas consultas, você terá a melhor experiência usando a IA do Snowflake Cortex.

Privacidade e segurança dos dados

A privacidade dos dados é um dos componentes mais importantes, especialmente quando se trata de IA. Felizmente, o Snowflake o incorpora ao seu ambiente. Você pode utilizar a estrutura de controle de acesso da Snowflake para ajudar a garantir que você esteja seguindo as práticas recomendadas de acesso e a conformidade regulamentar.

• Garantir a conformidade com GDPR, CCPA e outros regulamentos ao processar os dados do usuário.
• Use controles de acesso baseados em funções (RBAC) para restringir o processamento de textos confidenciais.

Otimização do desempenho

Os dados não estruturados podem ser enormes. Se você for inteligente na forma como processa os dados, minimizará o tempo de execução e os custos. Experimente estas práticas recomendadas para otimizar o desempenho:

• Processamento em lote: Processe o texto em massa, em vez de uma linha de cada vez.
• Armazenamento eficiente: Armazene documentos grandes de forma otimizada Tabelas Snowflake otimizadas.
• Indexação e armazenamento em cache: Use a indexação para dados de texto acessados com frequência.

Conclusão

Com o Snowflake Cortex AI, você simplifica o processamento de texto, oferecendo funções de texto integradas com tecnologia de IA diretamente no Snowflake SQL. Com seus recursos robustos de resumo, tradução, análise de sentimentos e análise de documentos, os profissionais de dados de todos os níveis podem extrair insights significativos do texto sem esforço. 

Ao aproveitar as ferramentas de IA pré-construídas, as empresas podem desbloquear informações valiosas e tomar decisões orientadas por dados com facilidade. Se você estiver curioso para saber mais sobre o Snowflake e suas ferramentas, experimente estes recursos:

• Como você pode aprender Snowflake em 2025
• Introdução à modelagem de dados em Snowflake
• Introdução ao Snowflake para iniciantes
• Snowflake Cortex AI com Python