Como criar um chatbot com o Snowflake Cortex AI (guia passo a passo)

O Cortex AI da Snowflake traz recursos poderosos de IA direto pro seu ambiente Snowflake. Por exemplo, usando o acesso da Cortex aos modelos de linguagem grandes (LLMs) líderes do setor, podemos criar ferramentas como chatbots de IA que usam dados internos da empresa sem comprometer a segurança dos dados confidenciais. 

Essas integrações fizeram com que a gente deixasse de lado os chats e automações tradicionais baseados em regras e passasse a usar chats mais flexíveis, com inteligência artificial, que entendem melhor o que o usuário está dizendo e dão respostas mais completas e detalhadas.

Neste tutorial, vou te mostrar as etapas gerais de como criar um chatbot usando o Snowflake Cortex. Você vai aprender a preparar dados, configurar o Cortex Search, usar o Document AI para dados não estruturados, criar uma interface de chatbot no Streamlit, e eu vou dar dicas sobre como integrá-lo com aplicativos externos. No final, você vai ter tanto as habilidades práticas quanto o entendimento conceitual necessários para projetar IA conversacional no Snowflake.

Se você é novo no Snowflake, recomendo seguir a trilha de habilidades Snowflake Foundations para se atualizar.

O que é o Snowflake Cortex?

Basicamente, o Snowflake Cortex traz serviços com inteligência artificial e LLM para o ecossistema Snowflake. Este tutorial vai falar sobre como integrar o Cortex com seus dados do Snowflake pra criar um aplicativo simples de chatbot Streamlit usando o Serviço de Pesquisa e o Document AI do Cortex pra analisar arquivos de documentos e ajudar a dar mais contexto aos modelos LLM existentes através do modelo de geração aumentada de recuperação do Cortex.

Este tutorial vai falar sobre:

• Configurando seu ambiente geral do Snowflake pra preparar a criação de um chatbot do Cortex Search
• Usando as funções do Cortex LLM e do Document AI para extrair insights de documentos.
• Criando um chatbot e um aplicativo de análise no Streamlit no Snowflake
• Estrutura de custos e considerações ao usar o Cortex

A vantagem de usar o Cortex é a sua abordagem híbrida nativa para vetores, palavras-chave e reclassificação semântica, além da geração de respostas baseada em RAG, que melhora a precisão e a especificidade. 

Criar chatbots e aplicativos de análise com o Streamlit no Snowflake aproveita a flexibilidade do desenvolvimento Python, ao mesmo tempo em que dá ênfase à segurança dos dados e às regulamentações de governança, mantendo os dados confidenciais dentro do seu ambiente seguro do Snowflake. 

Se você quiser ter uma ideia das capacidades do Snowflake Cortex AI, dê uma olhada neste tutorial sobre como usar o Cortex AI para tarefas básicas de NLP. tutorial sobre como usar o Cortex AI para tarefas básicas de NLP , como resumos e análise de sentimentos.

Pré-requisitos

Antes de começarmos a construir, vamos preparar sua conta Snowflake. Nessa conta, você vai precisar das seguintes permissões:

• Permissões para criar warehouses e a permissão " USAGE " (Acessar e ler todos os warehouses)
• Permissões do banco de dados: USAGE
• Permissões de esquema: USAGE, CREATE STREAMLIT, CREATE STAGE, CREATE CORTEX SEARCH SERVICE ou OWNERSHIP
• A capacidade de usar o Document AI com as permissões certas no nível da conta. Na maioria dos casos, você vai usar as funções integradas do Snowflake (por exemplo, ACCOUNTADMIN, SYSADMIN) ou uma função personalizada com:
• USAGE no banco de dados e no esquema
• CREATE CORTEX SEARCH SERVICE
• OPERAR no objeto do serviço de pesquisa assim que ele for criado
• Para o Cortex, você normalmente vai precisar da função CORTEX_USER junto com concessões no nível do objeto (USAGE, OPERATE) para interagir com os serviços.

O ideal é que você tenha alguma familiaridade com SQL, Python e conceitos básicos de IA. Você vai querer entender SQL para poder navegar pelo ambiente Snowflake e pelos dados. Você vai precisar saber um pouco de Python pra criar o aplicativo Streamlit. Ter um entendimento básico dos conceitos de IA vai nos ajudar a entender os componentes que fazem parte do nosso Serviço de Pesquisa Cortex.

Em termos de ferramentas, vamos focar no Snowsight da Snowflake, que é o navegador deles. Se você quiser fazer isso localmente, vai precisar do seu próprio IDE/editor de texto. 

A gente vai tentar fornecer algumas amostras de dados, mas o ideal é que você tenha um corpus de teste e um conjunto de dados com os quais deseja trabalhar. Se você não tiver nenhum, recomendo as atas das reuniões do Comitê Federal de Mercado Aberto para o tutorial (Fonte: Snowflake): Exemplo de ata do FOMC.

Como criar um chatbot no Snowflake Cortex

Ok, vamos começar a construir! Algumas dessas instruções podem ser um pouco mais genéricas, pra gente poder se adaptar a várias opções.

Passo 1: Configurar banco de dados, esquema e warehouse do Snowflake

Primeiro, vamos criar o ambiente necessário para o nosso projeto de chatbot.

-- Create a dedicated warehouse
CREATE OR REPLACE WAREHOUSE cortex_wh 
  WITH WAREHOUSE_SIZE = 'XSMALL' 
  AUTO_SUSPEND = 60 
  AUTO_RESUME = TRUE;

-- Create a database and stage
CREATE OR REPLACE DATABASE cortex_chatbot_db;
CREATE OR REPLACE STAGE cortex_chatbot_db.public.chatbot_stage;

-- Switch context
USE DATABASE cortex_chatbot_db;
USE WAREHOUSE cortex_wh;

Isso garante que todos os recursos sejam isolados e tenham seus custos gerenciados.

Passo 2: Carregar e preparar dados

Seu chatbot precisa de dados pra responder às perguntas. Isso pode ser:

• Dados estruturados: informações do cliente, registros de transações, catálogos de produtos.
• Dados não estruturados: PDFs, perguntas frequentes, políticas, bases de conhecimento.

Se você precisar de mais informações sobre a ingestão de dados e como colocamos os dados no Snowflake, dê uma olhada neste guia sobre ingestão de dados. guia sobre ingestão de dados.

Exemplo: preparando e carregando um arquivo CSV.

-- Upload data (done via Snowsight UI or SnowSQL)
-- Example: product_faq.csv

-- Load into a table
CREATE OR REPLACE TABLE cortex_chatbot_db.public.chatbot_stage.product_faq (
  question STRING,
  answer STRING
);

COPY INTO product_faq
FROM @chatbot_stage/product_faq.csv
FILE_FORMAT = (TYPE = CSV FIELD_OPTIONALLY_ENCLOSED_BY='"');

Para dados não estruturados (por exemplo, PDFs), você pode processá-los usando o Cortex Document AI. Na próxima etapa, vamos falar sobre como extrair dados de fontes de dados não estruturadas usando o Cortex Document AI.

Queremos pegar nossos dados estruturados e não estruturados, transformá-los em pedaços e garantir que alguns metadados sejam anexados conforme necessário para torná-los mais eficientes para o RAG.

Passo 3: Treinamento em IA para documentos e análise de documentos

Vamos ver como criar um modelo usando o Document AI para construir um modelo ajustado para analisar documentos. Olha só, isso é opcional e eu recomendo que você experimente os modelos padrão do Snowflake para análise, porque eles já estão prontos para produção e lidam com OCR, extração de layout e detecção de tabelas. Hoje em dia, você não "treina" modelos personalizados diretamente no Cortex Document AI, mas pode configurar modos de extração (por exemplo, extração de entidades, extração de tabelas) para se adequar aos seus dados.

Comece de forma simples com o analisador padrão e só adicione configurações mais avançadas se seus documentos tiverem formatação complexa ou irregular.

No Snowsight, abra o menu de navegação e vá para IA e ML. Escolha o nosso “ cortex_wh ” e clique em “Build”.  A partir daí, selecionamos “Criar”. 

Depois de criar a compilação, a gente carrega nossos documentos para ela. Quando terminar o processamento, podemos trabalhar na extração de dados usando a extração de entidades ou a extração de tabelas. A extração de entidades permite que você faça perguntas ao seu documento para obter dados, enquanto a extração de tabelas analisa os dados com base nos campos definidos no seu documento. 

Depois que o modelo estiver pronto, a gente quer avaliar a precisão dele e, então, treinar o modelo conforme necessário. O treinamento do modelo o ajusta à estrutura específica do seu documento. Agora podemos usar esse modelo ou nosso modelo padrão para analisar documentos. Por enquanto, vamos ficar com o analisador de IA padrão do Snowflake.

CREATE OR REPLACE TABLE cortex_chatbot_db.public.chatbot_stage.doc_data AS --create the table
SELECT
    RELATIVE_PATH,
    TO_VARCHAR (
        SNOWFLAKE.CORTEX.PARSE_DOCUMENT ( --using default cortex parser
            '@cortex_chatbot.public.chatbot_stage',
            RELATIVE_PATH,
            {'mode': 'LAYOUT'} ):content
        ) AS EXTRACTED_LAYOUT
FROM
    DIRECTORY('@cortex_chatbot.public.chatbot_stage') --pull the files from the stage
WHERE
    RELATIVE_PATH LIKE '%.pdf'; --specifically just PDFs

Agora, nossos dados estarão em uma tabela e prontos para serem transformados.

Passo 4: Transformação de dados e extração de características

Para preparar os dados para as interações do chatbot, os documentos precisam ser divididos em partes e enriquecidos com metadados. A fragmentação torna a pesquisa do Cortex mais precisa.

	CREATE OR REPLACE TABLE cortex_chatbot_db.public.chatbot_stage.doc_chunks AS
	SELECT
	    relative_path,
	    BUILD_SCOPED_FILE_URL(@cortex_chatbot.public.chatbot_stage, relative_path) AS file_url,
	    (
	        relative_path || ':\n'
	        || coalesce('Header 1: ' || c.value['headers']['header_1'] || '\n', '')
	        || coalesce('Header 2: ' || c.value['headers']['header_2'] || '\n', '')
	        || c.value['chunk']
	    ) AS chunk,
	    'English' AS language
	FROM
	cortex_chatbot_db.public.chatbot_stage.doc_data
	    LATERAL FLATTEN(SNOWFLAKE.CORTEX.SPLIT_TEXT_MARKDOWN_HEADER(
	        EXTRACTED_LAYOUT,
	        OBJECT_CONSTRUCT('#', 'header_1', '##', 'header_2'),
	        2000, -- chunks of 2000 characters
	        300 -- 300 character overlap
	    ))  c;

Agora, esse SQL está fazendo muitas coisas, então deixe-me resumir. Pega cada arquivo e divide o texto em pedaços de 2000 caracteres. 

Dividir em partes menores ajuda a tornar a pesquisa mais eficiente. Em seguida, adiciona algumas informações de cabeçalho (como títulos) aos dados dentro do bloco, para que o modelo tenha contexto sobre a origem desses dados.

Isso torna seus dados pesquisáveis e prontos para a geração aumentada por recuperação (RAG).

Passo 5: Criar e configurar a pesquisa ou o agente do Cortex

Vamos criar nosso Cortex Search Agent, que é o principal serviço que vai procurar em blocos e pegar o contexto para uma resposta.

CREATE OR REPLACE CORTEX SEARCH SERVICE cortex_chatbot_db.public.chatbot_stage.cortex_serv
    ON chunk
    ATTRIBUTES category
    WAREHOUSE = cortex_wh
    TARGET_LAG = '1 hour'
    AS (
    SELECT
        chunk,
        relative_path,
        file_url,
        category
    FROM cortex_chatbot_db.public.chatbot_stage.doc_chunks
    );

Isso vai criar um serviço inicial que também define o campo attributes, que escolhe as colunas que você quer usar para filtrar os resultados da pesquisa. Aqui, escolhi “categoria” para que, em teoria, a gente pudesse filtrar por diferentes categorias de produtos. Para isso, escolhi as colunas chunk, que devem conter nosso texto fragmentado.

A pesquisa do Cortex usa por padrão uma pesquisa híbrida de vetor + palavra-chave, melhorando a precisão do chatbot. Com isso, podemos adicionar mais contexto usando um modelo semântico. Se você espera algumas expressões únicas ou abreviações técnicas, pode configurar um arquivo YAML de modelo semântico usando o gerador de modelos semânticos do Cortex Analyst. Isso vai te ajudar a dar contexto e sinônimos pro modelo, pra que ele saiba que algo como “CUST” também pode significar “cliente”. 

Isso permite fluxos de trabalho RAG, onde o chatbot pega o contexto relevante antes de gerar respostas.

Passo 6: Crie o aplicativo Chatbot com o Streamlit

Agora vamos criar um front-end super simples para chatbot dentro do Snowflake usando o Streamlit. Você vai querer usar o Snowsight pra achar o aplicativo “Streamlit in Snowflake” e criar seu aplicativo de chatbot. Isso usa o Snowpark para se conectar ao seu Snowflake. 

Se você quer saber mais sobre como criar chatbots em geral, recomendo primeiro fazer este curso sobre como criar chatbots em Python.

Primeiro, a gente deixa o usuário se conectar ao Snowflake usando Session.builder. Então, com uma entrada específica, a gente usa isso como uma consulta para SNOWFLAKE.CORTEX.SEARCH 

import streamlit as st
import snowflake.connector
from snowflake.snowpark import Session

# Connect to Snowflake
session = Session.builder.configs({
    "account": "<account_id>",
    "user": "<username>",
    "password": "<password>",
    "role": "SYSADMIN",
    "warehouse": "CORTEX_WH",
    "database": "CORTEX_CHATBOT",
    "schema": "PUBLIC"
}).create()

st.title("Snowflake Cortex Chatbot")

user_input = st.text_input("Ask me a question:")

if user_input:
    # Query Cortex Search
    result = session.sql(f"""
        SELECT PARSE_JSON(
SNOWFLAKE.CORTEX.SEARCH(
            chatbot_serv',
                 '{
         "query": "{user_input}",
         "columns":[
            "col1",
            "col2"
         ],
         "filter": {"@eq": {"col1": "filter value"} }
      }'
)
)[‘results’] AS results
    """).collect()

    st.write("**Chatbot:**", result[0]['RESPONSE'])

Esse chatbot básico pega informações relevantes do índice do Cortex Search e manda respostas na hora. Também dá pra criar um chatbot conversacional, adicionando a capacidade de guardar o histórico da conversa na memória. Isso pode ser feito nativamente no Streamlit usando o serviço de pesquisa que já existe.

Passo 7: Implementação por meio de pontos finais da API REST

Pra integrar o chatbot em aplicativos externos (por exemplo, sites, bots do Slack), use a API REST do Snowflake. Geralmente, o URL vai ser algo assim: https:///api/v2/databases//schemas//cortex-search-services/:query.

Essas APIs precisam de autenticação por motivos de segurança, o que significa que só podem ser usadas por quem tem acesso ao seu ambiente Snowflake. Usar essa abordagem API-first permite incorporar recursos de chatbot de forma mais flexível e para um público maior. 

Um caso de uso para isso seria criar uma ferramenta interna que pudesse ser hospedada em um servidor web, permitindo que os usuários fizessem perguntas sobre documentos como relatórios financeiros trimestrais ou notas de reuniões. Essas integrações precisariam de um desenvolvimento de ferramentas que possam fazer solicitações de API.

Passo 8: Testes e validação

Antes de implantar amplamente, teste o chatbot para:

• Precisão – ele encontra as respostas certas?
• Velocidade – a latência é aceitável?
• Usabilidade – a interface é intuitiva?

Você pode registrar consultas e comparar os resultados com a verdade conhecida para fazer uma avaliação comparativa. É comum ter um conjunto de perguntas com respostas pré-definidas e usar outros modelos para fazer comparações de precisão. 

Passo 9: Limpeza (opcional)

Para controlar os custos e manter a governança, elimine os recursos que não estão sendo usados.

	DROP WAREHOUSE IF EXISTS cortex_wh;
	DROP DATABASE IF EXISTS cortex_chatbot;
	DROP STAGE IF EXISTS chatbot_stage;

Conceitos adicionais e melhores práticas

Vamos adicionar um pouco de contexto à função do nosso chatbot e algumas práticas recomendadas.

Geração aumentada por recuperação (RAG) no Snowflake Cortex

RAG é uma técnica que muitos modelos de linguagem grandes usam pra melhorar seus dados originais com conhecimento de fora.

O Snowflake Cortex adiciona os dados da sua empresa ao contexto do seu chatbot, sendo capaz de fornecer respostas usando o contexto adicional. Usando uma mistura de pesquisa vetorial e por palavra-chave, ele consegue analisar uma solicitação com dados contextuais e usa reclassificação semântica para escolher os documentos mais relevantes e dar uma resposta contextualizada. 

Isso também significa que simplifica a implementação do RAG por meio de um único mecanismo de pesquisa Cortex, em vez de o usuário ter que criar manualmente vetores, funções de similaridade e embeddings. O poder do RAG nos permite criar coisas como chatbots voltados para documentação técnica.

Engenharia rápida para chatbots Snowflake

A engenharia de prompts é importante pra garantir que qualquer chatbot dê respostas adequadas às perguntas dos usuários. Ter um bom entendimento de engenharia de prompts é essencial para garantir que seu serviço de chat retorne boas respostas.

Uma coisa que ajuda a dar respostas melhores é dar aos usuários um guia de uso que os ajude a fazer perguntas melhores.

Você também pode adicionar modelos de prompt às consultas dos usuários antes de enviá-las ao serviço Cortex. Os modelos de prompt ajudam a dar um contexto consistente para o modelo, pra que ele use as informações certas pra dar uma resposta. 

Um modelo de exemplo que pode ser útil para dados empresariais pode ser: Você é um assistente útil para os dados históricos da empresa. Resposta baseada apenas na base de conhecimento da empresa. Isso vai deixar o modelo focar em usar os dados da empresa para dar respostas.

Às vezes, você também vai receber perguntas ou comentários meio confusos dos usuários. Em vez de forçar o modelo a responder, você pode adicionar ao seu modelo algo como: Se o usuário fizer uma pergunta meio vaga, dá a resposta: Não sei a resposta para isso. Isso pode levá-los a fazer uma pergunta mais específica.

Flexibilidade e escolha na implementação

O Snowflake Cortex dá suporte a LLMs pré-construídos (rápidos e prontos para produção) e modelos personalizados (ajustados para domínios). Isso pode ser definido ao criar o serviço. Além disso, adicionar seus próprios modelos semânticos personalizados adiciona algum contexto específico do setor/empresa à linguagem que, de outra forma, poderia ser obscura para o modelo, sem a necessidade de alimentar um grande corpus de texto. Essa flexibilidade permite a integração de modelos futuros.

Segurança, Governança e Conformidade

O Cortex segue o mesmo controle de acesso baseado em funções, registro de auditoria e criptografia oferecidos pelo Snowflake. Isso garante a conformidade com a HIPAA, o GDPR e outras regulamentações. A principal responsabilidade da sua parte seria garantir que as pessoas certas tenham as funções certas.

Estrutura de custos

O Snowflake Cortex usa um modelo de preços baseado no consumo. Assim como outros produtos da Snowflake, você paga pelo uso de computação e armazenamento, mas tem algumas camadas extras específicas do Cortex Search. Você paga por:

• Computação em warehouse virtual: Esse é o principal uso de computação, que processa as consultas nos dados do Snowflake e gasta créditos.
• EMBED_TEXT Uso do token: Durante o processamento de dados para documentos, o Snowflake Cortex cuida da incorporação de tokens, e você é cobrado quando os documentos são adicionados ou alterados.
• Servindo computação: O próprio Serviço de Pesquisa Cortex usa um computador de serviço para oferecer um serviço de baixa latência e alto rendimento para o usuário. Isso é diferente do computador do warehouse virtual e cobra sempre que o serviço estádisponível , não só quando é usado.
• Armazenamento para índices semânticos e dados em estágio.
• Computação em nuvem: São custos no nível do Snowflake que permitem que o Snowflake identifique mudanças nos objetos básicos. Isso só será cobrado se o custo for superior a 10% do custo diário do warehouse.

Experimente as seguintes técnicas para gerenciar custos:

• A Snowflake recomenda usar warehouse de tamanho MÉDIO ou menores.
• Fique de olho no uso de tokens e defina cotas de uso.
• Arquive índices que não estão sendo usados ou deixe os dados ficarem mais antigos por mais tempo, se os documentos mais recentes não forem necessários.
• Suspenda seu serviço quando não for necessário. Pode ser útil configurar o serviço com um temporizador que permita ligá-lo/desligá-lo quando não estiver em uso.

Conclusão

Criar um chatbot com o Snowflake Cortex permite usar IA conversacional específica para empresas diretamente na nuvem de dados. Da ingestão à recuperação e à implantação, você pode trabalhar inteiramente dentro do ambiente controlado do Snowflake. Esses chatbots podem ajudar a simplificar coisas como integração, ajudar a responder perguntas analíticas detalhadas e criar documentação técnica.

O Cortex permite chatbots com tecnologia RAG que juntam LLMs com seus próprios dados. Criar um chatbot no Streamlit no Snowflake facilita a implantação de interfaces fáceis de usar dentro do Snowflake. Segurança, governança e gerenciamento de custos estão integrados ao fluxo de trabalho. Com o Cortex, as organizações podem evoluir dos painéis de BI tradicionais para assistentes inteligentes que interagem com os dados de forma conversacional.

Para mais informações sobre o Snowflake e seus recursos de IA, confira os seguintes recursos:

• Modelagem de dados no Snowflake
• Snowflake Arctic: Snowflake’s LLM
• ML com Python e Snowflake Cortex AI