Comment créer un chatbot avec Snowflake Cortex AI (guide étape par étape)

Cortex AI de Snowflake apporte de puissantes capacités d'intelligence artificielle directement dans votre environnement Snowflake. Par exemple, en utilisant l'accès de Cortex aux modèles linguistiques à grande échelle (LLM) de pointe, nous pouvons créer des outils tels que des chatbots IA qui utilisent les données internes de l'entreprise sans compromettre la sécurité des données sensibles. 

Ces intégrations ont entraîné une transition des chats et automatisations traditionnels basés sur des règles vers des chats plus flexibles, alimentés par l'IA, qui sont capables de mieux comprendre les entrées des utilisateurs afin de fournir des réponses plus complètes et détaillées.

Dans ce tutoriel, je vais vous présenter les étapes générales de la création d'un chatbot à l'aide de Snowflake Cortex. Vous apprendrez à préparer des données, à configurer Cortex Search, à utiliser Document AI pour les données non structurées, à créer une interface de chatbot dans Streamlit, et je vous proposerai des idées pour l'intégrer à des applications externes. À la fin, vous disposerez à la fois des compétences pratiques et des connaissances théoriques nécessaires pour concevoir une IA conversationnelle sur Snowflake.

Si vous débutez avec Snowflake, je vous recommande de suivre le parcours de compétences Snowflake Foundations. cursus de compétences Snowflake Foundations pour vous familiariser avec le système.

Qu'est-ce que Snowflake Cortex ?

Snowflake Cortex intègre essentiellement des services basés sur l'IA et le LLM dans l'écosystème Snowflake. Ce tutoriel explique comment intégrer Cortex à vos données Snowflake afin de créer une application de chatbot Streamlit simple à l'aide du service de recherche et de l'IA documentaire de Cortex pour analyser des fichiers documentaires. Cela permet de fournir un contexte supplémentaire aux modèles LLM existants grâce au modèle de génération augmentée par récupération de Cortex.

Ce tutoriel abordera les thèmes suivants :

• Configuration de votre environnement Snowflake global en vue de la création d'un chatbot Cortex Search
• Utilisation des fonctions Cortex LLM et Document AI pour extraire des informations pertinentes à partir de documents.
• Développement d'un chatbot et d'une application d'analyse dans Streamlit sur Snowflake
• Structure des coûts et considérations relatives à l'utilisation de Cortex

L'avantage de Cortex réside dans son approche hybride native du reclassement vectoriel, par mot-clé et sémantique, ainsi que dans sa génération de réponses basée sur le RAG, qui améliore sa précision et sa spécificité. 

La création de chatbots et d'applications d'analyse avec Streamlit dans Snowflake tire parti de la flexibilité du développement Python tout en mettant l'accent sur la sécurité des données et les réglementations en matière de gouvernance, en conservant les données sensibles dans votre environnement Snowflake sécurisé. 

Si vous souhaitez avoir une idée des capacités de Snowflake Cortex AI, veuillez consulter ce tutoriel sur l'utilisation de Cortex AI pour des tâches NLP de base telles que la synthèse et l'analyse des sentiments.

Conditions préalables

Avant de commencer la construction, veuillez préparer votre compte Snowflake. Dans ce compte, vous aurez besoin des autorisations suivantes :

• Autorisations pour créer des entrepôts et autorisation d'USAGE
• Autorisations relatives à la base de données : USAGE
• Autorisations de schéma : USAGE, CREATE STREAMLIT, CREATE STAGE, CREATE CORTEX SEARCH SERVICE ou OWNERSHIP
• La possibilité d'utiliser Document AI avec les autorisations appropriées au niveau du compte. Dans la plupart des cas, vous utiliserez les rôles intégrés de Snowflake (par exemple, ACCOUNTADMIN ou SYSADMIN) ou un rôle personnalisé avec :
• USAGE sur la base de données et le schéma
• CREATE CORTEX SEARCH SERVICE
• UTILISEZ sur l'objet du service de recherche une fois qu'il est créé
• Pour Cortex, vous aurez généralement besoin du rôle CORTEX_USER associé à des autorisations au niveau des objets (USAGE, OPERATE) pour interagir avec les services.

Idéalement, vous avez une certaine connaissance de SQL, Python et des concepts de base de l'IA. Il est important de comprendre le langage SQL afin de pouvoir naviguer dans l'environnement Snowflake et les données. Il est nécessaire d'avoir une bonne connaissance de Python pour développer l'application Streamlit. Une compréhension de base des concepts de l'IA nous aidera à appréhender les composants qui constituent notre service de recherche Cortex.

En ce qui concerne les outils, nous nous concentrerons sur Snowsight de Snowflake, qui est leur navigateur web. Si vous souhaitez développer cela localement, vous aurez besoin de votre propre IDE/éditeur de texte. 

Bien que nous nous efforcions de fournir quelques échantillons de données, il serait préférable que vous disposiez d'un corpus de test et d'un ensemble de données avec lesquels vous souhaitez travailler. Si vous n'en avez pas, je vous recommande le procès-verbal de la réunion du Comité fédéral de l'open market pour le tutoriel (source : Snowflake) : Exemple de procès-verbal du FOMC.

Comment créer un chatbot dans Snowflake Cortex

Très bien, commençons la construction. Certaines de ces instructions peuvent être un peu plus générales afin de s'adapter à une grande variété d'options.

Étape 1 : Configurer la base de données, le schéma et l'entrepôt Snowflake

Tout d'abord, nous allons mettre en place l'environnement nécessaire à notre projet de chatbot.

-- Create a dedicated warehouse
CREATE OR REPLACE WAREHOUSE cortex_wh 
  WITH WAREHOUSE_SIZE = 'XSMALL' 
  AUTO_SUSPEND = 60 
  AUTO_RESUME = TRUE;

-- Create a database and stage
CREATE OR REPLACE DATABASE cortex_chatbot_db;
CREATE OR REPLACE STAGE cortex_chatbot_db.public.chatbot_stage;

-- Switch context
USE DATABASE cortex_chatbot_db;
USE WAREHOUSE cortex_wh;

Cela garantit que toutes les ressources sont isolées et que les coûts sont gérés.

Étape 2 : Chargement et préparation des données

Votre chatbot a besoin de données pour répondre aux requêtes. Cela peut être :

• Données structurées: informations sur les clients, journaux de transactions, catalogues de produits.
• s de données non structurées: PDF, FAQ, politiques, bases de connaissances.

Si vous souhaitez obtenir davantage d'informations sur l'ingestion de données et la manière dont nous intégrons les données dans Snowflake, veuillez consulter ce guide sur l'ingestion de données.

Exemple : préparation et chargement d'un fichier CSV.

-- Upload data (done via Snowsight UI or SnowSQL)
-- Example: product_faq.csv

-- Load into a table
CREATE OR REPLACE TABLE cortex_chatbot_db.public.chatbot_stage.product_faq (
  question STRING,
  answer STRING
);

COPY INTO product_faq
FROM @chatbot_stage/product_faq.csv
FILE_FORMAT = (TYPE = CSV FIELD_OPTIONALLY_ENCLOSED_BY='"');

Pour les données non structurées (par exemple, les fichiers PDF), vous pouvez les traiter à l'aide de Cortex Document AI. Dans l'étape suivante, nous aborderons la manière d'extraire des données à partir de sources de données non structurées à l'aide de Cortex Document AI.

Nous souhaitons transformer nos données structurées et non structurées en segments et veiller à y joindre les métadonnées nécessaires afin d'optimiser l'efficacité du RAG.

Étape 3 : Formation à l'IA documentaire et analyse de documents

Examinons la création d'un modèle à l'aide de Document AI afin de développer un modèle optimisé pour l'analyse syntaxique de documents. Veuillez noter que cette étape est facultative et je vous encourage à essayer les modèles Snowflake par défaut pour l'analyse syntaxique, car ils sont prêts à l'emploi et prennent en charge la reconnaissance optique de caractères (OCR), l'extraction de mise en page et la détection de tableaux. À l'heure actuelle, il n'est pas possible de « former » directement des modèles personnalisés dans Cortex Document AI, mais vous pouvez configurer des modes d'extraction (par exemple, extraction d'entités, extraction de tableaux) adaptés à vos données.

Commencez par utiliser le parseur par défaut, puis ajoutez des configurations plus avancées uniquement si vos documents présentent une mise en forme complexe ou irrégulière.

Dans Snowsight, veuillez ouvrir le menu de navigation et sélectionner AI & ML. Veuillez sélectionner notre cortex_wh, puis cliquer sur « Build ».  À partir de là, nous sélectionnons « Créer ». 

Une fois la version créée, nous téléchargeons nos documents vers celle-ci. Une fois le traitement terminé, nous pouvons procéder à l'extraction des données soit à l'aide de l'extraction d'entités, soit à l'aide de l'extraction de tableaux. L'extraction d'entités vous permet de poser des questions sur votre document afin d'en extraire des données. L'extraction de tableaux analyse les données en fonction des champs définis dans votre document. 

Une fois le modèle construit, nous souhaitons évaluer sa précision, puis l'entraîner si nécessaire. La formation du modèle permet de l'ajuster à la structure spécifique de votre document. Nous pouvons désormais utiliser ce modèle ou notre modèle par défaut pour analyser les documents. Pour l'instant, nous allons nous en tenir au parseur IA par défaut de Snowflake.

CREATE OR REPLACE TABLE cortex_chatbot_db.public.chatbot_stage.doc_data AS --create the table
SELECT
    RELATIVE_PATH,
    TO_VARCHAR (
        SNOWFLAKE.CORTEX.PARSE_DOCUMENT ( --using default cortex parser
            '@cortex_chatbot.public.chatbot_stage',
            RELATIVE_PATH,
            {'mode': 'LAYOUT'} ):content
        ) AS EXTRACTED_LAYOUT
FROM
    DIRECTORY('@cortex_chatbot.public.chatbot_stage') --pull the files from the stage
WHERE
    RELATIVE_PATH LIKE '%.pdf'; --specifically just PDFs

Nos données sont désormais présentées dans un tableau et prêtes à être transformées.

Étape 4 : Transformation des données et extraction des caractéristiques

Afin de préparer les données pour les interactions avec le chatbot, les documents doivent être segmentés et enrichis avec des métadonnées. Le découpage en morceaux rend Cortex Search plus précis.

	CREATE OR REPLACE TABLE cortex_chatbot_db.public.chatbot_stage.doc_chunks AS
	SELECT
	    relative_path,
	    BUILD_SCOPED_FILE_URL(@cortex_chatbot.public.chatbot_stage, relative_path) AS file_url,
	    (
	        relative_path || ':\n'
	        || coalesce('Header 1: ' || c.value['headers']['header_1'] || '\n', '')
	        || coalesce('Header 2: ' || c.value['headers']['header_2'] || '\n', '')
	        || c.value['chunk']
	    ) AS chunk,
	    'English' AS language
	FROM
	cortex_chatbot_db.public.chatbot_stage.doc_data
	    LATERAL FLATTEN(SNOWFLAKE.CORTEX.SPLIT_TEXT_MARKDOWN_HEADER(
	        EXTRACTED_LAYOUT,
	        OBJECT_CONSTRUCT('#', 'header_1', '##', 'header_2'),
	        2000, -- chunks of 2000 characters
	        300 -- 300 character overlap
	    ))  c;

Ce SQL effectue de nombreuses opérations, je vais donc vous en présenter un résumé. Chaque fichier est traité et le texte est divisé en segments de 2 000 caractères. 

Le fractionnement en portions plus petites améliore l'efficacité de la recherche. Il ajoute ensuite certaines informations d'en-tête (telles que des titres) aux données contenues dans le bloc afin que le modèle dispose d'un contexte indiquant d'où proviennent ces données.

Cela rend vos données consultables et prêtes pour la génération augmentée par la récupération (RAG).

Étape 5 : Créer et configurer une recherche ou un agent Cortex

Développons notre agent de recherche Cortex, qui est le service principal chargé de rechercher dans les segments et d'extraire le contexte pour une réponse.

CREATE OR REPLACE CORTEX SEARCH SERVICE cortex_chatbot_db.public.chatbot_stage.cortex_serv
    ON chunk
    ATTRIBUTES category
    WAREHOUSE = cortex_wh
    TARGET_LAG = '1 hour'
    AS (
    SELECT
        chunk,
        relative_path,
        file_url,
        category
    FROM cortex_chatbot_db.public.chatbot_stage.doc_chunks
    );

Cela permettra de créer un service initial qui définit également le champ attributes, qui sélectionne les colonnes que vous souhaitez utiliser pour filtrer les résultats de recherche. Ici, j'ai sélectionné « catégorie » afin que nous puissions théoriquement filtrer selon différentes catégories de produits. Pour cela, j'ai sélectionné les colonnes chunk qui devraient contenir notre texte fragmenté.

Cortex Search utilise par défaut une recherche hybride vectorielle + par mot-clé, améliorant ainsi la précision du chatbot. Grâce à cela, nous pouvons ajouter davantage de contexte à l'aide d'un modèle sémantique. Si vous anticipez des formulations spécifiques ou des abréviations techniques, vous pouvez configurer un fichier YAML de modèle sémantique à l'aide du générateur de modèles sémantiques Cortex Analyst. Cela vous permettra de fournir un contexte et des synonymes au modèle afin qu'il puisse reconnaître que « CUST » peut également signifier « client ». 

Cela permet la mise en place de workflows RAG, dans lesquels le chatbot récupère le contexte pertinent avant de générer des réponses.

Étape 6 : Développer l'application Chatbot avec Streamlit

Maintenant, créons une interface utilisateur très simple pour un chatbot dans Snowflake à l'aide de Streamlit. Nous vous recommandons d'utiliser Snowsight pour trouver l'application « Streamlit in Snowflake » afin de créer votre application de chatbot. Cette fonctionnalité utilise Snowpark pour se connecter à votre Snowflake. 

Si vous souhaitez obtenir des informations générales sur la création de chatbots, je vous recommande de commencer par suivre ce cours sur la création de chatbots en Python.

Tout d'abord, nous permettons à l'utilisateur de se connecter à Snowflake à l'aide de Session.builder. Ensuite, à partir d'une entrée spécifique, nous fournissons celle-ci en tant que requête à SNOWFLAKE.CORTEX.SEARCH 

import streamlit as st
import snowflake.connector
from snowflake.snowpark import Session

# Connect to Snowflake
session = Session.builder.configs({
    "account": "<account_id>",
    "user": "<username>",
    "password": "<password>",
    "role": "SYSADMIN",
    "warehouse": "CORTEX_WH",
    "database": "CORTEX_CHATBOT",
    "schema": "PUBLIC"
}).create()

st.title("Snowflake Cortex Chatbot")

user_input = st.text_input("Ask me a question:")

if user_input:
    # Query Cortex Search
    result = session.sql(f"""
        SELECT PARSE_JSON(
SNOWFLAKE.CORTEX.SEARCH(
            chatbot_serv',
                 '{
         "query": "{user_input}",
         "columns":[
            "col1",
            "col2"
         ],
         "filter": {"@eq": {"col1": "filter value"} }
      }'
)
)[‘results’] AS results
    """).collect()

    st.write("**Chatbot:**", result[0]['RESPONSE'])

Ce chatbot de base récupère les informations pertinentes à partir de l'index Cortex Search et fournit des réponses en temps réel. Il est également possible de créer un chatbot multi-tours (conversationnel) en ajoutant la possibilité de stocker l'historique des sessions de chat en mémoire. Cela peut être réalisé de manière native dans Streamlit en utilisant le service de recherche existant.

Étape 7 : Mise en œuvre via les points de terminaison de l'API REST

Pour intégrer le chatbot à des applications externes (par exemple, des sites Web, des bots Slack), veuillez utiliser l'API REST Snowflake. En général, l'URL ressemble à ceci : https:///api/v2/databases//schemas//cortex-search-services/:query.

Ces API nécessitent une authentification pour des raisons de sécurité, ce qui signifie qu'elles sont réservées aux utilisateurs ayant accès à votre environnement Snowflake. L'adoption de cette approche axée sur l'API permet d'intégrer les fonctionnalités des chatbots de manière plus flexible et à un public plus large. 

Un cas d'utilisation pourrait être la création d'un outil interne pouvant être hébergé sur un serveur web, qui permettrait aux utilisateurs de poser des questions sur des documents tels que les rapports financiers trimestriels ou les comptes rendus de réunion. Ces intégrations nécessiteraient le développement d'outils capables d'effectuer des requêtes API.

Étape 8 : Essais et validation

Avant de procéder à un déploiement à grande échelle, veuillez tester le chatbot pour vérifier :

• Précision – Est-ce qu'il fournit des réponses correctes ?
• Vitesse – La latence est-elle acceptable ?
• Facilité d'utilisation – L'interface est-elle intuitive ?

Vous pouvez enregistrer les requêtes et comparer les résultats à des données de référence connues à des fins d'évaluation comparative. Il est courant de disposer d'une série de questions dont les réponses sont prédéfinies et d'utiliser d'autres modèles pour effectuer des comparaisons afin d'en vérifier l'exactitude. 

Étape 9 : Nettoyage (facultatif)

Afin de gérer les coûts et de maintenir la gouvernance, veuillez supprimer les ressources inutilisées.

	DROP WAREHOUSE IF EXISTS cortex_wh;
	DROP DATABASE IF EXISTS cortex_chatbot;
	DROP STAGE IF EXISTS chatbot_stage;

Concepts supplémentaires et meilleures pratiques

Ajoutons un peu de contexte à la fonction de notre chatbot et quelques bonnes pratiques.

Génération augmentée par la recherche (RAG) dans Snowflake Cortex

RAG est une technique utilisée par de nombreux grands modèles linguistiques pour enrichir leurs données d'origine avec des connaissances externes.

Snowflake Cortex intègre les données de votre entreprise au contexte de votre chatbot, ce qui lui permet de fournir des réponses en utilisant ce contexte supplémentaire. En combinant la recherche vectorielle et la recherche par mots-clés, il est capable d'analyser une requête avec des données contextuelles et utilise le reclassement sémantique pour sélectionner les documents les plus pertinents afin de fournir une réponse contextualisée. 

Cela signifie également que cela simplifie la mise en œuvre du RAG grâce à un moteur de recherche Cortex unique, au lieu d'obliger l'utilisateur à créer manuellement des vecteurs, des fonctions de similarité et des intégrations. La puissance du RAG nous permet de créer des éléments tels que des chatbots adaptés à la documentation technique.

Ingénierie rapide pour les chatbots Snowflake

L'ingénierie des invites est essentielle pour garantir que tout chatbot fournisse des réponses appropriées aux questions des utilisateurs. Avoir une bonne connaissance de l'ingénierie des invites est essentiel pour garantir que votre service de chat fournisse de bonnes réponses.

Pour améliorer la qualité des réponses, il est utile de fournir aux utilisateurs un guide d'utilisation qui les aide à formuler des questions plus pertinentes.

Vous pouvez également ajouter des modèles d'invite aux requêtes des utilisateurs avant de les soumettre au service Cortex. Les modèles de invites contribuent à fournir un contexte cohérent au modèle afin qu'il utilise les informations appropriées pour fournir une réponse. 

Un modèle pouvant être utile pour les données d'entreprise pourrait être le suivant : Vous êtes un collaborateur précieux pour les données historiques de l'entreprise. Réponse basée uniquement sur la base de connaissances de l'entreprise. Cela permettra au modèle de se concentrer sur l'utilisation des données d'entreprise pour trouver des réponses.

Il est également possible que vous receviez occasionnellement des questions ou des commentaires ambigus de la part des utilisateurs. Au lieu d'exiger du modèle qu'il réponde, vous pouvez ajouter à votre modèle quelque chose comme : Si l'utilisateur pose une question imprécise, veuillez fournir la réponse suivante : Je ne suis pas en mesure de répondre à cette question. Cela pourrait les inciter à poser une question plus précise.

Flexibilité et choix dans la mise en œuvre

Snowflake Cortex prend en charge les modèles LLM pré-construits (rapides et prêts à l'emploi) et les modèles personnalisés (adaptés à des domaines spécifiques). Ces éléments peuvent être définis lors de la création du service. De plus, l'ajout de vos propres modèles sémantiques personnalisés apporte un contexte spécifique à votre secteur d'activité ou à votre entreprise au langage qui, sans cela, pourrait être obscur pour le modèle, sans avoir à alimenter un corpus de texte volumineux. Cette flexibilité permet l'intégration de futurs modèles.

Sécurité, gouvernance et conformité

Cortex suit le même contrôle d'accès basé sur les rôles, la journalisation des audits et le chiffrement proposés par Snowflake. Cela garantit la conformité avec les réglementations HIPAA, RGPD et autres. Votre principale responsabilité consisterait à vous assurer que les bonnes personnes occupent les bons postes.

Structure des coûts

Snowflake Cortex utilise un modèle de tarification basé sur la consommation. Veuillez consulter le site pour plus d'informations. À l'instar des autres produits Snowflake, vous êtes facturé pour la puissance de calcul et le stockage, mais il existe quelques niveaux supplémentaires spécifiques à Cortex Search. Veuillez noter que vous payez pour :

• Calcul de l'entrepôt virtuel : Il s'agit de l'utilisation principale des ressources informatiques, qui traite les requêtes sur les données Snowflake et consomme des crédits.
• EMBED_TEXT s sur l'utilisation des jetons: Lors du traitement des données pour les documents, Snowflake Cortex gère l'intégration des jetons, et vous êtes facturé lorsque des documents sont ajoutés ou modifiés.
• Service informatique : Le service de recherche Cortex utilise un calcul de service afin d'offrir à l'utilisateur un service à faible latence et haut débit. Ceci est distinct de l'ordinateur de l'entrepôt virtuel et facture à chaque fois que le service estdisponible , et non pas uniquement lorsqu'il est utilisé.
• Stockage pour les index sémantiques et les données mises en scène.
• Service cloud Compute : Il s'agit d'un coût au niveau Snowflake qui permet à Snowflake d'identifier les modifications apportées aux objets de base. Ce coût n'est facturé que s'il est supérieur à 10 % du coût journalier de l'entrepôt.

Veuillez essayer les techniques suivantes pour gérer les coûts :

• Snowflake recommande l'utilisation d'entrepôts de taille moyenne ou plus petite.
• Surveillez l'utilisation des jetons et définissez des quotas d'utilisation.
• Archiver les index inutilisés ou autoriser un délai plus long pour la mise à jour des données si les documents les plus récents ne sont pas indispensables.
• Veuillez suspendre votre service lorsqu'il n'est pas nécessaire. Il peut être utile de configurer le service sur une minuterie qui lui permet de s'activer/se désactiver lorsqu'il n'est pas utilisé.

Conclusion

La création d'un chatbot avec Snowflake Cortex permet de bénéficier d'une IA conversationnelle spécifique à l'entreprise directement sur le Data Cloud. De l'ingestion à la récupération, puis au déploiement, vous pouvez travailler entièrement dans l'environnement contrôlé de Snowflake. Ces chatbots peuvent contribuer à rationaliser des processus tels que l'intégration, aider à répondre à des questions analytiques approfondies et créer de la documentation technique.

Cortex permet la création de chatbots alimentés par RAG qui combinent les LLM avec vos propres données. La création d'un chatbot dans Streamlit dans Snowflake facilite le déploiement d'interfaces conviviales au sein de Snowflake. La sécurité, la gouvernance et la gestion des coûts sont intégrées au flux de travail. Grâce à Cortex, les organisations peuvent passer des tableaux de bord BI traditionnels à des assistants intelligents qui interagissent avec les données de manière conversationnelle.

Pour plus d'informations sur Snowflake et ses capacités en matière d'IA, veuillez consulter les ressources suivantes :

• Modélisation des données dans Snowflake
• Snowflake arctique : LLM de Snowflake
• Apprentissage automatique avec Python et Snowflake Cortex AI