Procesamiento de textos con Snowflake Cortex AI

Los datos de texto constituyen una parte importante de las tareas modernas de análisis de datos, que abarcan desde las opiniones de los clientes hasta los documentos corporativos. La capacidad de extraer, resumir, traducir y analizar información textual es crucial para tomar decisiones basadas en datos. Snowflake Cortex AI simplifica el procesamiento de textos proporcionando un entorno de bajo a ningún código para utilizar la IA. Este artículo cubrirá las funciones fundamentales de la IA Cortex y, a continuación, proporcionará algunos consejos prácticos para su aplicación.

La propia Snowflake Cortex AI es un potente conjunto de herramientas de IA y aprendizaje automático integradas en Snowflake Data Cloud. Tiene soporte incorporado para las funciones del Gran Modelo Lingüístico (LLM) como Meta Llama 3 y Mistral Grande modelos.

Snowflake Cortex AI es una forma excelente para que los profesionales de los datos de todos los niveles se inicien en la IA, ya que proporciona funciones de IA preconstruidas en SQL, no requiere una API externa y se escala con la infraestructura de datos de Snowflake. 

Si eres nuevo en Snowflake, te recomiendo que tomes el curso Introducción a Snowflake SQL de Snowflake.

Comprender las funciones de procesamiento de textos de Snowflake Cortex AI

Snowflake Cortex AI proporciona un conjunto de herramientas integradas diseñadas para hacer más eficaz el procesamiento de textos. Desde el resumen y la traducción hasta el análisis de sentimientos y el análisis sintáctico de documentos, estas funciones permiten a los usuarios extraer información de grandes volúmenes de texto directamente en Snowflake. Exploremos estas capacidades y cómo pueden aplicarse en escenarios del mundo real.

Funciones del Gran Modelo Lingüístico (LLM)

Snowflake Cortex AI proporciona funciones de Gran Modelo Lingüístico (LLM) para realizar con eficacia diversas tareas relacionadas con el texto. 

Por ejemplo, la función COMPLETE permite a los usuarios proporcionar una indicación a un modelo concreto (como Llama3 o Mistral) y obtener una respuesta de vuelta, de forma similar a como podrías utilizar ChatGPT en la web. 

También puedes utilizar funciones concretas como SUMMARIZE y TRANSLATE para realizar tareas específicas de forma rápida y sencilla. Estas funciones facilitan mucho la realización rápida de resúmenes, traducciones y análisis de sentimientos. Si quieres saber más sobre los LLM en general, consulta el curso Curso Conceptos de LLM.

Documento AI

Document AI es la función de inteligencia artificial propiedad de Snowflake diseñada para extraer y estructurar información de documentos no estructurados. En esencia, aprovecha Arctic-TILT, el modelo especializado de IA de Snowflake, para analizar texto de diversos formatos de documentos y convertirlo en datos estructurados y listos para la consulta.

Con Document AI, los usuarios pueden:

• Sube documentos (por ejemplo, PDF, informes escaneados, facturas).
• Haz consultas basadas en IA para extraer información relevante.
• Automatiza las vías de extracción de datos para agilizar los flujos de trabajo.

Aunque esta herramienta es muy potente, actualmente tiene algunas limitaciones en cuanto a los tipos de archivo admitidos, el tamaño de los documentos y la duración del procesamiento. Sin embargo, para las organizaciones que trabajan con grandes volúmenes de texto no estructurado -como documentos legales, contratos de clientes o estados financieros-, Document AI ofrece una forma eficaz de convertir el texto en bruto en bases de datos Snowflake estructuradas, lo que facilita considerablemente el análisis posterior.

De la documentación de Snowflake Document AI

Funciones clave de procesamiento de textos en Snowflake Cortex AI

Veamos brevemente las características clave de la IA Snowflake Cortex y lo que pueden hacer. En la siguiente sección se dan algunos pasos (sencillos) para utilizar estas funciones.

Resumen de texto

El resumen del texto se realiza mediante la función SUMMARIZE. En resumen, toma un conjunto dado de texto y proporciona rápidamente un resumen. Por ejemplo, si le dieras un artículo o informe extenso, te proporcionará la información más destacada de ese texto.

Traducción del texto

La función TRANSLATE permite la traducción de idiomas sin problemas. Puede tomar las opiniones de los clientes o los tickets de asistencia enviados en un idioma extranjero y traducirlos al inglés. Admite multitud de idiomas de destino, como inglés, francés, neerlandés, alemán, japonés y chino, entre otros.

Análisis del sentimiento

El análisis de sentimiento discierne la emoción o el tono general de un texto. Proporciona contexto sobre si algo es positivo, negativo o neutro. La función SENTIMENT de Snowflake devuelve un valor numérico entre -1 y 1, siendo -1 negativo, 1 positivo y 0 generalmente neutro.

Análisis sintáctico de documentos

El análisis sintáctico de documentos puede ser la funcionalidad más compleja. Toma un archivo de documento almacenado en algún lugar y extrae información de ese documento. Para ello podemos utilizar la función PARSE_DOCUMENT.

Implementación del procesamiento de textos con Snowflake Cortex AI

Ahora que hemos explorado las capacidades de procesamiento de texto de Cortex AI, vamos a ver cómo ponerlas en práctica, empezando por configurar tu entorno.

Configurar tu entorno

Hay que seguir unos pasos para estar preparado para utilizar Snowflake Cortex AI. Asegúrate de que tienes lo siguiente completo:

1. Necesitarás el archivo COPO_NIEVE.CORTEX_USER en la base de datos.
2. Tus datos deben almacenados en formatos compatibles con Snowflake.
3. Debes habilitar las funciones Cortex AI en tu instancia Snowflake.

Si no tienes los permisos necesarios, asegúrate de hablar con el administrador de tu base de datos (o si eres el administrador, proporciónate a ti mismo estos roles) para obtener acceso. Ten en cuenta también que, debido a la configuración particular de tu organización, puede que algunos modelos no estén disponibles para ti.

Ejemplos prácticos

Repasemos algunos ejemplos de las funciones clave del resumen, la traducción y el análisis de sentimientos. Utilizaremos varios nombres de tabla y columnas de ejemplo. Supongamos que la tabla de la que estamos extrayendo información es cualquier tabla de tu base de datos Snowflake, y que la columna contiene tu información de texto. Verás rápidamente lo fácil que puede ser ejecutar estas funciones en Snowflake.

Resumir datos de texto

Empecemos con una tarea muy común: resumir diversos artículos de noticias.

-- Assume that the data is in the table ‘articles’
--We want to summarize all the text from all the articles we have in our database

SELECT SNOWFLAKE.CORTEX.SUMMARIZE(article_text) AS summary
FROM articles;

Traducir tickets de soporte

Otra tarea común es traducir los tickets de soporte que no vienen todos en tu idioma local. SNOWFLAKE.CORTEX.TRANSLATE(text, ‘source language’,’target language’) es la sintaxis general en la que ’source language’ y ’target language’ se escribirán en un código de idioma de dos letras. 

Si ese idioma de origen es una cadena vacía ’’, el idioma se detecta automáticamente.

/* We select from the table support_tickets
 The column ticket_description has all the ticket text
We are going from ‘fr’ to ‘en’ */
SELECT SNOWFLAKE.CORTEX.TRANSLATE(ticket_description, 'fr', 'en') FROM support_tickets;

--If we leave the source language as just an empty string ‘’, it will automatically detect the language
SELECT SNOWFLAKE.CORTEX.TRANSLATE(ticket_description, '', 'en') FROM support_tickets;

Realizar análisis de sentimientos sobre los comentarios de los clientes

Por último, veamos el sentimiento de nuestros clientes en las redes sociales utilizando SENTIMENT.

--Select from the social_media_comments table
--provide the text to the SENTIMENT function.
SELECT SNOWFLAKE.CORTEX.SENTIMENT(comment_text) FROM social_media_comments;

Buenas prácticas y consideraciones

Como con todo lo relacionado con la IA, debemos asegurarnos de que disponemos de un conjunto de buenas prácticas y directrices. Asegurarnos de que cumplimos las leyes de privacidad de datos y optimizar nuestras consultas nos dará la mejor experiencia utilizando Snowflake Cortex AI.

Privacidad y seguridad de los datos

La privacidad de los datos es uno de los componentes más críticos, especialmente cuando se trata de IA. Afortunadamente, Snowflake lo integra en tu entorno. Puedes utilizar el marco de control de acceso de Snowflake para asegurarte de que sigues las mejores prácticas de acceso y cumples la normativa.

• Garantizar el cumplimiento de GDPR, CCPA y otras normativas al procesar los datos de los usuarios.
• Utiliza controles de acceso basados en roles (RBAC) para restringir el procesamiento de texto sensible.

Optimización del rendimiento

Los datos no estructurados pueden ser masivos. Si somos inteligentes a la hora de procesar los datos, minimizaremos tanto el tiempo de ejecución como los costes. Prueba estas buenas prácticas para optimizar el rendimiento:

• Procesamiento por lotes: Procesa texto en bloque en lugar de fila a fila.
• Almacenamiento eficiente: Almacena documentos grandes en tablas optimizadas Tablas copo de nieve.
• Indexación y almacenamiento en caché: Utiliza la indexación para los datos de texto de acceso frecuente.

Conclusión

Snowflake Cortex AI simplifica el procesamiento de texto ofreciendo funciones de texto integradas potenciadas por IA directamente dentro de Snowflake SQL. Con sus potentes funciones de resumen, traducción, análisis de sentimientos y análisis sintáctico de documentos, los profesionales de los datos de todos los niveles pueden extraer información significativa del texto sin esfuerzo. 

Aprovechando las herramientas de IA prediseñadas, las empresas pueden desbloquear información valiosa y tomar decisiones basadas en datos con facilidad. Si tienes curiosidad por saber más sobre Snowflake y sus herramientas, prueba estos recursos:

• Cómo aprender copo de nieve en 2025
• Introducción al modelado de datos en Snowflake
• Introducción a Snowflake para principiantes
• Snowflake Cortex AI con Python