Explicación de las tablas dinámicas de Snowflake: Canales de datos modernos

Las tablas dinámicas de Snowflake son una potente herramienta en el arsenal de un ingeniero de datos. Son esencialmente procesos de actualización automatizados que utilizan consultas de transformación en tablas base para generar nuevas tablas. 

Las tablas dinámicas simplifican las canalizaciones de coordinación de datos en las que es importante la actualidad de los datos y se necesitan transformaciones complejas basadas en SQL. Utilizan una sincronización basada en el retraso para actualizar las tablas en función de los cambios en las tablas base.

Las recientes mejoras han reforzado sus capacidades, lo que permite la propagación de datos casi en tiempo real y una integración más profunda dentro del ecosistema de Snowflake (ponte al día con este curso de introducción).

Esta guía explora cómo funcionan las tablas dinámicas, cómo implementarlas de manera eficaz y cómo supervisar y optimizar el rendimiento. Al final, estarás preparado para evaluar y probar estas implementaciones y comprobar si se ajustan a las necesidades de datos de tu organización.

¿Qué son las tablas dinámicas de Snowflake?

Las tablas dinámicas son una clase totalmente gestionada de objetos de base de datos Snowflake que ayudan a optimizar y automatizar los flujos de datos. 

En lugar de utilizar herramientas de coordinación externas o intentar sincronizar las actualizaciones manuales con las actualizaciones de las tablas de origen, las tablas dinámicas se actualizan automáticamente en función de los cambios en los datos de origen y los objetivos de actualidad definidos. Esto permite a los profesionales de datos crear transformaciones de datos flexibles y actualizables según sea necesario cuando los datos cambian.

A diferencia de las vistas, que requieren que el usuario calcule la tabla cuando se consulta, las tablas dinámicas permanecen calculadas, lo que mejora la velocidad de las consultas. Del mismo modo, mientras que las vistas materializadas ofrecen el mismo tipo de datos almacenados en caché, las tablas dinámicas pueden utilizar elementos como uniones, combinaciones y vistas anidadas que las vistas materializadas no pueden.

Introducido originalmente para salvar la brecha entre los ELT tradicionales ELT y las arquitecturas basadas en eventos, las tablas dinámicas representan el desarrollo continuo de Snowflake para el procesamiento de datos declarativo y sensible a las dependencias.

Todo lo que tienes que hacer es escribir la consulta SQL SELECT que define tu tabla dinámica con un TARGET_LAG definido que dicta la frecuencia de actualización. 

Por ejemplo, un « TARGET_LAG » de cinco minutos significa que la tabla dinámica no se retrasa más de cinco minutos con respecto a la tabla base. Lo mejor de todo es que todo esto lo gestiona el motor de actualización interno de Snowflake, lo que nos ahorra tener que diseñar complejos procesos.

Descripción de las tablas dinámicas de Snowflake

Para implementar eficazmente las tablas dinámicas, profundizaremos en algunas de las implementaciones técnicas subyacentes de Snowflake para comprender sus puntos fuertes y débiles.

Arquitectura fundamental y mecánica operativa

Al igual que las vistas materializadas, las tablas dinámicas proporcionan un comportamiento de actualización de datos persistente y automatizado. Sin embargo, a diferencia de las vistas materializadas, permiten transformaciones más complejas al permitir operaciones como uniones y combinaciones. 

Esto permite crear múltiples tablas dinámicas más pequeñas que luego pueden alimentar tablas dinámicas más grandes.

Una innovación clave es el uso que hace Snowflake de un gráfico de dependencias automatizado. Puedes crear una tabla agregada dinámica que se actualice a medida que se actualizan las tablas base, o puedes crear capas de tablas dinámicas utilizando grafos acíclicos dirigidos. Esto funciona actualizando una tabla de preparación base, lo que activa la actualización de una tabla dinámica descendente. 

Una vez actualizadas esas tablas dinámicas intermedias, se actualiza la tabla dinámica agregada final. Todo esto funciona con los trabajadores de actualización de Snowflake, que buscan actualizaciones de datos y se aseguran de que las tablas de origen se actualicen con los datos más recientes.

De la documentación de Snowflake sobre la creación de tablas dinámicas

Dinámica del mecanismo de actualización

Los principales mecanismos que puedes controlar al crear tablas dinámicas son los modos de actualización, el retraso y los parámetros del almacén durante la creación. Las tablas dinámicas admiten dos modos de actualización:

• Modo incremental: Snowflake analiza los cambios desde la última actualización y los fusiona en la tabla.
• Modo completo: Vuelve a calcular toda la tabla en cada actualización y la reemplaza por completo.

Puedes definir manualmente el modo de actualización o utilizar la opción « REFRESH_MODE = AUTO » (Actualizar tabla) en la creación inicial de la tabla dinámica. Ten en cuenta que cuando utilizas AUTO, se establece el modo de actualización en el momento de la creación y no se actualiza. Si Snowflake determina que la actualización incremental no es eficiente, optará por realizar una actualización completa.

La configuración « WAREHOUSE » determina el almacén que se utilizará para los recursos informáticos. Asegúrate de seleccionar el que mejor se adapte a tus necesidades informáticas y de almacenamiento de datos.

Quizás el concepto más importante sea el retraso. La forma más habitual de determinar el retraso es utilizar un valor de retardo ( TARGET_LAG ), que define el retraso aceptable entre los datos de origen y las tablas dinámicas. Si estás trabajando con un proceso algo más complejo en el que otras tablas dinámicas dependen de otras tablas dinámicas, puedes optar por establecer TARGET_LAG = DOWNSTREAM. 

Al establecer el valor de « TARGET_LAG » en « DOWNSTREAM », se consultan las tablas dinámicas descendentes que dependen de la tabla dinámica actual para la sincronización.

Tabla que resume las diferencias entre las tablas dinámicas y las tablas tradicionales, las vistas y las vistas materializadas.

Gestión de dependencias

Cada tabla dinámica contribuye a un DAG, lo que permite a Snowflake coordinar las actualizaciones en varias tablas. Esto garantiza la corrección y la eficiencia, especialmente en tuberías de varias etapas.

Snowsight proporciona una interfaz visual para explorar este DAG, mostrando dependencias, tiempos de actualización y métricas de retraso. Esto supone una gran ventaja para la depuración y el análisis de impacto. Asegúrate de leer este artículo sobre canalizaciones de datos de Snowflake para obtener más información sobre cómo funciona la arquitectura de Snowflake.

Características principales y ventajas comparativas

Veamos algunas de las otras características clave de las tablas dinámicas y sus ventajas. 

Ventajas comparativas con respecto a las arquitecturas tradicionales

Las tablas dinámicas eliminan la necesidad de una orquestación externa (por ejemplo, Airflow o dbt Cloud) al gestionar el seguimiento de dependencias y la lógica de actualización de forma nativa en Snowflake.

Esto tiene una serie de ventajas, entre las que se incluyen:

• Orquestación simplificada: No se necesitan tareas programadas ni lógica de actualización manual.
• Compatibilidad integrada con la captura de datos modificados (CDC): El procesamiento incremental es compatible de forma nativa.
• Monitorización unificada: El estado de actualización, el retraso y el linaje se pueden ver en Snowsight.
• Compatibilidad con la reescritura de consultas: Snowflake puede optimizar las consultas mediante el linaje de tablas dinámicas.

Todo ello permite a las tablas dinámicas destacar en situaciones en las que se necesitan datos actualizados y casi en tiempo real. Piensa en cosas como paneles de control en tiempo real y flujos de trabajo de CDC. Además, puedes encadenar varias tablas dinámicas en secuencia para realizar transformaciones en varias etapas.

Procesamiento de datos en tiempo real y captura de datos modificados (CDC)

En lugar de definir plazos de actualización manuales mediante tareas CRON, las tablas dinámicas utilizan TARGET_LAG para comparar con las tablas de origen. Para la transmisión de tablas de datos en tiempo real, esto significa que tan pronto como la tabla dinámica se desincroniza por el retraso designado, se actualiza automáticamente.

Aunque son muy similares, las tablas dinámicas se utilizan a menudo como alternativa a los flujos y las vistas materializadas. Las vistas materializadas son ideales si necesitas que los datos estén siempre actualizados y utilizas una lógica sencilla en una tabla base única. 

Las secuencias son ideales para implementar CDC manualmente y para comprender cómo cambian los datos con el tiempo. Las tablas dinámicas son perfectas cuando deseas una forma sencilla de implementar actualizaciones programadas periódicamente para consultas complejas de transformación de datos.

Para obtener más información sobre cómo estructurar datos en Snowflake, curso sobre modelado de datos en Snowflake es un recurso excelente.

Implementación de tablas dinámicas de Snowflake

Veamos cómo configurar tablas dinámicas utilizando patrones de sintaxis y prácticas recomendadas. Ponerlas en marcha es relativamente fácil, pero comprender a fondo los parámetros te permitirá sacar el máximo partido a tus tablas dinámicas.

Marco de implementación y sintaxis

Aquí tienes un código de ejemplo de cómo podríamos crear una tabla dinámica utilizando nuestra tabla raw_sales como base. Échale un vistazo y a continuación lo analizaremos en detalle.

# Your Dynamic Table parameters
CREATE OR REPLACE Dynamic Table sales_agg
  TARGET_LAG = '5 minutes'
  WAREHOUSE = 'prod_wh'
  REFRESH_MODE = auto
  INITIALIZE = on_create
  AS

# Your SQL query for the table itself
SELECT
  store_id,
  SUM(amount) AS total_sales,
  COUNT(*) AS sale_count
FROM raw_sales
GROUP BY store_id;

La segunda mitad debería ser bastante sencilla; es nuestra declaración « SELECT », que define los datos de la tabla. La primera mitad, antes de la declaración « SELECT », son todos nuestros parámetros de creación: 

• TARGET_LAG: Especifica los requisitos de frescura tal y como se ha explicado anteriormente. Puedes establecer un periodo de tiempo aquí o escribir «DOWNSTREAM» si hay otra tabla dinámica que esté utilizando estos datos.
• WAREHOUSE: Determina los recursos informáticos. Asegúrate de seleccionar el almacén Snowflake adecuado para disponer de recursos suficientes para generar la tabla de forma rentable.
• REFRESH_MODE: Se puede configurar explícitamente en INCREMENTAL o FULL. He elegido « AUTO » (Seleccionar mejorado) para que Snowflake determine el método óptimo.
• INITIALIZE: Determina cuándo se inicializa la tabla. ON_CREATE significa que la tabla se inicializa inmediatamente. Si lo configuras como « ON_SCHEDULE », la tabla se inicializará una vez que se alcance el primer periodo de retraso.

Ten en cuenta que Snowflake requerirá el seguimiento de cambios para admitir correctamente las actualizaciones incrementales, lo que significa que se activan automáticamente para las tablas dinámicas incrementales. 

Si deseas comprobarlo manualmente, puedes utilizar el comando « ALTER TABLE ». Tener habilitado el seguimiento de cambios también permite viajar en el tiempo en caso de que necesitemos restaurar versiones históricas de las tablas.

CLONE e ICEBERG

Dos matices de las tablas dinámicas son su clonación y su conexión a tablas Snowflake Iceberg, que se crean en bases de datos externas. tablas Apache Iceberg tablas.

Para las tablas Iceberg, no cambia nada durante la configuración. La principal ventaja de las tablas dinámicas creadas en tablas Snowflake Iceberg es que te permiten seguir procesando los datos externos sin necesidad de ingestión continua ni duplicación de los datos.

La clonación es posible gracias al viaje en el tiempo de Snowflake, y podemos copiar una versión anterior de nuestra tabla dinámica utilizando el comando « CLONE » (clonar tabla) de la siguiente manera:

CREATE Dynamic Table clone_sales_agg
CLONE sales_agg
AT (OFFSET => -24*60*60) –-24 hours ago
TARGET_LAG = DOWNSTREAM
WAREHOUSE = sales_wh

La advertencia aquí es que las tablas clonadas podrían no compartir todos los metadatos de la tabla de origen y ocupan espacio de almacenamiento adicional. Ten cuidado con la clonación y asegúrate de que sea necesaria.

Configuración de datos de muestra

Es recomendable practicar la configuración de tablas dinámicas para comprobar su funcionamiento. A continuación, se incluye una guía general sobre cómo probar tablas dinámicas:

• Crea una tabla raw_sales sencilla con marcas de tiempo.
• Insertar nuevas filas periódicamente.
• Utiliza TARGET_LAG = '1 minute' para ver las actualizaciones en acción.

Algo que puedes hacer es crear una secuencia que examine un depósito S3 donde puedas cargar datos periódicamente. A medida que estos datos cambian, puedes ver cómo se actualiza tu tabla dinámica. Puedes seguir este tutorial para conocer formas sencillas de configurar la ingesta de datos de Snowflake y, a continuación, consulta este tutorial para obtener más información sobre crear tablas en Snowflake.

Supervisión y gestión de tablas dinámicas

Snowflake proporciona varias herramientas para ayudarte a supervisar y gestionar las tablas dinámicas de forma eficaz, como el uso de Snowsight o la realización de consultas. ¡Asegúrate de tener privilegios de monitor en tu cuenta para ver esta información!

Métodos y herramientas de seguimiento

Usar Snowsight para supervisar tablas dinámicas es sencillo:

• Navega por los datos y selecciona Bases de datos.
• Selecciona la base de datos y el esquema que contienen tu tabla dinámica.
• Selecciona la opción Tablas dinámicas .
• Esto proporciona una lista de las tablas que puedes seleccionar y sobre las que puedes ver más información.

Snowsight puede proporcionar información muy útil, como cómo se creó la tabla dinámica, el DAG y el historial y las métricas de actualización.

Para hacer lo mismo con SQL, usaríamos el comando SHOW DYNAMIC TABLES. 

Por ejemplo, si me interesa ver todas las tablas dinámicas relacionadas con las ventas:

SHOW Dynamic Tables LIKE ‘sales_%' IN SCHEMA mydb.myschema;

Esto proporciona información como cuándo se creó la tabla, su tamaño, el retraso del destino y su estado más reciente.

Gestión y modificación de tablas dinámicas

Probablemente llegará un momento en el que querrás modificar o suspender tu tabla dinámica. Afortunadamente, Snowflake lo hace sencillo.

Para suspender tu tabla, utilizamos ALTER DYNAMIC TABLE y SUSPEND:

ALTER Dynamic Table sales_agg SUSPEND;

Para resumirlo, hacemos lo mismo pero con RESUME:

ALTER Dynamic Table sales_agg RESUME;

Para cambiar los parámetros, también podemos utilizar la línea « ALTER DYNAMIC TABLE » y « SET » el parámetro específico que deseamos cambiar:

ALTER Dynamic Table sales_agg SET TARGET_LAG = '10 minutes';

La mejor manera de gestionar las dependencias y minimizar las interrupciones operativas es asegurarte de que no se suspenden las tablas críticas. Si tienes pensado cambiar la cantidad de retraso, asegúrate de comprender cómo podría afectar a la sincronización de las tablas descendentes. 

Superación de las limitaciones operativas

Hemos aprendido que las tablas dinámicas son muy útiles, pero aún tienen algunas limitaciones y consideraciones.

Restricciones y limitaciones arquitectónicas

Existen algunas limitaciones en cuanto a los tipos de cuentas y fuentes. Las limitaciones actuales incluyen:

• Limitado a 50 000 tablas dinámicas por cuenta (a mediados de 2025).
• No todos los tipos de objetos Snowflake son compatibles como fuentes (por ejemplo, flujos).
• Las consultas de tablas dinámicas no se registran en la vista de auditoría « ACCESS_HISTORY ».

Otros aspectos a tener en cuenta son la clonación, los viajes en el tiempo y el control de acceso. El viaje en el tiempo podría ser el más sencillo, ya que requiere un valor mínimo de 1 día. No puedes desactivar el viaje en el tiempo configurando la opción « DATA_RETENTION_TIME_IN_DAYS » (Viaje en el tiempo) en 0. 

Al clonar una tabla dinámica, ten en cuenta que no se guardan todos los metadatos. Además, no puedes clonar tablas dinámicas de Iceberg. Si clonas una tabla dinámica que depende de una tabla dinámica Iceberg, dicha tabla dinámica Iceberg no se reubica en la nueva ubicación.

Para crear y utilizar tablas dinámicas, se requieren los roles de acceso CREATE DYNAMIC TABLE, SELECT y USAGE para la base de datos y el esquema principales. 

Si recuerdas estas restricciones, ¡no deberías tener problemas con las tablas dinámicas!

Técnicas de optimización del rendimiento

Gracias a su sencilla metodología de implementación, es fácil sobrecargar el sistema. Un error común es tratar las tablas dinámicas como un canal de datos en tiempo real. No pretenden sustituir las fuentes de datos en tiempo real; en su lugar, debemos tener en cuenta los requisitos de tiempo y actualidad de los datos. Por ejemplo, podemos seguir estas prácticas recomendadas:

• Utiliza REFRESH_MODE = incremental siempre que sea posible para no tener que recrear toda la tabla dinámica con cada carga.
• Ajusta TARGET_LAG para equilibrar las necesidades de coste y actualidad de los datos de las partes interesadas.
• Elige un tamaño adecuado de WAREHOUSE para optimizar los recursos informáticos que se están utilizando.
• Divide las transformaciones grandes en tablas más pequeñas por etapas.
• Escribe código SQL inteligente y eficiente que no dependa de uniones masivas ni de sentencias anidadas « SELECT ».

Seguir estos sencillos consejos te ayudará a mantener tus tablas dinámicas en perfecto estado. Usarlos con prudencia puede simplificar considerablemente tus canales de datos críticos con un coste mínimo, pero utilizarlos de forma imprudente puede crear más problemas en el futuro.

Consideraciones sobre precios y costes

Como hemos mencionado, existen costes de almacenamiento y computación asociados al uso de tablas dinámicas. Podemos mostrar algunas estrategias para comprender estos costes y cómo gestionarlos en Snowflake.

Componentes del costo

El coste del uso de tablas dinámicas tiene dos partes importantes: almacenamiento y computación. Cada uno de ellos tiene varias partes, así que vamos a verlas una por una.

Costes de almacenamiento con tablas dinámicas

En cuanto a los costes de almacenamiento, se te cobrarán los resultados materializados de cada tabla dinámica. También hay costes adicionales por cosas como viajes en el tiempo, almacenamiento a prueba de fallos y clonación. 

La única excepción son las tablas dinámicas tipo iceberg, en las que no tendrás ningún coste de almacenamiento de Snowflake, ya que se almacenan externamente. Puedes limitar estos costes haciendo que tu tabla dinámica sea lo más sencilla posible o minimizando la cantidad de clonación y los viajes en el tiempo.

Calcula los costes con las tablas dinámicas

Los costes informáticos se dividen en dos grandes partes: el almacén virtual y los servicios informáticos en la nube. Los almacenes virtuales serán los recursos que utilizarás para inicializar y actualizar tus tablas; piensa en los costes asociados a la ejecución de la consulta. 

La computación de los servicios en la nube tiene más que ver con la automatización que ofrece Snowflake. Entre ellas se incluyen la identificación de cambios en los objetos base subyacentes y el mantenimiento de los DAG. Piensa en todo el trabajo en segundo plano que realiza Snowflake para que tus tablas dinámicas sigan funcionando. 

Esto depende del retraso de tabla definido, y el coste está directamente asociado a la frecuencia definida.

Para obtener una visión completa de cómo se desglosan estos costes, consulta la documentación sobre costes de Snowflake, donde se desglosan los componentes.

Control de costes y ahorro

Snowflake facilita la supervisión de estos costes mediante Snowsight. Puedes ir a Monitorización, luego a Tablas dinámicas como de costumbre, y en la página de la tabla dinámica, hay una pestaña de créditos de almacén ( Refresh History ) que te mostrará los créditos de almacén utilizados.

Si deseas ver un uso más amplio de tu cuenta, también puedes utilizar la siguiente consulta:

SELECT * FROM SNOWFLAKE.ACCOUNT_USAGE.METERING_HISTORY;

Esto generará los costes incurridos por los diferentes servicios en la cuenta y se puede vincular a tus tablas dinámicas. 

Además, recomiendo realizar pruebas en un almacén dedicado para que puedas comprender completamente los costes de almacén asociados a la tabla dinámica. Una vez que tengas una idea del coste, puedes trasladarlos a tus almacenes compartidos.

Si deseas ahorrar costes, considera la posibilidad de utilizar funciones como la suspensión automática. Las tablas dinámicas suspendidas solo se cobran por almacenamiento y no por recursos de actualización. 

También puedes utilizar tablas dinámicas transitorias que no tienen costes de almacenamiento a prueba de fallos. Además, si optimizas tu TARGET_LAG a la frecuencia adecuada y utilizas la actualización incremental siempre que sea posible, podrás ahorrar muchos costes informáticos. 

Como siempre, escribir un buen código SQL y realizar transformaciones optimizadas también es una forma excelente de reducir el uso de recursos informáticos.

Casos de uso de tablas dinámicas de Snowflake

Las tablas dinámicas se pueden utilizar en cualquier lugar en el que desees sustituir un canal ETL complicado y delicado basado en el tiempo por un canal simplificado, basado en el retraso y autogestionado.

Patrones de implementación empresarial

A continuación, se incluyen algunos casos prácticos de implementación que pueden resultar útiles para tu sector específico.

Para las organizaciones financieras, podría resultar útil actualizar periódicamente los datos transaccionales, como la detección de fraudes o las devoluciones. 

Dado que no necesitamos datos actualizados al segundo, nos gustaría una frecuencia de actualización ( TARGET_LAG ) de 10 minutos para los paneles de control generales del estado del sistema. Quizás tengas un modelo de ciencia de datos que guarda todas las alertas de fraude en una tabla y un sistema de supervisión de devoluciones de terceros que las guarda en otra tabla. 

Puedes reunir estos dos en una tabla agregada de forma sencilla, sin necesidad de complejos DAG de Airflow. Esto debería simplificar y mejorar el rendimiento de las consultas.

Quizás, para el análisis minorista, nos interese saber cómo están rindiendo las diferentes regiones. Es posible que cada región tenga su propia base de datos central que envía datos periódicamente, pero con un ligero desfase. En lugar de crear canalizaciones ETL que deben adaptar sus tiempos a cada base de datos, podemos crear una tabla dinámica que agrega todos estos datos según sea necesario, basándose en los retrasos de cada tabla. Esto reduce la complejidad de las tuberías y minimiza la necesidad de un mantenimiento constante.

Otros escenarios podrían ser:

• Análisis del comportamiento en tiempo real: agrega información sobre el comportamiento de los clientes en tiempo real para resumir las tendencias emergentes.
• Flujos de trabajo de CDC: mantén datos casi en tiempo real para cambios operativos y realizar un seguimiento de los problemas empresariales.
• Modelado de almacén de datos: añade nuevos datos de forma incremental a medida que llegan y sirve como fuente única de información sobre cómo se ingestaron los datos.

Conclusión

Las tablas dinámicas de Snowflake son una herramienta increíble que te ayuda a simplificar los complejos procesos ETL basados en el tiempo. Ofrecen un elegante equilibrio entre automatización, flexibilidad y rendimiento. Solo recuerda algunas prácticas recomendadas, como realizar pruebas con canalizaciones no críticas para comprender el comportamiento de la actualización de datos, supervisar las métricas de retraso y coste, y evaluar los DAG visuales para comprender las dependencias.

Las tablas dinámicas no sustituyen por completo a las secuencias y tareas en todos los casos, pero ofrecen una nueva opción sólida que minimiza el código y maximiza la eficiencia. Úsalos con prudencia y realmente podrás hacer tu vida mucho más fácil. Para obtener más información sobre Snowflake y algunos conceptos básicos de SQL, consulta los siguientes recursos:

• Hoja de referencia rápida sobre conceptos básicos de SQL
• Fundamentos de Snowflake
• Análisis en profundidad de la arquitectura Snowflake
• Mejor certificación Snowflake 2025
• Las 32 preguntas más frecuentes en las entrevistas de Snowflake