Automatisation des pipelines de données dans Snowflake

Maîtrisez les outils et les techniques pour créer des pipelines de données fiables et automatisés dans Snowflake. Vous commencerez par apprendre à ingérer des données à grande échelle — en configurant les stages et les formats de fichiers, en chargeant les données avec COPY INTO, et en choisissant entre le chargement par lots, Snowpipe et Snowpipe Streaming selon les exigences de latence et de volume. À partir de là, vous développerez des compétences en orchestration de pipelines de bout en bout : capture des modifications au niveau des lignes avec des streams, enchaînement de workflows multi-étapes avec des DAG de tâches, et création de pipelines déclaratifs, actualisés automatiquement, avec des tables dynamiques. Vous apprendrez également quand utiliser des tables externes et Iceberg pour des scénarios multi-moteurs et cloud-native. La seconde moitié du cours affine vos compétences en requête et en transformation — extraction et dénesting de JSON semi-structuré à partir de colonnes VARIANT, application d’extensions de regroupement et de fonctions de fenêtre pour des analyses avancées, et encapsulation de logique réutilisable dans des UDF et des procédures stockées. Enfin, vous aborderez les performances des requêtes : lire le profil de requête de Snowflake pour identifier les goulots d’étranglement, choisir le bon outil d’optimisation — Search Optimization, Query Acceleration Service, clés de clustering ou vues matérialisées — et écrire du SQL compatible avec le cache qui évite les anti-patterns courants qui dégradent silencieusement les performances.