Automatyzacja potoków danych w Snowflake

Opanuj narzędzia i techniki tworzenia niezawodnych, zautomatyzowanych potoków danych w Snowflake. Zaczniesz od nauki, jak pozyskiwać dane na dużą skalę — konfigurując stage’e i formaty plików, ładując dane za pomocą COPY INTO oraz wybierając między ładowaniem wsadowym, Snowpipe i Snowpipe Streaming w zależności od wymagań dotyczących opóźnień i wolumenu. Stamtąd rozwiniesz umiejętności orkiestracji kompleksowych pipeline’ów end-to-end: przechwytywania zmian na poziomie wierszy za pomocą strumieni, łączenia wieloetapowych workflow za pomocą DAG-ów zadań oraz tworzenia deklaratywnych, automatycznie odświeżanych pipeline’ów z dynamicznymi tabelami. Nauczysz się też, kiedy sięgać po zewnętrzne tabele i tabele Iceberg w scenariuszach wielosilnikowych oraz natywnie chmurowych. Druga połowa kursu doskonali Twoje umiejętności zapytań i transformacji — wyodrębnianie i rozpakowywanie półstrukturalnego JSON z kolumn VARIANT, stosowanie rozszerzeń grupowania i funkcji okienkowych do zaawansowanej analityki oraz zamykanie wielokrotnego użytku logiki w UDF-ach i procedurach składowanych. Na koniec zajmiesz się wydajnością zapytań: nauczysz się czytać Query Profile w Snowflake, aby wskazywać wąskie gardła, wybierać odpowiednie narzędzie optymalizacyjne — Search Optimization, Query Acceleration Service, clustering keys lub materialized views — oraz pisać SQL przyjazny dla cache, który unika typowych antywzorców cicho obniżających wydajność.