Build your ultimate AI agent
Описание курса
Освойте инструменты и методы для создания надежных автоматизированных конвейеров данных в Snowflake. Вы начнёте с изучения того, как загружать данные в больших объёмах — настраивать stages и форматы файлов, загружать данные с помощью COPY INTO и выбирать между пакетной загрузкой, Snowpipe и Snowpipe Streaming в зависимости от требований к задержке и объёму данных.
Оттуда вы освоите навыки оркестрации сквозных пайплайнов: будете фиксировать изменения на уровне строк с помощью потоков, выстраивать многошаговые рабочие процессы с помощью DAG задач и создавать декларативные, автоматически обновляемые пайплайны с динамическими таблицами. Вы также узнаете, когда использовать внешние таблицы и таблицы Iceberg для многодвижковых и облачно-нативных сценариев.
Во второй половине курса вы отточите навыки выполнения запросов и преобразования данных — извлечения и развертывания полуструктурированного JSON из столбцов VARIANT, применения расширений группировки и оконных функций для продвинутой аналитики, а также оформления повторно используемой логики в UDF и хранимых процедурах.
Наконец, вы разберётесь с производительностью запросов: научитесь читать Query Profile в Snowflake, чтобы выявлять узкие места, выбирать правильный инструмент оптимизации — Search Optimization, Query Acceleration Service, ключи кластеризации или materialized views — и писать SQL, дружественный к кэшу, который избегает распространённых антипаттернов, незаметно снижающих производительность.
Предварительные требования
Предварительные требования для этого курса отсутствуют
Программа
Структура курса
1
Загрузка, приём данных и подключение
Освойте конвейер приёма данных в Snowflake — от размещения файлов в хранилище через COPY INTO, Snowpipe и Snowpipe Streaming — и научитесь подключать Snowflake к экосистеме данных с помощью коннекторов, драйверов и инструментов экспорта.
- Стейджи, форматы файлов и COPY INTO50 XP
- Классификация типов стейджей100 XP
- Обработка ошибок в COPY INTO50 XP
- Snowpipe и Snowpipe Streaming50 XP
- Выбор подходящего метода загрузки данных50 XP
- Характеристики методов загрузки данных100 XP
- Выгрузка данных и подключение к внешним системам50 XP
- Выгрузка данных в облачное хранилище50 XP
- Механизмы подключения100 XP
2
Оркестрация конвейеров и объекты данных
Создавайте надёжные конвейеры данных с помощью встроенных средств оркестрации Snowflake: потоков для отслеживания изменений, задач для планирования, динамических таблиц для декларативных преобразований, а также внешних таблиц и таблиц Iceberg для хранения данных в открытых форматах.
3
Запросы и преобразование данных
Выполняйте запросы к полуструктурированным данным JSON с помощью точечной нотации и FLATTEN, агрегируйте данные с использованием GROUPING SETS, ROLLUP и CUBE, вычисляйте оконные функции и инкапсулируйте повторно используемую логику в пользовательских функциях и хранимых процедурах.
4
Производительность и оптимизация запросов
Профилируйте запросы в Snowsight, выявляйте узкие места с помощью QUERY_HISTORY, применяйте Search Optimization, Query Acceleration Service, Automatic Clustering и материализованные представления, а также пишите SQL-код, эффективно использующий три уровня кэширования Snowflake.
S
Автоматизация конвейеров данных в Snowflake
Курс
завершён
