After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Опис курсу
Опануйте інструменти та методи для створення надійних автоматизованих конвеєрів даних у Snowflake. Ви почнете з вивчення того, як завантажувати дані у великих масштабах — налаштовувати stages і формати файлів, завантажувати дані за допомогою COPY INTO та обирати між пакетним завантаженням, Snowpipe і Snowpipe Streaming для різних вимог до затримки та обсягу даних.
Звідти ви розвинете навички наскрізної оркестрації пайплайнів: фіксації змін на рівні рядків за допомогою streams, побудови багатокрокових workflow через task DAGs і створення декларативних, автоматично оновлюваних пайплайнів із dynamic tables. Ви також дізнаєтеся, коли варто використовувати зовнішні таблиці та таблиці Iceberg для багатодвигунних і хмарно-нативних сценаріїв.
Друга половина курсу вдосконалює ваші навички запитів і трансформації даних — витягування та розгортання напівструктурованого JSON із колонок VARIANT, застосування розширень групування та віконних функцій для просунутої аналітики, а також інкапсуляція повторно використовуваної логіки в UDF і збережених процедурах.
Нарешті ви перейдете до продуктивності запитів: навчитеся читати Query Profile у Snowflake, щоб точно визначати вузькі місця, обирати правильний інструмент оптимізації — Search Optimization, Query Acceleration Service, clustering keys або materialized views — і писати cache-friendly SQL, який уникає поширених антипатернів, що непомітно погіршують продуктивність.
Попередні вимоги
Для цього курсу немає попередніх вимог
Навчальний план
Зміст курсу
1
Завантаження, надходження та підключення даних
Опanuйте конвеєр надходження даних у Snowflake — від проміжного розміщення файлів через COPY INTO, Snowpipe і Snowpipe Streaming — і під'єднайте Snowflake до ширшої екосистеми даних за допомогою конекторів, драйверів і засобів експорту.
- Сховища (Stages), формати файлів і COPY INTO50 XP
- Класифікація типів сховищ (Stage)100 XP
- Обробка помилок у COPY INTO50 XP
- Snowpipe і Snowpipe Streaming50 XP
- Вибір належного механізму завантаження50 XP
- Характеристики методів завантаження100 XP
- Вивантаження даних і підключення50 XP
- Вивантаження даних у хмарне сховище50 XP
- Механізми підключення100 XP
2
Оркестрація конвеєрів і об'єкти даних
Створюйте надійні конвеєри даних за допомогою вбудованої в Snowflake оркестрації — streams для фіксації змін, tasks для планування, dynamic tables для декларативних перетворень, а також external та Iceberg tables для зберігання у відкритих форматах.
3
Запити та трансформація даних
Виконуйте запити до напівструктурованого JSON за допомогою нотації з крапкою та FLATTEN, агрегуйте дані за допомогою GROUPING SETS, ROLLUP і CUBE, обчислюйте віконні функції та інкапсулюйте багаторазову логіку в UDF і збережених процедурах.
4
Продуктивність запитів та оптимізація
Профілюйте запити у Snowsight, виявляйте «вузькі місця» за допомогою QUERY_HISTORY, застосовуйте Search Optimization, Query Acceleration Service, Automatic Clustering і Materialized Views, а також пишіть SQL, що використовує переваги трьох шарів кешування Snowflake.
S
Автоматизація конвеєрів даних у Snowflake
Курс
завершено
