700+ courses, half price
课程简介
掌握在 Snowflake 中构建可靠、自动化数据管道的工具和技术。 您将首先学习如何大规模摄取数据——配置阶段和文件格式,使用 COPY INTO 加载数据,并根据不同的延迟和数据量需求,在批量加载、Snowpipe 和 Snowpipe Streaming 之间进行选择。
从那里开始,您将培养端到端管道编排技能:使用流捕获行级变更,借助任务 DAG 串联多步骤工作流,并通过动态表创建声明式、自动刷新的管道。 你还将学习在多引擎和云原生场景中何时使用外部表和 Iceberg 表。
课程的后半部分将提升你的查询和转换技能——从 VARIANT 列中提取并展开半结构化 JSON,应用分组扩展和窗口函数进行高级分析,并将可复用逻辑封装到 UDF 和存储过程里。
最后,你将深入处理查询性能:阅读 Snowflake 的 Query Profile 以精准定位瓶颈,选择合适的优化工具——Search Optimization、Query Acceleration Service、聚类键或物化视图——并编写有利于缓存的 SQL,避免那些会悄然拖慢性能的常见反模式。
先修要求
本课程没有先修要求
课程体系
课程大纲
1
数据加载、摄取与连接性
全面掌握 Snowflake 的数据摄取管道——从通过 COPY INTO、Snowpipe 和 Snowpipe Streaming 进行文件暂存与加载——并通过连接器、驱动程序和导出工具将 Snowflake 接入更广泛的数据生态。
2
管道编排与数据对象
使用 Snowflake 原生编排构建健壮的数据管道——通过 streams 捕获变更、用 tasks 进行调度、用 dynamic tables 进行声明式转换,并使用 external 与 Iceberg tables 存储开放格式数据。
3
数据查询与转换
使用点号表示法和 FLATTEN 查询半结构化 JSON,借助 GROUPING SETS、ROLLUP 和 CUBE 聚合数据,计算窗口函数,并将可复用逻辑封装到 UDF 和存储过程。
4
查询性能与优化
在 Snowsight 中分析查询,使用 QUERY_HISTORY 定位瓶颈,应用 Search Optimization、Query Acceleration Service、Automatic Clustering 和 Materialized Views,并编写可充分利用 Snowflake 三层缓存的 SQL。
S
Snowflake 中的数据管道自动化
课程已完成

