Build your ultimate AI agent
课程介绍
通过数据管道赋能分析
数据管道是每个强大数据平台的基础。 构建这些管道是数据工程师的一项核心技能,他们为准备迈向数据驱动未来的企业提供了巨大的价值。 这门入门课程将帮助你磨练构建高效、性能优异且可靠的数据管道所需的技能。构建和维护 ETL 解决方案
在本课程中,您将深入了解构建数据管道的完整流程。 您将提升技能,利用 Python 库,如pandas 和 json,从结构化和非结构化来源中提取数据,然后再将其转换并持久化,以供后续使用。 在此过程中,你将掌握架构图、单元测试和监控等实用工具与技术,这些都将帮助你的数据管道脱颖而出。 随着学习的深入,你将通过动手练习来检验新掌握的技能。为数据工作流加速赋能
完成本课程后,你将能够设计、开发并使用数据管道,在工作、新职业或个人项目中大幅提升你的数据工作流程。先修要求
课程大纲
课程大纲
1
数据管道简介
了解数据如何通过数据管道被采集、处理和传输。您将探索优秀数据管道应具备的特性,并为设计与构建自己的管道做好准备。
2
构建 ETL 管道
深入使用 pandas 来提取、转换和加载数据,并构建您的首个数据管道。学习如何让 ETL 逻辑可复用,并在管道中应用日志记录与异常处理。
3
ETL 高级技术
通过高级数据管道技术提升您的工作流程,例如处理非表格数据、将 DataFrame 持久化到 SQL 数据库。了解可用于在 pandas 中执行高级转换的工具,并掌握处理复杂数据的最佳实践。
4
数据管道的部署与维护
在最后一章中,您将创建框架,在将数据管道投入生产前进行校验与测试。完成测试后,您将探索端到端运行数据管道的技术,同时确保对管道性能的可观测性。
使用 Python 的 ETL 和 ELT
课程完成

