After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Mô tả khóa học
Trao quyền cho Phân tích với Data Pipeline
Data pipeline là nền tảng của mọi nền tảng dữ liệu vững chắc. Xây dựng các pipeline này là một kỹ năng thiết yếu đối với data engineer, những người mang lại giá trị to lớn cho doanh nghiệp sẵn sàng bước vào tương lai dựa trên dữ liệu. Khóa học nhập môn này sẽ giúp bạn rèn luyện các kỹ năng để xây dựng các pipeline dữ liệu hiệu quả, hiệu suất cao và đáng tin cậy.Xây dựng và Duy trì các Giải pháp ETL
Trong suốt khóa học này, bạn sẽ khám phá toàn bộ quy trình xây dựng một pipeline dữ liệu. Bạn sẽ phát triển kỹ năng tận dụng các thư viện Python nhưpandas và json để trích xuất dữ liệu từ các nguồn có cấu trúc và không có cấu trúc trước khi dữ liệu được chuyển đổi và lưu trữ để sử dụng cho các bước tiếp theo. Trên hành trình này, bạn sẽ phát triển các công cụ và kỹ thuật tự tin như sơ đồ kiến trúc, kiểm thử đơn vị và giám sát, giúp các pipeline dữ liệu của bạn nổi bật so với phần còn lại. Khi bạn tiến bộ, bạn sẽ kiểm tra các kỹ năng mới của mình thông qua các bài tập thực hành.Tăng tốc quy trình làm việc với dữ liệu
Sau khi hoàn thành khóa học này, bạn sẽ sẵn sàng thiết kế, phát triển và sử dụng các pipeline dữ liệu để tăng tốc quy trình làm việc với dữ liệu của mình trong công việc, sự nghiệp mới hoặc dự án cá nhân.Yêu cầu tiên quyết
Chương trình học
Đề cương khóa học
1
Giới thiệu về Data Pipeline
Hãy sẵn sàng khám phá cách dữ liệu được thu thập, xử lý và di chuyển thông qua các data pipeline. Bạn sẽ tìm hiểu các đặc điểm của những pipeline tốt nhất và chuẩn bị để thiết kế, xây dựng pipeline của riêng bạn.
2
Xây dựng Pipeline ETL
Tìm hiểu cách tận dụng pandas để trích xuất, biến đổi và nạp dữ liệu khi bạn xây dựng những data pipeline đầu tiên. Học cách tái sử dụng logic ETL, và áp dụng ghi log cũng như xử lý ngoại lệ cho pipeline của bạn.
3
Kỹ thuật ETL nâng cao
Tăng tốc quy trình làm việc với các kỹ thuật pipeline nâng cao, như làm việc với dữ liệu phi bảng và lưu trữ DataFrame vào cơ sở dữ liệu SQL. Khám phá công cụ để xử lý các biến đổi nâng cao với pandas, và nắm bắt các thực tiễn tốt nhất khi làm việc với dữ liệu phức tạp.
4
Triển khai và vận hành Data Pipeline
Ở chương cuối, bạn sẽ tạo khung kiểm thử để xác thực và kiểm tra data pipeline trước khi đưa vào sản xuất. Sau khi kiểm thử xong, bạn sẽ khám phá kỹ thuật chạy data pipeline từ đầu đến cuối, đồng thời đảm bảo khả năng quan sát hiệu năng của pipeline.
ETL và ELT với Python
Hoàn
thành khóa học
