Lộ trình
Kỹ sư dữ liệu trong Python
40 giờ
Kỹ sư dữ liệu chịu trách nhiệm tạo ra các pipeline dữ liệu có thể thu nhận, xử lý và phân phối dữ liệu đến nhiều điểm đích, như cơ sở dữ liệu, kho dữ liệu và nền tảng phân tích. Bằng cách xây dựng và duy trì các pipeline này, họ giúp nhà khoa học dữ liệu và nhà phân tích truy cập dữ liệu theo thời gian thực để phân tích và ra quyết định.
Kỹ sư dữ liệu hiện đại còn được kỳ vọng đảm nhiệm nhiều tác vụ hơn. Họ phải duy trì và triển khai các giải pháp dữ liệu, quản lý quy trình làm việc, giám sát kho dữ liệu, chuyển đổi và trực quan hóa dữ liệu, đồng thời sử dụng nhiều công cụ xử lý theo lô và streaming để tối ưu, thu nhận và xử lý các loại dữ liệu khác nhau.
Khám phá dữ liệu engineering là gì, khác gì với khoa học dữ liệu, phạm vi và cách học qua hướng dẫn What is Data Engineering?
Trong bài viết này, chúng ta sẽ tìm hiểu các công cụ thiết yếu đang phổ biến và đôi khi là bắt buộc đối với kỹ sư dữ liệu. Những công cụ này dùng cho thu nhận, xử lý, lưu trữ, chuyển đổi và trực quan hóa dữ liệu. Ngoài ra, chúng ta cũng xem xét các công cụ cho container hóa và quản lý quy trình làm việc.
Học các kỹ năng cốt lõi về data engineering qua blog How to Become a Data Engineer.
Công cụ Container hóa
Công cụ container hóa cung cấp cách tiêu chuẩn để đóng gói, phân phối và quản lý ứng dụng trên nhiều môi trường khác nhau. Điều này đảm bảo tính nhất quán, khả năng mở rộng và hiệu quả cho quy trình làm việc của kỹ sư dữ liệu.
1. Docker
Docker là nền tảng container hóa phổ biến, thường được dùng trong data engineering để phát triển, phân phối và chạy các công cụ cùng ứng dụng dữ liệu. Nó mang lại cách đóng gói và triển khai nhẹ, di động và nhất quán, rất phù hợp cho kỹ sư dữ liệu.
Docker có thể dùng để tạo và quản lý container cho nhiều công cụ dữ liệu như cơ sở dữ liệu, kho dữ liệu, framework xử lý dữ liệu và công cụ trực quan hóa. Xem thêm hướng dẫn Docker for Data Science của chúng tôi.
2. Kubernetes
Kubernetes là nền tảng mã nguồn mở để tự động hóa việc triển khai, mở rộng và quản lý các ứng dụng dạng container, bao gồm những ứng dụng xây dựng bằng Docker.
Docker là công cụ để đóng gói ứng dụng xử lý dữ liệu, cơ sở dữ liệu và công cụ phân tích vào container, đảm bảo môi trường nhất quán và cô lập ứng dụng. Sau khi tạo container, Kubernetes sẽ quản lý chúng bằng cách xử lý triển khai, mở rộng theo khối lượng công việc và đảm bảo tính sẵn sàng cao.
Tìm hiểu thêm về Containerization using Docker and Kubernetes trong một bài viết khác.
Công cụ Hạ tầng như Mã
Infrastructure as Code (IaC) tinh giản việc triển khai và bảo trì hạ tầng đám mây bằng cách sử dụng ngôn ngữ lập trình đa dụng hoặc cấu hình YAML. Cách tiếp cận này thúc đẩy tạo ra các môi trường nhất quán, lặp lại được và tự động hóa, giúp quá trình chuyển đổi giữa phát triển, kiểm thử và sản xuất diễn ra trơn tru.
3. Terraform
Terraform là công cụ IaC mã nguồn mở do HashiCorp tạo ra. Nó cho phép kỹ sư dữ liệu định nghĩa và triển khai hạ tầng dữ liệu, như cơ sở dữ liệu và pipeline dữ liệu, theo cách nhất quán và đáng tin cậy bằng ngôn ngữ cấu hình khai báo, mô tả trạng thái cuối cùng mong muốn của hạ tầng thay vì các bước để đạt đến trạng thái đó.
Terraform hỗ trợ quản lý phiên bản, quản lý tài nguyên qua mã, cộng tác nhóm và tích hợp với nhiều công cụ, nền tảng.
4. Pulumi
Pulumi là công cụ hạ tầng như mã mã nguồn mở cho phép nhà phát triển tạo, triển khai và quản lý hạ tầng đám mây bằng các ngôn ngữ lập trình đa dụng như JavaScript, TypeScript, Java, Python, Go và C#. Nó hỗ trợ nhiều nhà cung cấp đám mây, bao gồm AWS, Azure, GCP và Kubernetes.
Khung Pulumi cung cấp giao diện dòng lệnh (CLI), bộ công cụ phát triển phần mềm (SDK) và động cơ triển khai có thể tải về để mang đến nền tảng vững chắc cho việc cấp phát, cập nhật và quản lý hạ tầng đám mây.
Chủ đề
