Azure Data Factory: Hướng dẫn đầy đủ cho người mới bắt đầu

Thiết lập Azure Data Factory

Giờ hãy chuyển sang phần thực hành của hướng dẫn này!

1. Điều kiện tiên quyết

1. Một gói đăng ký Azure đang hoạt động.

2. Một nhóm tài nguyên (resource group) để quản lý các tài nguyên Azure.

2. Tạo một phiên bản Azure Data Factory

1. Đăng nhập vào cổng Azure.

2. Điều hướng đến Create a resource và chọn Data Factory.

Tạo tài nguyên Data Factory mới

3. Điền các trường bắt buộc, bao gồm subscription, resource group và khu vực (region).

Cấu hình tài nguyên Data Factory

4. Xem lại và tạo phiên bản.

Phiên bản Azure Data Factory đã được tạo

3. Điều hướng giao diện ADF

Giao diện ADF gồm các phần chính sau (truy cập qua menu điều hướng bên trái)

1. Author: Dùng để tạo và quản lý pipeline.

2. Monitor: Theo dõi lượt chạy pipeline và khắc phục sự cố.

3. Manage: Cấu hình linked service và integration runtime.

Giao diện Azure Data Factory

Xây dựng pipeline đầu tiên của bạn trong Azure Data Factory

Hãy cùng đi qua các bước để tạo một đường ống dữ liệu đơn giản.

Bước 1: Tạo linked service

Tạo Linked service trong Azure Data Factory

1. Điều hướng đến thẻ Manage

• Mở phiên bản Azure Data Factory của bạn và đi đến thẻ Manage trong giao diện ADF. Đây là nơi bạn định nghĩa các linked service, kết nối nguồn và đích dữ liệu.

2. Thêm linked service cho nguồn dữ liệu

• Nhấp vào Linked services trong thẻ Manage.
• Chọn + New để tạo linked service mới.
• Từ danh sách tùy chọn, chọn nguồn dữ liệu bạn muốn kết nối, chẳng hạn Azure Blob Storage.
• Cung cấp thông tin kết nối cần thiết, như tên tài khoản lưu trữ và phương thức xác thực (ví dụ: khóa tài khoản hoặc managed identity).
• Kiểm tra kết nối để đảm bảo mọi thứ đã được thiết lập đúng, sau đó nhấp Create.

3. Thêm linked service cho đích dữ liệu

• Lặp lại quy trình cho đích dữ liệu, chẳng hạn Azure SQL Database.
• Chọn loại đích phù hợp, cấu hình cài đặt kết nối (ví dụ: tên máy chủ, tên cơ sở dữ liệu và phương thức xác thực) và kiểm tra kết nối.
• Sau khi xác minh, lưu linked service.

Bước 2: Tạo dataset

Tạo dataset trong Azure Data Factory

1. Điều hướng đến thẻ Author

• Mở thẻ Author trong giao diện Azure Data Factory của bạn. Đây là nơi bạn thiết kế và quản lý pipeline, dataset và các thành phần quy trình khác.

2. Thêm dataset cho nguồn

• Nhấp nút + và chọn Dataset trong menu thả xuống.
• Chọn loại kho dữ liệu khớp với linked service nguồn của bạn. Ví dụ, nếu nguồn là Azure Blob Storage, hãy chọn loại tương ứng như Delimited Text, Parquet, hoặc tùy chọn phù hợp khác.
• Cấu hình dataset:
• Linked service: Chọn linked service bạn đã tạo trước đó cho nguồn dữ liệu.
• Đường dẫn tệp: Chỉ định đường dẫn hoặc container chứa dữ liệu nguồn của bạn.
• Lược đồ và định dạng: Xác định định dạng dữ liệu (ví dụ: CSV, JSON) và nhập lược đồ nếu áp dụng. Điều này giúp ADF hiểu cấu trúc dữ liệu của bạn.
• Nhấp OK để lưu dataset.

3. Thêm dataset cho đích

• Lặp lại quy trình cho dataset đích.
• Chọn loại kho dữ liệu khớp với linked service đích. Ví dụ, nếu đích là Azure SQL Database, chọn loại phù hợp như Table.
• Cấu hình dataset:
• Linked service: Chọn linked service bạn đã tạo cho đích.
• Tên bảng hoặc đường dẫn: Chỉ định bảng hoặc đường dẫn đích nơi dữ liệu sẽ được ghi.
• Lược đồ: Tùy chọn định nghĩa hoặc nhập lược đồ cho dataset đích để đảm bảo tương thích với dữ liệu nguồn.
• Lưu dataset.

Bước 3: Thêm activity

Thêm activity copy data trong Azure Data Factory

1. Mở trình soạn thảo Pipeline

• Trong thẻ Author, tạo pipeline mới bằng cách nhấp + và chọn Pipeline.
• Thao tác này sẽ mở trình soạn thảo pipeline, một giao diện trực quan để bạn thiết kế quy trình dữ liệu.

2. Thêm activity copy data

• Từ hộp công cụ bên trái, tìm activity Copy data trong danh mục Move & Transform.
• Kéo activity Copy data vào canvas. Activity này chuyển dữ liệu từ nguồn sang đích.

3. Cấu hình activity copy data

• Nhấp vào activity Copy data để mở ngăn cài đặt.
• Trong thẻ Source:
• Chọn dataset nguồn bạn đã tạo trước đó.
• Cấu hình thêm các tùy chọn như bộ lọc tệp hoặc thư mục nếu cần.
• Trong thẻ Sink:
• Chọn dataset đích.
• Chỉ định các cài đặt bổ sung, như cách xử lý dữ liệu đã tồn tại ở đích (ví dụ: overwrite hoặc append).
• Sử dụng thẻ Mapping để căn chỉnh các trường/cột từ nguồn sang đích, đảm bảo tương thích dữ liệu.
• Lưu cấu hình của bạn.

Bước 4: Publish và chạy pipeline

Publish pipeline trong Azure Data Factory

1. Publish pipeline của bạn

• Sau khi cấu hình xong pipeline, nhấp Publish trên thanh công cụ.
• Thao tác này lưu pipeline và sẵn sàng để thực thi. Nếu không publish, các thay đổi vẫn ở dạng bản nháp và không thể chạy.

2. Chạy pipeline

• Để kiểm thử pipeline, nhấp Add Trigger ở trên cùng và chọn Trigger Now để chạy thủ công. Việc này giúp bạn xác minh pipeline hoạt động như mong đợi.
• Hoặc thiết lập lịch tự động:
• Đi đến thẻ Triggers và tạo trigger mới.
• Xác định điều kiện kích hoạt, như lịch theo thời gian (ví dụ: mỗi ngày lúc 8:00 sáng) hoặc điều kiện theo sự kiện (ví dụ: tệp đến trong Azure Blob Storage).
• Gắn trigger với pipeline của bạn để kích hoạt tự động.

Khả năng tích hợp và chuyển đổi của Azure Data Factory

Azure Data Factory cung cấp các tính năng tích hợp và chuyển đổi dữ liệu mạnh mẽ giúp đơn giản hóa quy trình phức tạp và nâng cao năng suất. Phần này sẽ điểm qua các tính năng đó.

1. Data flow

Data flow mang đến môi trường trực quan để định nghĩa logic chuyển đổi, giúp người dùng dễ dàng thao tác và xử lý dữ liệu mà không cần viết mã phức tạp. Các tác vụ phổ biến với data flow gồm:

• Tổng hợp (Aggregations): Tóm tắt dữ liệu để rút ra thông tin, như tính tổng doanh số hoặc giá trị hiệu suất trung bình.
• Join: Kết hợp dữ liệu từ nhiều nguồn để tạo bộ dữ liệu phong phú phục vụ các bước tiếp theo.
• Bộ lọc (Filters): Chọn các tập con dữ liệu theo tiêu chí xác định, giúp tập trung vào thông tin liên quan.

Data flow cũng hỗ trợ các thao tác nâng cao như suy diễn cột, chuyển đổi kiểu dữ liệu và chuyển đổi có điều kiện, khiến chúng trở thành công cụ linh hoạt để xử lý nhiều yêu cầu dữ liệu khác nhau.

2. Tích hợp với Azure Synapse Analytics

ADF tích hợp liền mạch với Azure Synapse Analytics, mang đến nền tảng hợp nhất cho xử lý dữ liệu lớn và phân tích nâng cao. Sự tích hợp này cho phép người dùng:

• Điều phối quy trình dữ liệu đầu-cuối bao gồm tiếp nhận, chuẩn bị và phân tích dữ liệu.
• Tận dụng công cụ truy vấn mạnh mẽ của Synapse để xử lý hiệu quả các tập dữ liệu lớn.
• Tạo pipeline dữ liệu nạp trực tiếp vào Synapse Analytics cho các bài toán machine learning và báo ccáo.

Sự cộng hưởng giữa ADF và Synapse giúp tinh gọn quy trình và giảm bớt độ phức tạp khi phải quản lý riêng rẽ các công cụ tích hợp và phân tích dữ liệu.

3. Lập lịch và giám sát pipeline

• Lập lịch: Như đã đề cập, khả năng lập lịch của ADF mang đến tính tự động hóa mạnh mẽ. Người dùng có thể định nghĩa trigger theo khoảng thời gian (ví dụ: hàng giờ, hàng ngày) hoặc sự kiện (ví dụ: tệp đến Azure Blob Storage). 
• Giám sát: Thẻ Monitor trong Azure Data Factory, kết hợp với Azure Monitor, cung cấp khả năng theo dõi và chẩn đoán thời gian thực cho các lần thực thi pipeline. Người dùng có thể xem log chi tiết, theo dõi tiến độ và nhanh chóng xác định nút thắt hay lỗi. Cảnh báo và thông báo cũng có thể cấu hình dễ dàng. 

Các trường hợp sử dụng Azure Data Factory

Sau khi xem chi tiết các tính năng và thành phần của ADF, hãy cùng xem chúng ta có thể dùng ADF cho những gì. 

1. Di chuyển dữ liệu

ADF là công cụ mạnh mẽ để di chuyển dữ liệu từ hệ thống tại chỗ lên nền tảng đám mây. Dịch vụ này đơn giản hóa các lần di chuyển phức tạp bằng cách tự động hóa việc di chuyển dữ liệu, đảm bảo toàn vẹn dữ liệu và giảm thiểu thời gian ngừng hoạt động. 

Chẳng hạn, bạn có thể dùng ADF để di chuyển dữ liệu từ SQL Server tại chỗ sang Azure SQL Database với ít can thiệp thủ công. Bằng cách tận dụng các trình kết nối dựng sẵn và integration runtime, ADF đảm bảo quy trình di chuyển an toàn, hiệu quả, đáp ứng cả dữ liệu có cấu trúc và phi cấu trúc.

2. ETL cho kho dữ liệu

Quy trình trích xuất, chuyển đổi và nạp (ETL) là cốt lõi của kho dữ liệu hiện đại. Azure Data Factory giúp tinh gọn các quy trình này bằng cách tích hợp dữ liệu từ nhiều nguồn, áp dụng logic chuyển đổi và nạp vào kho dữ liệu. 

Ví dụ, ADF có thể hợp nhất dữ liệu bán hàng từ nhiều khu vực, chuyển đổi về định dạng thống nhất và nạp vào Azure Synapse Analytics. Quy trình tinh gọn này giúp bạn duy trì dữ liệu cập nhật, chất lượng cao cho báo cáo và ra quyết định.

3. Tích hợp dữ liệu cho data lake

Data lake đóng vai trò kho lưu trữ tập trung cho các tập dữ liệu đa dạng, hỗ trợ phân tích nâng cao và học máy. ADF hỗ trợ tiếp nhận dữ liệu từ nhiều nguồn vào Azure Data Lake Storage, bao gồm cả kịch bản batch và streaming. 

Ví dụ, bạn có thể dùng ADF để thu thập tệp log, nguồn cấp dữ liệu mạng xã hội và dữ liệu cảm biến IoT vào một data lake duy nhất. Nhờ cung cấp công cụ chuyển đổi và tích hợp, ADF giúp data lake được tổ chức tốt và sẵn sàng cho phân tích và tác vụ AI phía sau.

Thực hành tốt nhất khi sử dụng Azure Data Factory

Cuối cùng, đáng để xem qua một số thực hành tốt để dùng ADF hiệu quả.

1. Thiết kế pipeline dạng mô-đun

Để tạo quy trình dễ bảo trì và mở rộng, hãy thiết kế pipeline với các thành phần có thể tái sử dụng. Thiết kế mô-đun giúp gỡ lỗi, kiểm thử và cập nhật từng phần dễ dàng hơn. Ví dụ, thay vì nhúng logic chuyển đổi dữ liệu trong mọi pipeline, hãy tạo một pipeline tái sử dụng có thể được gọi trong nhiều quy trình. Cách này giảm dư thừa và tăng tính nhất quán giữa các dự án.

2. Tối ưu hóa di chuyển dữ liệu

• Dùng nén: Để giảm thời gian truyền và băng thông mạng, hãy nén các tập dữ liệu lớn trước khi di chuyển. Ví dụ, dùng gzip hoặc phương pháp tương tự có thể tăng tốc đáng kể việc truyền tệp lớn.
• Chọn đúng integration runtime: Việc chọn integration runtime (Azure IR, Self-hosted IR hoặc SSIS IR) rất quan trọng để tối ưu hiệu năng. Ví dụ, self-hosted IR phù hợp cho di chuyển dữ liệu tại chỗ nhằm đảm bảo truyền an toàn, hiệu quả; trong khi Azure IR lý tưởng cho tác vụ thuần đám mây.

3. Triển khai xử lý lỗi vững chắc

• Chính sách retry: Cấu hình retry cho các lỗi tạm thời, như gián đoạn mạng hoặc hết thời gian chờ máy chủ. Điều này giúp pipeline tự phục hồi và hoàn tất thành công mà không cần can thiệp thủ công.
• Thiết lập cảnh báo: Triển khai cảnh báo và thông báo để chủ động thông tin cho nhóm của bạn khi pipeline gặp lỗi hoặc vấn đề hiệu năng. Dùng các công cụ như Azure Monitor để cấu hình cảnh báo tùy chỉnh dựa trên loại lỗi hoặc độ trễ thực thi cụ thể, đảm bảo khắc phục nhanh và giảm thiểu thời gian gián đoạn.

Vậy Azure Data Factory khác gì so với Databricks? Nếu bạn tò mò và muốn khám phá sự khác biệt giữa Azure Data Factory và Databricks, hãy xem bài viết so sánh chi tiết Azure Data Factory vs Databricks.

Azure Data Factory so với Microsoft Fabric

Khi bạn thành thạo Azure Data Factory, điều quan trọng là hiểu sự phát triển của nó: Microsoft Fabric.

Trong khi Azure Data Factory (ADF) vẫn là giải pháp PaaS độc lập, mạnh mẽ và được sử dụng rộng rãi trong doanh nghiệp, Microsoft đã giới thiệu Fabric như tương lai của hệ sinh thái dữ liệu. Fabric là nền tảng SaaS tất-cả-trong-một, hợp nhất Data Factory, Synapse Analytics và Power BI trong một môi trường duy nhất.

Nên dùng ADF hay Fabric?

• Tiếp tục dùng ADF nếu: Bạn cần một giải pháp PaaS trưởng thành, có khả năng tùy biến cao, tích hợp sâu với hệ thống tại chỗ cũ, hoặc bạn cần kiểm soát chi tiết hạ tầng (như Integration Runtime chuyên biệt).
• Xem xét Fabric nếu: Bạn đang xây dựng nền tảng dữ liệu hiện đại mới và muốn trải nghiệm hợp nhất, nơi kỹ thuật dữ liệu, kho dữ liệu và trực quan hóa Power BI diễn ra trong một workspace mà không cần di chuyển dữ liệu (nhờ OneLake).

Lưu ý: Pipeline của ADF và pipeline của Fabric Data Factory rất tương đồng, nên kỹ năng bạn học với ADF hôm nay có thể chuyển giao trực tiếp sang Fabric. Bạn có thể tham gia khóa Introduction to Microsoft Fabric để tìm hiểu thêm. 

Kết luận

Azure Data Factory đơn giản hóa quá trình xây dựng, quản lý và mở rộng các đường ống dữ liệu trên đám mây. Dịch vụ này cung cấp nền tảng trực quan phù hợp cho cả người dùng kỹ thuật và không kỹ thuật, giúp họ tích hợp và chuyển đổi dữ liệu từ nhiều nguồn một cách hiệu quả. 

Bằng cách tận dụng các tính năng như biên soạn pipeline không cần mã, khả năng tích hợp và công cụ giám sát, người dùng có thể dễ dàng tạo quy trình làm việc có khả năng mở rộng và độ tin cậy cao.

Để tìm hiểu thêm về Azure Data Factory, tôi khuyên bạn nên xem 27 Câu hỏi phỏng vấn Azure Data Factory hàng đầu kèm đáp án.

Nếu bạn muốn khám phá nền tảng của Azure, bao gồm các chủ đề như container, máy ảo và nhiều hơn nữa, tôi gợi ý khóa miễn phí tuyệt vời này: Understanding Microsoft Azure Architecture and Services.