Data Lineage là gì?

Data Lineage giải quyết thách thức về niềm tin như thế nào

Khi bạn bè nói cho bạn một con số thống kê mà bạn không tin, bạn có thể hỏi nguồn để kiểm chứng độ chính xác. Lần theo thông tin về đến nguồn là yếu tố then chốt để xây dựng niềm tin. Nguyên tắc này cũng áp dụng cho dữ liệu.

Minh bạch nhờ khả năng quan sát

Data lineage là lịch sử đầy đủ của dữ liệu, từ nguồn gốc, qua từng phép biến đổi, đến điểm đích cuối cùng. Bản ghi này cung cấp bức tranh rõ ràng về hành trình của dữ liệu.

Một data lineage mang lại tính minh bạch toàn diện bằng cách ghi chép mỗi bước trong đường ống dữ liệu, từ khâu thu thập ban đầu đến khâu phân tích cuối cùng. Khả năng quan sát này rất quan trọng để xây dựng niềm tin, cho phép các bên liên quan thấy chính xác cách dữ liệu của bạn đã được xử lý và biến đổi.

Bạn có thể hình dung điều này giống như việc “trình bày cách làm” trong giờ toán. Trên lớp, việc trình bày từng bước giúp giáo viên thấy được quá trình giải bài và chứng minh rằng bạn không chép bài của bạn bên cạnh. Data lineage cũng giống như việc trình bày cách làm cho đường ống dữ liệu của bạn.

Gỡ lỗi nhanh hơn và nâng cao chất lượng

Việc trình bày cách làm trong bài tập toán cũng giúp giáo viên (và bạn) hiểu bạn sai ở đâu nếu ra đáp án không đúng. Điều này giúp bạn sửa lỗi và nâng cao hiểu biết về môn học sau này.

Tương tự, việc trình bày cách làm trong data lineage có thể giúp bạn tìm ra lỗi trong đường ống. Lần theo lỗi về nguồn thường là nhiệm vụ đáng ngại khi xảy ra lỗi dữ liệu. Một data lineage toàn diện sẽ đơn giản hóa quá trình này bằng cách cho phép bạn theo dõi đường đi của dữ liệu để tìm chỗ phát sinh vấn đề. Nhờ quá trình gỡ lỗi nhanh hơn, bạn sẽ có dữ liệu chất lượng tốt hơn, từ đó củng cố niềm tin.

Bạn có thể tìm hiểu thêm về đảm bảo chất lượng dữ liệu trong khóa học Introduction to Data Quality này.

Chứng minh nguồn gốc dữ liệu

Nguồn gốc dữ liệu (data provenance) là bản ghi siêu dữ liệu về dòng dõi của dữ liệu. Nhiều ngành có quy định yêu cầu chứng minh nguồn gốc dữ liệu, đặc biệt là các ngành xử lý thông tin nhạy cảm như y tế và tài chính.

Việc chứng minh nguồn gốc dữ liệu liên quan đến việc cho thấy dữ liệu bắt nguồn từ đâu và đã được xử lý ra sao. Data lineage cung cấp dấu vết kiểm toán đáp ứng các yêu cầu này, thể hiện toàn bộ vòng đời dữ liệu. Bên cạnh việc xây dựng niềm tin, dấu vết kiểm toán còn cho thấy dữ liệu của bạn tuân thủ luật bảo mật dữ liệu, chính sách quản trị và các quy định khác.

Data Lineage theo dõi luồng dữ liệu

Một data lineage đầy đủ ghi lại con đường dữ liệu đi qua ở mọi bước. Dưới đây là ví dụ về cách dữ liệu có thể chảy từ nguồn đến phần trực quan hóa.

Nguồn dữ liệu: Bối cảnh là gì?

Data lineage bắt đầu từ nguồn, có thể là cơ sở dữ liệu, API, cảm biến, khảo sát hoặc các điểm thu thập dữ liệu khác. Hiểu dữ liệu bắt nguồn từ đâu là bước đầu tiên và quan trọng nhất để theo dõi hành trình của nó.

Nguồn dữ liệu cung cấp bối cảnh và thông tin nền cho dữ liệu. Nó cũng có thể gợi ý về các thiên lệch và hạn chế trong cách thu thập dữ liệu.

Để minh họa tầm quan trọng của nguồn dữ liệu, hãy xem các bộ dữ liệu giả định sau và nguồn của chúng.

Biến đổi: Dữ liệu đã được thay đổi như thế nào?

Khi một người bạn của tôi từ Hoa Kỳ đến thăm Úc, cô ấy nói với người địa phương rằng ở quê cô hiện đang hơn 100°. Họ ngạc nhiên hơn cô ấy tưởng, cho đến khi mọi người nhận ra Mỹ dùng Fahrenheit còn Úc dùng Celsius. Họ nghĩ cô ấy nói 100 °C, tức 212 °F! Nhưng cô ấy muốn nói 100 °F, khoảng 37 °C.

May mắn là sự hiểu lầm này được giải quyết ngay tại chỗ, nhưng hãy tưởng tượng tình huống tương tự trong một bộ dữ liệu. Hãy hình dung một bộ dữ liệu nhiệt độ đã được chuyển đổi từ Fahrenheit sang Celsius, nhưng nhãn đơn vị không được thay đổi nên vẫn ghi là Fahrenheit. Điều đó có thể tạo ra những kết quả rất kỳ quặc!

Điều này cho thấy vì sao việc ghi chép các phép biến đổi dữ liệu là phần quan trọng của data lineage. Nếu người dùng cuối của dữ liệu, như nhà phân tích dữ liệu, thấy kết quả phân tích không hợp lý (chẳng hạn một thành phố thường xuyên có nhiệt độ không khí sôi), họ có thể dễ dàng xem lại data lineage, thấy phép biến đổi chưa được gắn nhãn và khắc phục vấn đề.

Khi dữ liệu di chuyển từ nguồn đến đích, nó thường trải qua nhiều phép biến đổi như làm sạch, lọc và tổng hợp để phù hợp với mục đích sử dụng. Tuy nhiên, mỗi phép biến đổi này cũng làm thay đổi cách diễn giải dữ liệu và cần được ghi chép lại.

Một data lineage rõ ràng sẽ ghi chép các phép biến đổi này, đảm bảo mọi thay đổi đều được lưu lại và có thể truy vết, tăng cường tính minh bạch. Điều này nâng cao niềm tin vào dữ liệu của bạn và giúp việc gỡ lỗi dễ dàng hơn.

Đích đến: Dữ liệu đã đi đâu?

Giai đoạn cuối cùng trong luồng dữ liệu là nơi dữ liệu được lưu trữ và sử dụng. Điều này có thể là trong kho dữ liệu, công cụ báo cáo hoặc các nền tảng phân tích khác. Data lineage theo dõi dữ liệu đến tận các điểm cuối này, cung cấp bức tranh đầy đủ về hành trình của nó và đảm bảo các bên liên quan có thể tin tưởng dữ liệu họ đang xem.

Ghi chép nơi dữ liệu đi đến cũng quan trọng về mặt bảo mật, vì nó cung cấp bản ghi về việc ai có quyền truy cập dữ liệu nào.

Thách thức khi triển khai Data Lineage

Thiết lập data lineage có vẻ đơn giản—chỉ cần theo dõi dữ liệu đến từ đâu và được làm gì. Tuy nhiên, có một số thách thức có thể làm phức tạp quá trình này. Hãy xem qua vài điểm.

Đường ống dữ liệu phức tạp

Một trong những thách thức chính khi tạo data lineage là quy mô và độ phức tạp của nhiều đường ống dữ liệu hiện đại. Môi trường dữ liệu ngày nay thường liên quan đến các luồng dữ liệu phức tạp trải rộng trên nhiều hệ thống và nền tảng. Việc theo dõi các đường đi chi tiết này đòi hỏi công cụ mạnh mẽ và kế hoạch cẩn trọng.

Một đường ống đơn giản với một nguồn đầu vào và ít phép biến đổi có thể tương đối dễ để xây dựng data lineage. Nhưng nếu bạn có đường ống phức tạp với nhiều đầu vào, nhiều phép biến đổi và có thể nhiều đích đến, việc theo dõi tất cả trong data lineage sẽ phức tạp hơn—nhưng cũng cần thiết hơn.

Ghi chép thủ công

Data lineage có thể được ghi chép thủ công hoặc tự động. Ghi chép thủ công có thể tốn thời gian và dễ sai sót. Việc theo dõi thủ công các chuyển động và phép biến đổi của dữ liệu, đặc biệt trong hoạt động quy mô lớn, không chỉ kém hiệu quả mà còn làm tăng nguy cơ sai lệch, làm suy yếu mục tiêu xây dựng niềm tin của data lineage.

Với các đường ống rất nhỏ do một người kiểm soát hoàn toàn, data lineage thủ công có thể đủ dùng. Nhưng khi mọi thứ phức tạp hơn, tài liệu data lineage nên được tự động hóa nhiều hơn. Ở phần tiếp theo, chúng tôi sẽ điểm qua một số tài nguyên giúp bạn thực hiện điều đó.

Tích hợp với hệ thống hiện có

Nếu data lineage không được tích hợp ngay từ đầu vào đường ống dữ liệu, việc bổ sung về sau có thể tốn thời gian và nguồn lực. Việc điều chỉnh hạ tầng hiện tại để hỗ trợ theo dõi data lineage toàn diện thường đòi hỏi thay đổi đáng kể, có thể là rào cản đối với một số tổ chức. Đây là lý do vì sao nên tích hợp giải pháp data lineage ngay từ đầu.

Xây dựng Data Lineage như thế nào?

Nếu bạn không định ghi chép data lineage thủ công, bạn sẽ cần vài thành phần chính để tạo nó: bạn cần thu thập siêu dữ liệu về các bộ dữ liệu và có một danh mục cho siêu dữ liệu đó.

Thu thập và quản lý siêu dữ liệu

Siêu dữ liệu (metadata) về cơ bản là dữ liệu về dữ liệu. Nó đề cập đến thông tin như nguồn gốc, cấu trúc, các phép biến đổi và cách sử dụng dữ liệu. Quản lý siêu dữ liệu hiệu quả bao gồm thu thập siêu dữ liệu từ nhiều nguồn, theo dõi các phép biến đổi và ghi chép chuyển động dữ liệu. Quá trình thu thập và quản lý này thường được tự động hóa, đảm bảo mọi thay đổi đều được ghi lại và có thể truy vết. Điều này cung cấp cái nhìn toàn diện về data lineage của bạn.

Danh mục dữ liệu

Danh mục dữ liệu là các kho lưu trữ toàn diện, lưu trữ siêu dữ liệu về tài sản dữ liệu của tổ chức, bao gồm nguồn gốc, các phép biến đổi và đích đến. Chúng thường tự động hóa việc khám phá, mô tả và tổ chức tài sản dữ liệu, giúp quản lý data lineage dễ dàng hơn, xây dựng niềm tin và đảm bảo tuân thủ các chính sách quản trị dữ liệu.

Công cụ Data Lineage

Có nhiều công cụ sẵn có giúp bạn theo dõi data lineage. Dưới đây là danh sách ngắn các công cụ phổ biến.

Tính năng data lineage tích hợp trong các công cụ khác

Ngoài các công cụ kể trên, nhiều công cụ ETL/ELT, công cụ trực quan hóa dữ liệu và nền tảng quản trị dữ liệu cũng bao gồm tính năng lineage. Những công cụ này tự động hóa việc ghi chép quy trình trích xuất, biến đổi và nạp dữ liệu, đồng thời giúp trực quan hóa luồng dữ liệu giữa các hệ thống.

Ví dụ, bạn có biết bạn có thể xem data lineage trong PowerBI không? Hãy xem lại các công cụ bạn đang dùng trong đường ống dữ liệu và xem mức độ data lineage đã được theo dõi đến đâu!

Xây dựng các giải pháp Data Lineage tùy chỉnh

Đôi khi, giải pháp đóng gói sẵn không phù hợp, và giải pháp tùy chỉnh sẽ khả thi hơn. Nếu đó là trường hợp của bạn, dưới đây là một vài lựa chọn có thể cân nhắc để thiết lập data lineage cho đường ống của mình.

Ghi chép thủ công

Trước hết, hãy thử ghi chép thủ công các luồng và phép biến đổi dữ liệu trong hệ thống bằng cách tạo bản ghi chi tiết về nguồn gốc, quy trình và đích đến của dữ liệu. Cách này có thể đủ dùng cho bộ dữ liệu nhỏ hoặc môi trường dữ liệu đơn giản do một người hoặc nhóm nhỏ quản lý.

Tuy nhiên, nếu bức tranh dữ liệu của bạn lớn hoặc phức tạp hơn, bạn có thể chỉ muốn ghi chép thủ công ở mức độ tổng quan cho mục đích nội bộ, để xác định nơi cần bổ sung theo dõi lineage tự động. Ghi chép thủ công cho phép tùy biến cao, nhưng có thể tốn công cho các hệ thống lớn.

Script tùy chỉnh

Bạn có thể phát triển các script tùy chỉnh bằng những ngôn ngữ như Python để thu thập và ghi log các phép biến đổi và chuyển động của dữ liệu. Các script này có thể tích hợp vào đường ống xử lý dữ liệu để tự động hóa một phần quá trình ghi chép. Cách tiếp cận này hữu ích cho các tổ chức có yêu cầu đặc thù mà công cụ sẵn có chưa đáp ứng đầy đủ, hoặc có mức độ phức tạp dữ liệu vừa phải.

Trigger trong cơ sở dữ liệu

Triển khai các trigger trong cơ sở dữ liệu để tự động ghi lại thay đổi và chuyển động của dữ liệu trong cơ sở dữ liệu là một kỹ thuật khác bạn có thể áp dụng. Các trigger này có thể ghi log mọi thao tác chèn, cập nhật hoặc xóa trên cơ sở dữ liệu, cung cấp nhật ký về sự tiến hóa của dữ liệu theo thời gian. Kỹ thuật này phù hợp với các tổ chức có bức tranh dữ liệu lớn, phức tạp, nơi việc theo dõi thay đổi dữ liệu theo thời gian thực là rất quan trọng.

Kiểm soát phiên bản cho dữ liệu

Bạn có thể quen thuộc với kiểm soát phiên bản như một cách theo dõi lịch sử phiên bản mã nguồn. Thực hành kiểm soát phiên bản tương tự cũng có thể áp dụng cho dữ liệu. Bằng cách theo dõi các phiên bản của bộ dữ liệu và ghi chép thay đổi giữa các phiên bản, bạn có thể theo dõi data lineage theo thời gian. Các công cụ như Git có thể được điều chỉnh cho việc quản lý phiên bản dữ liệu. Cách này đặc biệt hữu ích cho các tổ chức cần duy trì tính toàn vẹn dữ liệu lịch sử và theo dõi thay đổi trong thời gian dài.

Công cụ trực quan hóa tùy chỉnh

Bạn có thể tạo trực quan hóa tùy chỉnh để lập bản đồ data lineage bằng các thư viện trực quan hóa mạng như networkx trong Python. Với các thư viện này, bạn có thể tạo sơ đồ biểu diễn luồng và phép biến đổi dữ liệu, giúp việc hiểu và theo dõi data lineage dễ dàng hơn. Cách tiếp cận này phù hợp với các tổ chức cần trực quan hóa được tùy chỉnh cao và có chuyên môn kỹ thuật để phát triển các giải pháp riêng.

Kho siêu dữ liệu

Nếu bạn đang theo dõi nhiều siêu dữ liệu, sẽ hợp lý khi thiết lập một kho siêu dữ liệu tập trung để lưu trữ tất cả siêu dữ liệu liên quan đến tài sản dữ liệu. Kho này có thể xây dựng bằng cơ sở dữ liệu quan hệ hoặc NoSQL và nên được thiết kế để dễ dàng tích hợp với hệ thống xử lý dữ liệu nhằm giữ siêu dữ liệu luôn cập nhật.

Cách tiếp cận này lý tưởng cho các tổ chức có tài sản dữ liệu phong phú và đa dạng, cần giải pháp quản lý siêu dữ liệu linh hoạt và có khả năng mở rộng. Để bắt đầu, hãy xem OpenMetadata để tìm các công cụ mã nguồn mở.

Data Lineage so với Tài liệu hóa mã

Tôi viết rất nhiều về tầm quan trọng của tài liệu hóa trong mã, và có lý do chính đáng. Tài liệu là phần thiết yếu của thực hành viết mã tốt. Data lineage quan trọng vì nhiều lý do tương tự như tài liệu mã. Ở nhiều khía cạnh, bạn có thể xem data lineage giống như tài liệu—đó là chuỗi bằng chứng ghi lại mọi bước dữ liệu của bạn đã đi qua.

Tuy nhiên, khác với tài liệu mã, data lineage thường dựa vào siêu dữ liệu và tự động hóa để tạo lập. Trong khi tài liệu thường được viết thủ công (hoặc do AI hỗ trợ ngày nay), data lineage thường quá phức tạp và cồng kềnh để làm thủ công.

Tài liệu mã thường xuất hiện dưới dạng chú thích trong mã cùng với tệp README. Data lineage thường được trực quan hóa qua sơ đồ và báo cáo tự động để hiểu luồng dữ liệu trong hệ thống của bạn.

Data Lineage so với Quản trị dữ liệu

Data lineage và quản trị dữ liệu là những khái niệm liên quan chặt chẽ trong quản lý dữ liệu. Data lineage lần theo hành trình của dữ liệu qua các phép biến đổi và hệ thống, cung cấp bản ghi lịch sử đảm bảo tính minh bạch và khả năng truy vết. Trong khi đó, quản trị dữ liệu bao trùm các chính sách và tiêu chuẩn rộng hơn về chất lượng, bảo mật và tuân thủ dữ liệu. Data lineage có thể hỗ trợ việc thực thi các chính sách quản trị dữ liệu.

Các tổ chức có thể nâng cao nỗ lực quản trị bằng cách tận dụng công cụ và kỹ thuật data lineage, đảm bảo tính toàn vẹn dữ liệu và tuân thủ các yêu cầu pháp lý. Cùng nhau, data lineage và quản trị tạo nên cách tiếp cận toàn diện để quản lý và bảo vệ dữ liệu.

Bạn có thể tìm hiểu thêm về quản trị dữ liệu trong khóa học Data Governance Concepts. Bạn cũng có thể xem sâu hơn tại How Data Leaders Can Make Data Governance a Priority.

Kết luận

Khi bức tranh dữ liệu ngày càng phức tạp, data lineage trở nên ngày càng thiết yếu. Chúng xây dựng niềm tin bằng cách mang lại tính minh bạch, cho phép gỡ lỗi nhanh hơn và chứng minh nguồn gốc dữ liệu.

Với những tiến bộ trong tự động hóa và trực quan hóa, tầm quan trọng của các công cụ data lineage sẽ còn tiếp tục tăng, hỗ trợ thực hành quản trị và quản lý dữ liệu vững chắc.

Nếu bạn muốn tìm hiểu thêm, hãy thử khóa học Understanding Data Engineering. Tôi cũng khuyến khích bạn xem Responsible AI Data Management và Making Data Governance Fun.