Data Mesh là gì?

Data Mesh là gì?

Data mesh là một cách tiếp cận hiện đại đối với kiến trúc dữ liệu, chuyển quản lý dữ liệu từ mô hình tập trung sang mô hình phi tập trung.

Nó nhấn mạnh quyền sở hữu theo miền, nơi quản lý dữ liệu được gắn với các lĩnh vực kinh doanh cụ thể. Sự phù hợp này giúp hoạt động dữ liệu có khả năng mở rộng và linh hoạt hơn, tận dụng kiến thức và chuyên môn của những người gần dữ liệu nhất.

Các nguyên tắc cốt lõi

Trọng tâm của data mesh là bốn nguyên tắc chính định hướng việc triển khai và vận hành.

Quyền sở hữu theo miền

Dữ liệu được sở hữu và quản lý bởi các nhóm theo miền, những người gần nguồn dữ liệu nhất. Các nhóm này hiểu rõ nhất bối cảnh và giá trị của dữ liệu, khiến họ trở thành người quản lý lý tưởng cho dữ liệu của mình.

Dữ liệu như một sản phẩm

Xem dữ liệu như một sản phẩm đồng nghĩa với việc thiết lập các giao diện, tiêu chuẩn chất lượng và tài liệu được định nghĩa rõ ràng. Điều này giúp dữ liệu dễ tìm kiếm, truy cập và sử dụng hơn. Qua đó đảm bảo dữ liệu mang lại giá trị cho người dùng.

Hạ tầng dữ liệu tự phục vụ

Các nhóm được cung cấp công cụ và hạ tầng cần thiết để tự xây dựng, triển khai và quản lý sản phẩm dữ liệu của họ. Điều này giảm phụ thuộc vào đội CNTT trung tâm và tăng tốc hoạt động dữ liệu.

Quản trị tính toán liên bang

Mô hình quản trị liên bang duy trì tính nhất quán, bảo mật và tuân thủ dữ liệu trên toàn tổ chức. Nó cân bằng giữa giám sát tập trung và quyền tự chủ theo miền, cho phép các thực tiễn quản trị phù hợp.

Để tìm hiểu thêm, hãy xem bài viết về data federation là gì.

Các nguyên tắc này cùng nhau tạo ra một môi trường nơi dữ liệu trở nên dễ tiếp cận, đáng tin cậy và có giá trị hơn trong một tổ chức lớn.

Cách thức hoạt động của Data Mesh

Các sản phẩm dữ liệu là khối xây dựng của data mesh. Chúng là các tài sản có thể tái sử dụng và dễ khám phá, bao hàm dữ liệu theo miền, được thiết kế với giao diện rõ ràng và tiêu chuẩn chất lượng. Chúng giúp dữ liệu dễ tích hợp và sử dụng trên toàn tổ chức. 

Ví dụ, một nhóm bán hàng có thể tạo ra một sản phẩm dữ liệu bao gồm lịch sử mua hàng của khách và xu hướng doanh số. Nhóm marketing sau đó có thể dễ dàng truy cập và sử dụng dữ liệu này để điều chỉnh các chiến dịch của họ.

Hình trên minh họa một cái nhìn đơn giản về ví dụ data mesh cho một tổ chức. Các chính sách quản trị dữ liệu tổng thể định hướng cho bốn phòng ban: Bán hàng, Tài chính, Marketing và Phát triển Sản phẩm. Mỗi phòng ban chịu trách nhiệm về dữ liệu của mình và tạo ra một sản phẩm dữ liệu hoàn chỉnh được lưu trữ trên nền tảng dùng chung. Người dùng dữ liệu tương tác với các sản phẩm dữ liệu trên toàn tổ chức thông qua một lớp trải nghiệm data mesh hợp nhất.

Kiến trúc data mesh

Một kiến trúc data mesh điển hình bao gồm một số thành phần chính phối hợp với nhau:

Sản phẩm dữ liệu theo miền

Sản phẩm dữ liệu là trung tâm của data mesh. Các nhóm theo miền sở hữu và quản lý chúng. Các nhóm này chịu trách nhiệm về chất lượng và việc duy trì sản phẩm dữ liệu của họ, cũng như đảm bảo chúng đáp ứng nhu cầu của người dùng.

Nền tảng hạ tầng dữ liệu

Nền tảng hạ tầng dữ liệu cung cấp nền tảng chung cho lưu trữ, xử lý và quản trị dữ liệu. Nó hỗ trợ phát triển và triển khai sản phẩm dữ liệu bằng cách cung cấp các công cụ và công nghệ cần thiết.

Quản trị dữ liệu

Quản trị dữ liệu thiết lập các chính sách và tiêu chuẩn về chất lượng, bảo mật và quyền truy cập dữ liệu để đảm bảo thực hành quản lý dữ liệu nhất quán và tuân thủ. Thành phần này rất quan trọng để duy trì niềm tin vào dữ liệu trên toàn tổ chức. Bạn có thể tìm hiểu thêm trong khóa học về Các khái niệm về Quản trị Dữ liệu.

Lớp trải nghiệm data mesh

Lớp trải nghiệm data mesh là giao diện thân thiện với người dùng, cho phép khám phá, truy cập và tiêu thụ các sản phẩm dữ liệu. Nó đảm bảo người dùng dữ liệu có thể dễ dàng tìm và sử dụng dữ liệu họ cần. Tôi thường nghĩ về nó như một cửa hàng nơi tôi có thể tìm thấy tất cả sản phẩm dữ liệu trong tổ chức.

Triển khai Data Mesh

Giả sử chúng ta muốn triển khai data mesh tại tổ chức của mình. Bắt đầu từ đâu? Hãy cùng điểm qua một vài bước then chốt.

Xác định các miền

Bắt đầu bằng việc xác định ranh giới rõ ràng quanh các miền kinh doanh. Sự phù hợp này giúp phân công quyền sở hữu dữ liệu cho đúng nhóm. Xác định các khu vực kinh doanh riêng biệt trong tổ chức, như bán hàng, marketing, tài chính hoặc phát triển sản phẩm.

Thiết lập quyền sở hữu dữ liệu

Giao quyền sở hữu dữ liệu cho các nhóm theo miền phù hợp. Các nhóm này chịu trách nhiệm về chất lượng và quản lý dữ liệu của riêng họ.

Xây dựng sản phẩm dữ liệu

Xác định và phát triển các sản phẩm dữ liệu phục vụ nhu cầu của người tiêu dùng dữ liệu. Những người tiêu dùng này có thể là nhân viên trong cùng tổ chức, nhà đầu tư hoặc các bên liên quan khác. Đảm bảo các sản phẩm này dễ khám phá, có tài liệu đầy đủ và có thể tái sử dụng để tối đa hóa giá trị của chúng. 

Ví dụ, nhóm bán hàng có thể tạo một sản phẩm dữ liệu bao gồm lịch sử mua hàng của khách và xu hướng doanh số, sau đó được nhóm marketing sử dụng – những người tiêu dùng dữ liệu trong ví dụ này.

Liên bang hóa quản trị

Thiết lập mô hình quản trị liên bang để duy trì tính nhất quán và tuân thủ dữ liệu. Cách tiếp cận này cho phép thực hành quản trị theo miền trong khi vẫn đảm bảo tuân thủ các tiêu chuẩn chung của tổ chức. 

Mô hình quản trị của chúng ta cần cân bằng giữa giám sát tập trung và quyền tự chủ theo miền. Hãy xem cheat sheet về Quản trị Dữ liệu để tham khảo một số mẹo.

Triển khai hạ tầng tự phục vụ

Trang bị cho các nhóm công cụ và nền tảng họ cần để tự quản lý sản phẩm dữ liệu. Cung cấp cho các nhóm theo miền quyền truy cập một nền tảng hạ tầng dữ liệu chung bao gồm công cụ lưu trữ, xử lý, quản lý và lineage dữ liệu (đọc thêm trong bài viết về data lineage là gì). Điều này giảm phụ thuộc vào đội CNTT trung tâm và tăng tốc vận hành dữ liệu.

Chuyển sang kiến trúc data mesh có thể có vẻ khó khăn, nhưng lợi ích mang lại có thể rất đáng kể đối với các tổ chức lớn.

Công cụ cho Data Mesh

Data mesh thường cần các công cụ hỗ trợ các nhóm theo miền xây dựng, triển khai và quản lý sản phẩm dữ liệu một cách độc lập. Các công cụ này trải rộng từ nền tảng lưu trữ và xử lý dữ liệu đến giải pháp quản trị và khám phá.

Công cụ trả phí

Dưới đây là một vài công cụ phổ biến được sử dụng trong data mesh:

Công cụ mã nguồn mở

Giờ hãy khám phá một số công cụ mã nguồn mở phổ biến cho data mesh:

Những công cụ này cung cấp nhiều năng lực giúp các tổ chức triển khai kiến trúc data mesh hiệu quả. Việc nghiên cứu đa dạng công cụ để xây dựng một bộ công cụ phù hợp với nhu cầu cụ thể của tổ chức là rất quan trọng.

Lợi ích của Data Mesh

Data mesh mang lại khả năng mở rộng cho các tổ chức bằng cách đáp ứng hiệu quả hơn sự gia tăng về khối lượng và độ phức tạp dữ liệu so với các cách tiếp cận tập trung. Khả năng mở rộng này đảm bảo các tổ chức có thể quản lý và xử lý lượng dữ liệu khổng lồ mà không gặp nút thắt cổ chai hay vấn đề hiệu năng.

Việc phi tập trung quản lý dữ liệu trong data mesh thúc đẩy sự nhanh nhạy, cho phép các tổ chức phản hồi nhanh hơn trước nhu cầu kinh doanh và điều kiện thị trường thay đổi. Tính linh hoạt này cho phép các nhóm điều chỉnh chiến lược dữ liệu riêng của họ theo thời gian thực, giúp họ đón đầu trong bối cảnh kinh doanh biến đổi nhanh.

Trong kiến trúc data mesh, chất lượng dữ liệu được cải thiện nhờ quyền sở hữu theo miền. Các nhóm theo miền, sở hữu kiến thức và bối cảnh phù hợp nhất, chịu trách nhiệm quản lý và duy trì sản phẩm dữ liệu của họ. Cách tiếp cận này đảm bảo dữ liệu chính xác, đáng tin cậy và phù hợp với mục tiêu kinh doanh.

Ngoài ra, kiến trúc data mesh khuyến khích hợp tác liên miền và chia sẻ tri thức. Bằng cách phá vỡ các silo dữ liệu, các nhóm có thể tận dụng chuyên môn của nhau, dẫn tới ra quyết định tốt hơn và kết quả tổng thể cải thiện.

Thách thức khi áp dụng Data Mesh

Áp dụng data mesh đi kèm những thách thức riêng mà các tổ chức cần vượt qua.

Một rào cản lớn là sự chuyển dịch văn hóa cần thiết. Tiến tới data mesh đòi hỏi thay đổi căn bản trong văn hóa tổ chức. Thay vì một đội dữ liệu tập trung chịu trách nhiệm cho toàn bộ dữ liệu trong tổ chức, data mesh yêu cầu ra quyết định và quyền sở hữu dữ liệu phi tập trung. Sự chuyển dịch này cần sự đồng thuận ở mọi cấp và có thể gặp phản kháng từ những người quen với kiểm soát tập trung.

Độ phức tạp kỹ thuật trong việc triển khai data mesh cũng là một thách thức. Sẽ có các công cụ, quy trình và kỹ năng mới, có thể đòi hỏi đầu tư đáng kể cho đào tạo và hạ tầng. Tổ chức phải đảm bảo có đủ nguồn lực và chuyên môn để chuyển đổi thành công sang kiến trúc data mesh.

Tìm được sự cân bằng phù hợp giữa tự chủ theo miền và quản trị tập trung cũng là một thách thức khác. Trong khi các nhóm theo miền cần tự do đổi mới và tự quản lý sản phẩm dữ liệu của họ, quản trị tập trung lại rất quan trọng để duy trì tính nhất quán, bảo mật và tuân thủ trên toàn tổ chức. Đạt được cân bằng này đòi hỏi lập kế hoạch và phối hợp cẩn thận để thiết lập khung quản trị đáp ứng cả nhu cầu theo miền và mục tiêu tổng thể của tổ chức.

Khi nào nên cân nhắc Data Mesh

Các tổ chức lớn và phức tạp với bức tranh dữ liệu rộng và đa dạng thường thấy các cách tiếp cận tập trung không đủ để mở rộng hiệu quả. Trong những môi trường như vậy, nơi khối lượng và độ phức tạp dữ liệu không ngừng tăng, data mesh mang lại một lựa chọn phi tập trung có thể phù hợp hơn với nhu cầu của tổ chức.

Các tổ chức vận hành trong môi trường linh hoạt, nơi phản ứng nhanh với thay đổi thị trường hoặc nhu cầu khách hàng là thiết yếu, cũng có thể hưởng lợi từ tính linh hoạt của data mesh. Bản chất phi tập trung cho phép thích ứng nhanh hơn với yêu cầu kinh doanh đang tiến hóa. Điều này làm tăng tính nhanh nhạy và khả năng phản hồi.

Data mesh đặc biệt hữu ích cho các tổ chức có quyền sở hữu dữ liệu phân tán tự nhiên giữa các nhóm hoặc phòng ban khác nhau. Bằng cách điều chỉnh thực hành quản lý dữ liệu với cấu trúc sẵn có của tổ chức, data mesh trao quyền cho các nhóm theo miền sở hữu sản phẩm dữ liệu của họ. Quyền sở hữu phân tán này thúc đẩy trách nhiệm và đảm bảo dữ liệu được quản lý bởi những người có chuyên môn và bối cảnh phù hợp nhất.

Tuy nhiên, các tổ chức phụ thuộc nhiều vào thực hành dữ liệu tiêu chuẩn hóa, đồng nhất trên mọi phòng ban hoặc thiếu các miền kinh doanh riêng biệt có thể không hưởng lợi từ data mesh. Nếu không có ranh giới rõ ràng và ra quyết định phi tập trung, lợi thế của quyền sở hữu theo miền và sự linh hoạt có thể bị mất đi. Những tổ chức này có thể phù hợp hơn với cách tiếp cận quản lý dữ liệu tập trung.

Data Mesh so với Data Fabric

Data fabric là một cách tiếp cận tập trung hơn để tạo ra môi trường dữ liệu thống nhất trên toàn tổ chức. Nó tích hợp nhiều nguồn và hệ thống dữ liệu vào một nền tảng gắn kết, cung cấp cho người dùng một cái nhìn hợp nhất về dữ liệu. 

Data fabric thường nhấn mạnh tích hợp dữ liệu, quản trị và bảo mật để đảm bảo tính nhất quán và độ tin cậy trên toàn tổ chức. Bạn có thể đọc thêm trong bài viết về data fabric là gì.

Trong khi cả data mesh và data fabric đều giải quyết các thách thức của quản lý dữ liệu hiện đại, chúng làm điều đó bằng những cách tiếp cận khác nhau. Data mesh ưu tiên phi tập trung và quyền sở hữu theo miền, trong khi data fabric nhấn mạnh tập trung và tích hợp. 

Việc lựa chọn giữa các cách tiếp cận này phụ thuộc vào các yếu tố như cấu trúc tổ chức, bức tranh dữ liệu và mục tiêu kinh doanh.

Kết luận

Mô hình data mesh mang đến lời giải cho những thách thức của kiến trúc dữ liệu tập trung trong các tổ chức lớn. Bằng cách phi tập trung quản lý dữ liệu và gắn kết với các miền kinh doanh, data mesh cải thiện khả năng mở rộng, sự nhanh nhạy, chất lượng dữ liệu và đổi mới.

Để tìm hiểu thêm về quản lý dữ liệu, hãy xem các tài nguyên sau:

• Giới thiệu về Chất lượng Dữ liệu
• Quản lý Dữ liệu cho AI Có Trách nhiệm
• Khiến Quản trị Dữ liệu Trở nên Thú vị
• Cách Các Lãnh đạo Dữ liệu Ưu tiên Quản trị Dữ liệu