Hạ tầng dữ liệu trưởng thành trông như thế nào

Thực trạng chuyển đổi số dựa trên dữ liệu

Khi các tổ chức đẩy nhanh chuyển đổi số trong bối cảnh đại dịch COVID-19, việc tận dụng dữ liệu, học máy và phân tích chưa bao giờ quan trọng đến vậy.

Khảo sát Toàn cầu McKinsey năm 2020 về Tình hình Trí tuệ Nhân tạo cho biết 50% doanh nghiệp đã áp dụng trí tuệ nhân tạo trong ít nhất một chức năng kinh doanh, và 22% tổ chức cho rằng tối thiểu 5% lợi nhuận trước lãi vay và thuế đến từ các sáng kiến về trí tuệ nhân tạo.

Tuy nhiên, để khai mở giá trị của dữ liệu và trí tuệ nhân tạo trên quy mô lớn, các tổ chức phải dân chủ hóa dữ liệu và mở khóa năng lực thông thạo dữ liệu trên toàn tổ chức. Một cách để làm điều này là cung cấp quyền truy cập vào dữ liệu đáng tin cậy và có thể hành động cho mọi đội ngũ và cấp độ kỹ năng, để ai cũng có thể đưa ra quyết định kinh doanh dựa trên dữ liệu.

Hạ tầng dữ liệu là cốt lõi của dân chủ hóa dữ liệu

Trước khi đạt được thông thạo dữ liệu, các tổ chức cần xây dựng nền tảng đúng đắn. Điều này bắt đầu bằng việc hiểu cách dữ liệu luân chuyển trong tổ chức rồi hướng tới xây dựng một hạ tầng dữ liệu có tổ chức và thống nhất.

Trong một hội thảo trực tuyến về xu hướng và dự đoán dữ liệu 2021, Ramnath Vaidyanathan, Phó Chủ tịch Nghiên cứu Sản phẩm tại DataCamp, đã mô tả cách dữ liệu thường luân chuyển trong một tổ chức. Dòng chảy này đòi hỏi các công cụ kỹ thuật dữ liệu để tiếp nhận dữ liệu thô, thu nạp và chuyển đổi, lưu trữ tại một vị trí tập trung, và tạo ra thông tin chiết xuất dưới dạng bảng điều khiển, báo cáo, đầu ra học máy, và hơn thế nữa.

Mở rộng quyền truy cập dữ liệu trong tổ chức phụ thuộc rất lớn vào sự hiện diện của một kiến trúc hạ tầng dữ liệu vững chắc và việc sử dụng các công cụ hạ tầng dữ liệu mới nhất, giúp tổ chức biến dữ liệu thô thành thông tin chiết xuất dễ tiếp cận và có giá trị.

Thực trạng công cụ hạ tầng dữ liệu

Tầm quan trọng của hạ tầng và công cụ dữ liệu được thể hiện qua tốc độ tăng trưởng và phát triển nhanh chóng của thị trường hạ tầng dữ liệu. Nhiều giải pháp được thiết kế để tối ưu làm việc với một yếu tố cụ thể trong hạ tầng dữ liệu của tổ chức, dẫn đến bối cảnh công cụ ngày càng phân mảnh và khó điều hướng.

Hình minh họa sau do Dataiku tạo ra cho thấy thị trường hạ tầng dữ liệu đã được phân khúc thành vô số danh mục chi tiết, với danh sách giải pháp cạnh tranh ngày càng mở rộng trong mỗi phân khúc.

Nguồn: Dataiku

Tương lai của công cụ hạ tầng dữ liệu

Cuối năm ngoái, Andreessen Horowitz đã cố gắng mang lại sự rõ ràng cho bức tranh hạ tầng dữ liệu phức tạp này bằng cách xây dựng một khung kiến trúc thống nhất. Trước nhu cầu ngày càng tăng trong việc xử lý khối lượng dữ liệu lớn và vô vàn giải pháp sẵn có, khung này mang đến một tài liệu tham chiếu thực tiễn khi hiện đại hóa, lập bản đồ và xây dựng ngăn xếp dữ liệu của tổ chức.

Nguồn: Andreessen Horowitz

Khi lĩnh vực và xu hướng này tiến triển, chúng ta sẽ chứng kiến sự hợp nhất và tiêu chuẩn hóa của nhiều công cụ trong ngăn xếp hạ tầng dữ liệu. Cùng với việc ứng dụng đám mây, các công cụ khám phá dữ liệu và các nền tảng quản trị dữ liệu tập trung sẽ giúp tổ chức cung cấp quyền truy cập dữ liệu có khả năng mở rộng cho các nhóm và chức năng.

Vậy một hạ tầng dữ liệu lý tưởng trong tương lai sẽ mang lại điều gì? Theo Maksim Pecherskiy, Kỹ sư Dữ liệu tại Ngân hàng Thế giới và nguyên Giám đốc Dữ liệu của thành phố San Diego, dữ liệu phải được thu thập, có thể khám phá, đáng tin cậy, được thấu hiểu, tuân thủ và có thể hành động. Cuối cùng, mục tiêu là khiến dữ liệu trở nên hữu dụng và đáng tin cậy, từ đó thúc đẩy năng lực thông thạo dữ liệu trên toàn tổ chức.

Hạ tầng dữ liệu trưởng thành bao gồm ứng dụng đám mây, công cụ khám phá dữ liệu và nền tảng quản trị dữ liệu tập trung

Khi công cụ hạ tầng dữ liệu trưởng thành xoay quanh dân chủ hóa dữ liệu trong năm 2021 và các năm tiếp theo, việc ứng dụng và phát triển các công nghệ sau cũng sẽ tăng trưởng:

1. Ứng dụng đám mây

Việc sử dụng công nghệ đám mây đang trở thành chuẩn mực, đặc biệt sau làn sóng chuyển đổi số dựa trên dữ liệu tăng tốc trong năm 2020.

Ngoài việc cải thiện lưu trữ và truy cập dữ liệu, các giải pháp đám mây còn cung cấp nhiều sản phẩm thân thiện với người dùng để thu thập, thu nạp, chuyển đổi, lưu trữ và tạo thông tin chiết xuất từ dữ liệu.

Có rất nhiều nhà cung cấp nền tảng đám mây, và một trong những cái tên chủ chốt là Amazon Web Services (AWS), với hơn 100 sản phẩm giúp doanh nghiệp khai thác tối đa dữ liệu với tốc độ cao, ở quy mô lớn và chi phí thấp.

2. Công cụ khám phá dữ liệu

Mở rộng hạ tầng dữ liệu sẽ then chốt khi các bảng dữ liệu, báo cáo và mô hình được bổ sung vào bức tranh dữ liệu của tổ chức. Các bên liên quan phải dễ dàng tìm được dữ liệu và thông tin chiết xuất đáng tin cậy, được thấu hiểu, tuân thủ và có thể hành động để làm việc hiệu quả nhất.

Để giải quyết thách thức này, các công cụ khám phá dữ liệu (còn được gọi là công cụ quản lý siêu dữ liệu hoặc danh mục dữ liệu) có thể hoạt động như những công cụ tìm kiếm linh hoạt cho kho dữ liệu trong tổ chức. Về bản chất, siêu dữ liệu là tập dữ liệu mô tả dữ liệu cụ thể, hữu ích để lập chỉ mục sự đa dạng lớn của dữ liệu hiện có.

Lyft đã mã nguồn mở công cụ khám phá dữ liệu riêng của họ là Amundsen, cung cấp các giải pháp động cơ siêu dữ liệu nhằm giúp tổ chức khám phá, thấu hiểu, chia sẻ và tin tưởng dữ liệu được dùng cho phân tích. Năng lực này là then chốt với bất kỳ tổ chức nào muốn mở rộng năng lực dữ liệu.

3. Nền tảng quản trị dữ liệu tập trung

Như đã đề cập, xây dựng niềm tin vào dữ liệu là yếu tố thiết yếu để thúc đẩy dân chủ hóa dữ liệu. Đây là nơi quản trị dữ liệu đóng vai trò chủ đạo. Với khối lượng và mức độ đa dạng của dữ liệu ngày càng tăng, việc giám sát tập trung chất lượng, tính nhất quán và mức độ phù hợp của dữ liệu là rất quan trọng.

Các dịch vụ nền tảng quản trị dữ liệu tập trung do các công ty như Collibra và Alation cung cấp giúp tổ chức quản lý hiệu quả tính sẵn có, nhất quán và toàn vẹn của dữ liệu. Nhờ đó, mọi bên liên quan có thể làm việc dựa trên một nguồn sự thật đáng tin cậy duy nhất.

Một hạ tầng dữ liệu đang trưởng thành chỉ là một trong những xu hướng dữ liệu mà chúng tôi dự báo cho năm 2021 và xa hơn. Để tìm hiểu thêm, hãy tải về sách trắng Xu hướng và Dự đoán Dữ liệu 2021: Năm của Thông thạo Dữ liệu hoặc xem hội thảo trực tuyến của chúng tôi.