Những tổ chức thành công nhất hiện nay phụ thuộc rất nhiều vào dữ liệu để ra quyết định. Nhiều tổ chức thành thạo dữ liệu này tạo ra hàng triệu dòng dữ liệu mỗi ngày, được nhiều nhóm khác nhau sử dụng và phân tích. Một trong những thách thức then chốt để trang bị cho các nhóm khả năng truy cập và làm việc với dữ liệu là đảm bảo dữ liệu được thu thập, đáng tin cậy, ổn định, có thể hành động và có thể khám phá.
Để điều hướng những bối cảnh dữ liệu phức tạp này, nhiều tổ chức đã phát triển và mở mã nguồn các công nghệ nội bộ, gọi là công cụ khám phá dữ liệu.
Trong một hội thảo trực tuyến gần đây, Ramnath Vaidyanathan, Phó Chủ tịch Nghiên cứu Sản phẩm tại DataCamp, mô tả cách các tổ chức có thể chuyển từ trạng thái phản ứng với dữ liệu, nơi không ai có kỹ năng hoặc quyền truy cập để làm việc với dữ liệu, sang trạng thái thông thạo dữ liệu, nơi mọi người đều có quyền truy cập và kỹ năng để làm việc với dữ liệu và đưa ra quyết định dựa trên dữ liệu. Các tổ chức có thể nâng cao mức độ trưởng thành về dữ liệu thông qua đầu tư vào khung IPTOP: hạ tầng, con người, công cụ, tổ chức và quy trình. Khi các tổ chức mở rộng quyền truy cập dữ liệu thông qua đầu tư vào hạ tầng dữ liệu, họ sẽ cần cung cấp khả năng khám phá dữ liệu dễ dàng với các công cụ khám phá dữ liệu.
Dữ liệu sẽ không hữu ích nếu mọi người không thể truy cập, nếu họ không hiểu bối cảnh của dữ liệu được thu thập, và nếu họ không thể tìm thấy điều mình cần. Đó là lý do công cụ khám phá dữ liệu thực sự mang tính sống còn. Ramnath Vaidyanathan, Phó Chủ tịch Nghiên cứu Sản phẩm tại DataCamp
Cách các công ty thành thạo dữ liệu sử dụng công cụ khám phá dữ liệu
Nhiều công ty hướng dữ liệu đã triển khai công cụ khám phá dữ liệu trong hạ tầng dữ liệu của họ. Hãy xem xét động lực và yếu tố thúc đẩy đằng sau các công cụ khám phá dữ liệu đáng chú ý như Uber Databook và Lyft Amundsen.
Những thách thức cần cân nhắc trong khám phá dữ liệu
Một thách thức then chốt trong khám phá dữ liệu là năng suất và tuân thủ. Lyft cho biết họ đối mặt với những thách thức này khi quy mô dữ liệu tăng theo cấp số nhân và được dự báo sẽ tiếp tục tăng với tốc độ tương tự ít nhất trong 10 năm tới. Khi phát triển Amundsen, họ ghi nhận khoảng 25% thời gian của nhà phân tích dành cho việc khám phá dữ liệu. Họ cũng chứng kiến các yêu cầu tuân thủ ngày càng chặt chẽ hơn ở các quốc gia họ phục vụ.
Uber cũng bày tỏ mối lo ngại tương tự khi bắt đầu mở rộng vượt ra ngoài chức năng chính là ứng dụng gọi xe sang các dịch vụ như Uber Eats, Uber Freight và Jump Bikes. Khi phát triển Databook, Uber có hơn 15 triệu chuyến đi mỗi ngày và 18.000 nhân viên thuộc nhiều nhóm khác nhau. Một thách thức khác là dữ liệu của họ tồn tại dưới nhiều dạng khác nhau bao gồm Hive, Presto và Vertica. Các nhà phân tích cần có khả năng truy cập và hiểu hiệu quả các nguồn dữ liệu khác nhau để đạt được sự thông thạo dữ liệu.
Facebook đã xây dựng nền tảng khám phá dữ liệu Nemo để đáp ứng nhu cầu về dữ liệu chất lượng cao, đáng tin cậy khi kích thước và độ phức tạp dữ liệu tăng lên trên nhiều vai trò và khu vực địa lý. Do các vấn đề riêng tư gắn với dữ liệu họ phân tích, Facebook cũng đối mặt với những yêu cầu tuân thủ đáng kể cần được xử lý khi cung cấp bảng cho các nhà phân tích cụ thể.
John Bodley từ Airbnb nói trong một bài nói chuyện tại hội thảo năm 2017, “Khi Airbnb phát triển, các thách thức về khối lượng, độ phức tạp và độ khó tiếp cận của dữ liệu cũng tăng theo.” Điều này có nghĩa là nhân viên thường thấy dữ liệu bị “chia cắt, khó truy cập và thiếu bối cảnh.” Hệ quả là nhân viên tạo ra các bảng trùng lặp và không sử dụng dữ liệu nếu họ không tin tưởng nó. Airbnb đã phát triển Dataportal để giúp quy trình khám phá dữ liệu hiệu quả hơn đáng kể bằng cách loại bỏ những rào cản đối với phân tích dữ liệu năng suất.
Những thách thức này phổ biến, không phụ thuộc ngành, và áp dụng cho mọi tổ chức đang tìm cách mở rộng đưa ra quyết định dựa trên dữ liệu. Nhu cầu về dữ liệu dễ khám phá sẽ trở nên tối quan trọng khi các tổ chức hướng tới mục tiêu thành thạo dữ liệu.
Bốn mục tiêu then chốt của công cụ khám phá dữ liệu
Sau khi hiểu các thách thức của việc khám phá dữ liệu, hãy xem các công cụ khám phá dữ liệu khác nhau giải quyết chúng như thế nào. Uber chia nhỏ các mục tiêu của một nền tảng khám phá dữ liệu thành công thành bốn thành phần:
- Khả năng mở rộng: Khả năng dễ dàng bổ sung siêu dữ liệu, lưu trữ và thực thể vào các bảng
- Khả năng truy cập: Khả năng truy cập lập trình vào toàn bộ siêu dữ liệu
- Khả năng mở rộng quy mô: Khả năng hỗ trợ nhiều yêu cầu đọc đồng thời
- Sức mạnh: Khả năng hỗ trợ yêu cầu đọc và ghi trên nhiều trung tâm dữ liệu
Việc đạt được các mục tiêu khám phá dữ liệu này tăng lên khi các tổ chức trưởng thành hơn về năng lực dữ liệu. Khi quy mô dữ liệu tăng, mỗi thành phần này càng trở nên quan trọng.
Lyft và Airbnb cung cấp siêu dữ liệu chi tiết
Nhóm kỹ sư của Lyft cho rằng “siêu dữ liệu là chén thánh của các ứng dụng trong tương lai.” Họ phân tách siêu dữ liệu thành hai phân nhóm. Đầu tiên là bộ dữ liệu mô tả gồm bối cảnh ứng dụng (tức là con người cần biết gì về dữ liệu để vận hành), hành vi (tức là ai sở hữu một tập dữ liệu cụ thể và các kiểu sử dụng phổ biến của nó), và thay đổi (tức là tập dữ liệu thay đổi theo thời gian như thế nào). Thành phần thứ hai là dữ liệu được mô tả, tức là bất kỳ dữ liệu nào được lưu trữ trong tổ chức dưới bất kỳ định dạng nào như kho dữ liệu, bảng điều khiển, luồng dữ liệu, và hơn thế nữa.
Khi phát triển Dataportal, nền tảng khám phá dữ liệu của Airbnb, siêu dữ liệu là phần không thể thiếu trong giá trị mà nền tảng bổ sung cho chu trình dữ liệu. Trước khi Dataportal ra mắt, nhiều nhân viên không tin tưởng dữ liệu họ sử dụng do thiếu bối cảnh và siêu dữ liệu. Airbnb cho rằng “việc hiểu toàn bộ hệ sinh thái dữ liệu, từ bước tạo nhật ký sự kiện đến khi được tiêu thụ trong trực quan hóa, mang lại giá trị lớn hơn tổng các phần riêng lẻ của nó.”
Nguồn: Airbnb
Đảm bảo kết quả tìm kiếm chất lượng cao với khám phá dữ liệu
Khi đã có bối cảnh này, khám phá dữ liệu cần một tính năng tìm kiếm hiệu quả. Dù mỗi bảng có đáng tin và dễ hiểu đến đâu, nền tảng khám phá dữ liệu chỉ hữu ích khi các nhà phân tích có thể nhanh chóng tìm thấy dữ liệu họ cần.
Trang đích của Lyft Amundsen cho phép người dùng tìm kiếm bảng bằng truy vấn ngôn ngữ tự nhiên và hiển thị các bảng phổ biến nhất trong tổ chức để truy cập nhanh. Ngoài ra, các nhà phân tích có thể để lại phản hồi về bảng để tinh chỉnh kết quả tìm kiếm trong tương lai.
Giải pháp khám phá dữ liệu của Facebook, Nemo, cho phép các nhà phân tích lọc theo mức độ sử dụng, hạn chế về quyền riêng tư và tính gần đây của dữ liệu, đồng thời tận dụng năng lực xử lý ngôn ngữ tự nhiên của Facebook bằng cách cho phép người dùng nhập câu hỏi vào thanh tìm kiếm để nhận các bảng phù hợp.
Uber Databook cho phép các khả năng lọc tương tự bằng cách cho phép nhà phân tích lọc theo các tiêu chí như tên, chủ sở hữu, cột và cột lồng nhau. Uber sử dụng Elasticsearch để trả kết quả tìm kiếm nhanh và hiệu quả.
Tiến tới dân chủ hóa dữ liệu thông qua khám phá dữ liệu
Việc mở rộng năng lực dữ liệu và khả năng khám phá dữ liệu luôn song hành, vì các nhà phân tích cần dễ dàng truy cập dữ liệu để đưa ra quyết định dựa trên dữ liệu.
Các tổ chức có mức độ trưởng thành về dữ liệu thấp nên tập trung xây dựng kỹ năng và văn hóa dữ liệu, đồng thời mở rộng hạ tầng dữ liệu. Tuy nhiên, khi các tổ chức tiến triển trên hành trình trưởng thành dữ liệu và mở rộng quyền truy cập, việc kích hoạt khả năng khám phá dữ liệu có thể mở rộng và linh hoạt sẽ là chìa khóa để trở thành tổ chức hướng dữ liệu. Để có thảo luận chuyên sâu về tất cả các đòn bẩy giúp nâng cao mức độ trưởng thành dữ liệu của tổ chức, hãy xem hội thảo trực tuyến về lộ trình đến sự thông thạo dữ liệu hoặc làm bài đánh giá mức độ trưởng thành dữ liệu.
