Kỹ thuật dữ liệu tiếp tục là ưu tiên hàng đầu đối với các doanh nghiệp, và trong năm 2021, sẽ có những phát triển thú vị trong lĩnh vực hạ tầng dữ liệu. Trong một hội thảo trực tuyến gần đây, Maksim Percherskiy, Kỹ sư Dữ liệu tại Ngân hàng Thế giới và nguyên Giám đốc Dữ liệu của Thành phố San Diego, đã nhấn mạnh ba xu hướng đặc biệt đáng chú ý: nền tảng điều phối dữ liệu, công cụ khám phá dữ liệu và data lakehouse.
Nền tảng điều phối dữ liệu
Mặc dù các nền tảng điều phối đã tồn tại nhiều năm để quản lý hệ thống máy tính và phần mềm, điều phối dữ liệu là một khái niệm tương đối mới, trừu tượng hóa việc truy cập dữ liệu trên các hệ thống lưu trữ, ảo hóa dữ liệu và cung cấp dữ liệu cho các ứng dụng hướng dữ liệu. Nền tảng điều phối dữ liệu giúp các công ty trở nên định hướng dữ liệu hơn bằng cách kết hợp dữ liệu rời rạc từ nhiều nơi lưu trữ khác nhau và biến chúng thành dữ liệu có thể sử dụng. Ví dụ gồm có Apache Airflow, Prefect, Luigi và Stitch, vốn tương thích với các cách tiếp cận phần mềm hiện đại như kiểm soát phiên bản, DevOps và tích hợp liên tục.
Khóa học Introduction to Airflow in Python của DataCamp là điểm khởi đầu tuyệt vời để học cách triển khai và lập lịch ETL và quy trình làm việc kỹ thuật dữ liệu một cách dễ dàng và lặp lại được.
Công cụ khám phá dữ liệu
Hợp lý khi dữ liệu tăng lên, các công ty sẽ đầu tư nhiều thời gian hơn để giúp đội ngũ của họ tìm được dữ liệu cần thiết, ghi chép tài liệu và giảm làm lại. Các công cụ khám phá dữ liệu như Amundsen của Lyft và Databook của Uber nhằm nâng cao năng suất của người dùng dữ liệu bằng cách cung cấp giao diện tìm kiếm cho dữ liệu. Những công cụ này dựa vào siêu dữ liệu, giúp tăng năng suất và tuân thủ bằng cách cho phép hạ tầng dữ liệu mở rộng theo đà tăng trưởng của công ty. Mục tiêu của khám phá dữ liệu là làm cho dữ liệu trở nên FAIR hơn: có thể tìm thấy, có thể truy cập, có thể tương tác và có thể tái sử dụng.
Data lakehouse
Có những trường hợp sử dụng khác nhau cho data lake so với kho dữ liệu. Mỗi loại được thiết kế cho mục đích khác nhau và cho nhóm người dùng cuối khác nhau. Ví dụ, kho dữ liệu thường được các nhà phân tích sử dụng nhằm thu thập thông tin kinh doanh—chúng chứa các tệp phẳng đã được xử lý riêng phục vụ công việc của họ. Ngược lại, data lake được thiết lập và duy trì bởi các kỹ sư dữ liệu, những người tích hợp chúng vào các pipeline dữ liệu. Các nhà khoa học dữ liệu làm việc sát với data lake hơn vì chúng chứa dữ liệu có phạm vi rộng và cập nhật hơn.
Data lakehouse đúng như tên gọi: sự kết hợp giữa data lake và kho dữ liệu. Các nền tảng như Snowflake và Delta Lake của Databricks đã tạo ra các giải pháp nhằm cung cấp một nguồn dữ liệu thống nhất, kết hợp lợi ích của cả data lake và kho dữ liệu. Data lakehouse triển khai cấu trúc dữ liệu và các tính năng quản trị của kho dữ liệu cho data lake, vốn thường tiết kiệm chi phí lưu trữ hơn. Đồng thời, chúng vẫn giữ được schema và phiên bản của dữ liệu. Với data lakehouse, các nhà khoa học dữ liệu có thể thực hiện cả học máy và phân tích thông tin kinh doanh.
Nguồn: Databricks
Cả ba xu hướng này sẽ then chốt để các doanh nghiệp mở rộng hạ tầng dữ liệu trong năm 2021. Chúng hữu ích cho các công ty được xây dựng xoay quanh dữ liệu cũng như những công ty đang chật vật tích hợp dữ liệu một cách bền vững vào quy trình làm việc. Tìm hiểu thêm về những thách thức mà các công ty lớn phải đối mặt khi vận hành hóa dữ liệu và trở nên định hướng dữ liệu.
