Khi nói đến lưu trữ dữ liệu lớn, hai lựa chọn phổ biến nhất là data lake và data warehouse. Data warehouse được dùng để phân tích dữ liệu có cấu trúc đã lưu trữ, trong khi data lake dùng để lưu trữ dữ liệu lớn với mọi kiểu cấu trúc.
Trong bài viết này, chúng tôi sẽ phân tích sự khác biệt giữa hai khái niệm. Bảng dưới đây chia nhỏ các khác biệt theo năm hạng mục.
| Data Lake | Data Warehouse | |
|---|---|---|
| Loại dữ liệu | Dữ liệu phi cấu trúc và có cấu trúc từ nhiều nguồn dữ liệu của công ty | Dữ liệu lịch sử đã được cấu trúc để phù hợp với lược đồ cơ sở dữ liệu quan hệ |
| Mục đích | Lưu trữ dữ liệu lớn tiết kiệm chi phí | Phân tích phục vụ quyết định kinh doanh |
| Người dùng | Nhà khoa học dữ liệu và kỹ sư dữ liệu | Chuyên viên phân tích dữ liệu và chuyên viên phân tích kinh doanh |
| Nhiệm vụ | Lưu trữ dữ liệu và phân tích dữ liệu lớn, như học sâu và phân tích thời gian thực | Thường là truy vấn chỉ đọc để tổng hợp và tóm tắt dữ liệu |
| Quy mô | Lưu trữ mọi dữ liệu có thể được dùng—có thể lên tới petabyte! | Chỉ lưu trữ dữ liệu liên quan đến phân tích |
Loại dữ liệu
Làm sạch dữ liệu là một kỹ năng dữ liệu cốt lõi vì dữ liệu vốn dĩ ở dạng lộn xộn và không hoàn hảo. Dữ liệu thô chưa được làm sạch được gọi là dữ liệu phi cấu trúc—chiếm phần lớn dữ liệu trên thế giới, như ảnh, nhật ký trò chuyện và tệp PDF. Dữ liệu phi cấu trúc được làm sạch để phù hợp với một lược đồ, được tổ chức thành các bảng và được xác định bởi kiểu dữ liệu cùng mối quan hệ, được gọi là dữ liệu có cấu trúc. Đây là khác biệt căn bản giữa lake và warehouse.
Data lake lưu trữ dữ liệu từ nhiều nguồn như thiết bị IoT, luồng mạng xã hội theo thời gian thực, dữ liệu người dùng và giao dịch ứng dụng web. Đôi khi dữ liệu này có cấu trúc, nhưng thường khá lộn xộn vì dữ liệu được nạp trực tiếp từ nguồn. Ngược lại, data warehouse chứa dữ liệu lịch sử đã được làm sạch để phù hợp với lược đồ quan hệ.
Mục đích
Data lake được dùng để lưu trữ khối lượng lớn dữ liệu từ nhiều nguồn với chi phí hợp lý. Cho phép dữ liệu ở bất kỳ cấu trúc nào giúp giảm chi phí vì dữ liệu linh hoạt và có khả năng mở rộng hơn khi không cần tuân theo một lược đồ cố định. Tuy vậy, dữ liệu có cấu trúc dễ phân tích hơn vì sạch và có lược đồ đồng nhất để truy vấn. Bằng cách giới hạn dữ liệu theo một lược đồ, data warehouse rất hiệu quả khi phân tích dữ liệu lịch sử phục vụ các quyết định cụ thể.
Bạn có thể nhận thấy data lake và data warehouse bổ trợ cho nhau trong quy trình dữ liệu. Dữ liệu của công ty sau khi nạp sẽ được lưu ngay vào data lake. Khi xuất hiện một câu hỏi kinh doanh cụ thể, một phần dữ liệu liên quan sẽ được trích xuất từ lake, làm sạch và xuất sang data warehouse.
Người dùng
Data lake và data warehouse hữu ích cho các nhóm người dùng khác nhau. Chuyên viên phân tích dữ liệu và phân tích kinh doanh thường làm việc trong data warehouse chứa dữ liệu liên quan trực tiếp đã được xử lý cho công việc của họ. Data warehouse đòi hỏi mức độ kỹ năng lập trình và khoa học dữ liệu thấp hơn để sử dụng.
Data lake được thiết lập và vận hành bởi kỹ sư dữ liệu, những người tích hợp chúng vào các pipeline dữ liệu. Nhà khoa học dữ liệu làm việc sát hơn với data lake vì chúng chứa dữ liệu có phạm vi rộng hơn và cập nhật hơn.
Nhiệm vụ
Kỹ sư dữ liệu dùng data lake để lưu trữ dữ liệu đầu vào. Tuy nhiên, data lake không chỉ giới hạn ở việc lưu trữ. Hãy nhớ rằng dữ liệu phi cấu trúc linh hoạt và mở rộng tốt hơn, điều này thường phù hợp hơn cho phân tích dữ liệu lớn. Phân tích dữ liệu lớn có thể chạy trên data lake bằng các dịch vụ như Apache Spark và Hadoop. Điều này đặc biệt đúng với học sâu, vốn cần khả năng mở rộng khi lượng dữ liệu huấn luyện ngày càng tăng.
Data warehouse thường được thiết lập chế độ chỉ đọc cho người dùng là nhà phân tích, những người chủ yếu đọc và tổng hợp dữ liệu để khai thác thông tin. Vì dữ liệu đã sạch và mang tính lưu trữ, thường không cần chèn thêm hay cập nhật dữ liệu.
Quy mô
Không có gì ngạc nhiên khi data lake lớn hơn nhiều về kích thước vì chúng giữ lại mọi dữ liệu có thể liên quan đến công ty. Data lake thường ở quy mô petabyte—tức 1.000 terabyte! Data warehouse chọn lọc hơn nhiều về dữ liệu được lưu trữ.
Kết luận
Khi bạn cân nhắc giữa data lake hoặc data warehouse, hãy đi qua các hạng mục này và xem lựa chọn nào phù hợp nhất với trường hợp sử dụng của bạn. Nếu bạn muốn tìm hiểu sâu hơn về sự khác biệt của chúng hoặc cách thiết kế data warehouse, hãy xem khóa học Database Design của chúng tôi!
Đừng quên rằng đôi khi bạn cần kết hợp cả hai giải pháp lưu trữ. Điều này đặc biệt đúng khi xây dựng pipeline dữ liệu. Bạn có thể xem điều này trong thực tế qua các khóa học Introduction to Data Engineering và Building Data Engineering Pipelines in Python của chúng tôi.
