Snowflake cung cấp một kiến trúc chuyên biệt để chia sẻ dữ liệu an toàn và hiệu quả trên nhiều môi trường. Dù bạn đang cộng tác trong nội bộ tổ chức hay với đối tác bên ngoài, Snowflake mang đến nhiều lựa chọn được xây dựng theo mục đích, như chia sẻ trực tiếp, sàn trao đổi dữ liệu và Snowflake Marketplace.
Trong bối cảnh doanh nghiệp, các tính năng này giúp cộng tác liền mạch đồng thời kiểm soát chi phí và đảm bảo bảo mật mạnh mẽ. Bài viết này giúp bạn hiểu từng phương thức chia sẻ và cung cấp hướng dẫn thực tiễn để sử dụng hiệu quả trong các tình huống thực tế. Nếu bạn mới làm quen với Snowflake, tôi khuyến nghị bạn xem lộ trình kỹ năng Snowflake Foundations của chúng tôi.
Snowflake Data Sharing là gì?
Truyền thống, việc chia sẻ dữ liệu phụ thuộc vào quy trình ETL (Trích xuất, Biến đổi, Nạp), bao gồm trích xuất dữ liệu từ hệ thống nguồn và nạp vào hệ thống đích. Cách này đòi hỏi sao chép và di chuyển dữ liệu vật lý, tiêu tốn cả tài nguyên lưu trữ lẫn tính toán.
Snowflake loại bỏ nhu cầu sao chép hoặc di chuyển dữ liệu vật lý. Với kiến trúc chia sẻ dữ liệu của Snowflake, một tài khoản (nhà cung cấp) có thể cấp quyền truy cập trực tiếp, chỉ đọc đối với các tập dữ liệu cụ thể cho một tài khoản khác (bên tiêu dùng) mà không cần chuyển giao hay nhân bản dữ liệu.
Bên tiêu dùng có thể truy vấn dữ liệu như thể dữ liệu tồn tại cục bộ, dù thực tế dữ liệu được lưu trong tài khoản của nhà cung cấp. Vì dữ liệu nằm ở một vị trí, nhà cung cấp chỉ chịu chi phí lưu trữ, giúp cách tiếp cận này hiệu quả và có khả năng mở rộng đáng kể cho cộng tác giữa các tài khoản.
Snowflake Data Sharing hoạt động như thế nào?
Snowflake cho phép chia sẻ dữ liệu an toàn, không sao chép bằng cách dùng các con trỏ siêu dữ liệu thay vì sao chép hay di chuyển dữ liệu giữa các hệ thống. Hệ thống tạo tham chiếu tới đối tượng gốc trong tài khoản nhà cung cấp, cho phép bên tiêu dùng truy cập tham chiếu này để truy vấn dữ liệu được chia sẻ.
Bên tiêu dùng được cấp quyền chỉ đọc, nghĩa là họ có thể đọc và khám phá dữ liệu nhưng không thể sửa đổi dữ liệu nguồn. Vì bên tiêu dùng truy vấn trực tiếp kho lưu trữ của nhà cung cấp mà không nhân bản, tài khoản tiêu dùng không chịu chi phí lưu trữ.
Hơn nữa, kiến trúc của Snowflake tách biệt tính toán và lưu trữ, tạo điều kiện cho vận hành dữ liệu tiết kiệm chi phí. Nhà cung cấp chịu chi phí lưu trữ và mọi tài nguyên tính toán họ sử dụng, trong khi bên tiêu dùng chỉ trả cho tài nguyên tính toán họ dùng.
Chia sẻ dữ liệu của Snowflake cũng có khả năng mở rộng. Mỗi tài khoản Snowflake có quyền truy cập dữ liệu chia sẻ có thể tạo kho dữ liệu ảo riêng và chạy truy vấn độc lập, tiếp tục hỗ trợ việc chia sẻ dữ liệu ở quy mô lớn.
Ngoài ra, Snowflake tích hợp các biện pháp quản trị và bảo mật để quản lý quyền truy cập được chia sẻ. Nhà cung cấp có thể xác định khả năng hiển thị dữ liệu thông qua kiểm soát truy cập dựa trên vai trò và theo dõi sử dụng bằng nhật ký kiểm toán. Những tính năng này đảm bảo khả năng quan sát và kiểm soát đầy đủ đối với dữ liệu được chia sẻ.
Các cách chia sẻ dữ liệu trong Snowflake
Chia sẻ dữ liệu trong Snowflake có nhiều hình thức, mỗi hình thức được thiết kế cho các tình huống sử dụng cụ thể. Hãy cùng khám phá các khả năng chia sẻ khác nhau để bạn biết khi nào nên dùng loại nào.
Chia sẻ trực tiếp (Direct shares)
Dùng chia sẻ trực tiếp để chia sẻ dữ liệu với nhiều người dùng trong cùng khu vực Snowflake. Bạn tạo một đối tượng share bao gồm các cơ sở dữ liệu, bảng và view được chọn, rồi cấp quyền truy cập cho các tài khoản Snowflake tiêu dùng cụ thể. Bạn phải liệt kê rõ từng tài khoản có thể truy cập dữ liệu.
Bên tiêu dùng tạo một cơ sở dữ liệu từ share và có thể truy vấn trực tiếp. Cơ sở dữ liệu này không tiêu tốn lưu trữ dữ liệu; nó đóng vai trò như một tham chiếu logic tới dữ liệu được chia sẻ.
Chia sẻ trực tiếp chỉ hoạt động khi bạn chia sẻ dữ liệu trong cùng nhà cung cấp đám mây và khu vực. Chúng lý tưởng để chia sẻ dữ liệu với các nhóm nội bộ, đối tác kinh doanh tin cậy, hoặc một số ít tài khoản Snowflake. Thiết lập này phù hợp nhất với mối quan hệ một-với-vài.
Sàn trao đổi dữ liệu (Data exchanges)
Khi bạn cần chia sẻ dữ liệu với nhiều tài khoản hoặc nhóm tiêu dùng, chia sẻ trực tiếp có thể kém hiệu quả vì bạn phải chỉ định từng tài khoản Snowflake một. Khi đó, sàn trao đổi dữ liệu là lựa chọn tốt hơn.
Với sàn trao đổi dữ liệu, bạn công bố các tập dữ liệu như những sản phẩm dữ liệu trong một marketplace riêng tư và mời các nhóm tiêu dùng truy cập. Thiết lập này hoạt động như một danh mục có thể tìm kiếm, nơi bên tiêu dùng có thể duyệt và đăng ký dữ liệu họ cần. Vì sàn trao đổi là riêng tư, chỉ các tài khoản hoặc nhóm nội bộ được mời mới có thể truy cập.
Chia sẻ dữ liệu liên khu vực hoặc đa đám mây khả thi nhờ tính năng sao chép dữ liệu của Snowflake, khiến sàn trao đổi dữ liệu trở nên lý tưởng để chia sẻ giữa các đơn vị kinh doanh hoặc chuỗi nhượng quyền trong các tổ chức lớn.
Ví dụ, nếu bạn muốn chia sẻ dữ liệu bán hàng khách hàng với các nhóm khác nhau trong công ty, bạn có thể tạo một Snowflake Data Exchange riêng tên “customer_behaviour_data” và công bố nhiều danh sách cho cùng tập dữ liệu, mỗi danh sách có quyền truy cập khác nhau. Mỗi nhóm có thể đăng ký danh sách phù hợp nhu cầu dữ liệu của mình, giúp cộng tác trôi chảy và an toàn hơn giữa các nhóm có cấp độ truy cập khác nhau.
Snowflake Marketplace
Snowflake Marketplace hoạt động tương tự App Store của Apple, nhưng dành cho dữ liệu. Đây là marketplace công khai nơi nhà cung cấp chia sẻ sản phẩm dữ liệu với bất kỳ người dùng Snowflake nào. Nhà cung cấp tạo danh sách, thêm siêu dữ liệu, cung cấp bản xem trước và đặt điều khoản sử dụng để bên tiêu dùng dễ dàng tìm thấy thứ họ cần.
Khi công bố, nhà cung cấp có thể chọn giữa danh sách công khai (hiển thị cho mọi khách hàng Snowflake) hoặc danh sách riêng tư (chỉ hiển thị cho các tài khoản được chọn).
Bên tiêu dùng có thể tìm kiếm trên Marketplace bằng các từ khóa liên quan. Với danh sách công khai, họ có thể đăng ký trực tiếp; với danh sách riêng tư, họ phải yêu cầu quyền truy cập. Sau khi được chấp thuận, họ có thể xem và truy vấn các tập dữ liệu trực tiếp trong tài khoản Snowflake của mình.
Snowflake Marketplace hỗ trợ danh sách tính phí với giá dựa trên mức sử dụng và thuê bao. Việc thanh toán do Snowflake xử lý (ví dụ, qua Stripe) và có thể trừ vào dung lượng đã ký hợp đồng cho các bên tiêu dùng đủ điều kiện. Ví dụ, một công ty tài chính có thể bán gói chứa dữ liệu cổ phiếu theo thời gian thực và giá lịch sử. Snowflake sẽ lập hóa đơn cho người dùng dựa trên mô hình định giá của nhà cung cấp và mức sử dụng thực tế.
Tài khoản Reader (Reader accounts)
Tài khoản reader của Snowflake cho phép bạn chia sẻ dữ liệu với bên thứ ba không có tài khoản Snowflake.
Thay vì yêu cầu bên tiêu dùng tự thiết lập và trả phí Snowflake, nhà cung cấp tạo và quản lý tài khoản reader thay cho họ.
Sau đó nhà cung cấp dùng share để chia sẻ cơ sở dữ liệu với tài khoản reader và cung cấp các tài khoản này cho bên tiêu dùng. Cần lưu ý tài khoản reader chỉ có thể tiêu thụ dữ liệu từ tài khoản nhà cung cấp đã tạo ra nó.
Tài khoản reader chủ yếu dùng để truy vấn các tập dữ liệu chia sẻ. Mọi tài nguyên tính toán sử dụng trong tài khoản reader thông qua kho dữ liệu ảo sẽ được tính phí vào tài khoản của nhà cung cấp. Để giới hạn mức sử dụng, bạn có thể thiết lập bộ giám sát tài nguyên cho kho dữ liệu.
Tổng quan về Nhà cung cấp và Bên tiêu dùng dữ liệu
Giờ bạn đã quen với các loại chia sẻ dữ liệu trong Snowflake, hãy tìm hiểu về nhà cung cấp và bên tiêu dùng dữ liệu. Mỗi vai trò chịu trách nhiệm gì và bạn cần lưu ý hạn chế nào khi chia sẻ hoặc truy cập dữ liệu?
Về nhà cung cấp (providers)
Trong Snowflake, nhà cung cấp dữ liệu sở hữu dữ liệu họ muốn chia sẻ. Họ có toàn quyền kiểm soát dữ liệu được chia sẻ và quyết định chia sẻ dữ liệu nào, cho ai. Họ thường chịu trách nhiệm:
- Xác định nội dung cần chia sẻ và đối tượng nhận
- Cấp hoặc thu hồi quyền truy cập
- Đảm bảo dữ liệu chia sẻ sạch, đáng tin cậy và cập nhật
- Kiểm toán truy cập và theo dõi sử dụng qua nhật ký để tuân thủ
Để đảm bảo chia sẻ dữ liệu an toàn và đáng tin cậy, nhà cung cấp nên tuân theo các thực tiễn tốt nhất sau:
- Dùng secure view để chỉ lộ những cột hoặc hàng cần thiết, che giấu dữ liệu nhạy cảm hoặc thô
- Áp dụng danh mục siêu dữ liệu để tài sản chia sẻ dễ tìm kiếm và hiểu hơn
- Kết hợp theo dõi nguồn gốc (lineage) và ghi log để giám sát thay đổi với các tập dữ liệu chia sẻ
- Thực thi kiểm soát truy cập dựa trên vai trò để chỉ người dùng được ủy quyền mới truy cập được dữ liệu cụ thể
Về bên tiêu dùng (consumers)
Bên tiêu dùng là phía nhận trong chia sẻ dữ liệu Snowflake. Họ không sở hữu dữ liệu; thay vào đó, họ truy vấn dữ liệu do nhà cung cấp chia sẻ bằng tài nguyên tính toán của riêng mình. Tức là bên tiêu dùng truy cập và phân tích dữ liệu.
Vì không trả tiền cho lưu trữ, trách nhiệm chính của họ là quản lý kho dữ liệu ảo và hiệu quả truy vấn để tối ưu chi phí tính toán.
Nếu họ truy vấn từ tài khoản reader, tài nguyên tính toán họ dùng cũng được tính phí vào nhà cung cấp.
Hạn chế chính của bên tiêu dùng là họ chỉ có thể đọc dữ liệu được chia sẻ. Họ không thể sửa, chèn hoặc xóa bản ghi trong tập dữ liệu. Ngoài ra, bên tiêu dùng không thấy các thay đổi nội bộ do nhà cung cấp thực hiện. Họ luôn thấy phiên bản dữ liệu mới nhất sẵn có.
Triển khai chia sẻ dữ liệu trong Snowflake
Chúng ta đã điểm qua các khái niệm chính để bạn bắt đầu chia sẻ dữ liệu trong Snowflake. Dù bạn đang thiết lập hồ sơ nhà cung cấp, cấu hình tài khoản tiêu dùng hay quản lý tài khoản reader, phần này đều đề cập đến.
Thiết lập với vai trò nhà cung cấp dữ liệu
Để công bố dữ liệu lên Snowflake Marketplace hoặc Data Exchange riêng, trước tiên bạn phải thiết lập hồ sơ nhà cung cấp. Sau khi bạn gửi yêu cầu hồ sơ nhà cung cấp, Snowflake sẽ xem xét và phê duyệt thông tin công ty của bạn. Sau khi được phê duyệt, bạn có thể bắt đầu tạo và công bố các danh sách.
Cách thiết lập hồ sơ nhà cung cấp:
- Bước 1: Đăng nhập vào tài khoản Snowflake của bạn.
- Bước 2: Đảm bảo bạn đang ở vai trò ACCOUTADMIN.
- Bước 3: Ở thanh bên trái, nhấp Data Products, rồi chọn Provider Studio.
- Bước 4: Chọn thẻ Profiles, rồi nhấp nút Create Profile như hình dưới.
- Bước 5: Trong biểu mẫu hiện ra, điền thông tin tổ chức và liên hệ bắt buộc để hoàn tất thiết lập hồ sơ nhà cung cấp.
Thiết lập với vai trò bên tiêu dùng dữ liệu
- Bước 1: Đăng nhập vào tài khoản Snowflake của bạn.
- Bước 2: Ở thanh bên trái, nhấp Data Products, rồi chọn Private Sharing.
- Bước 3: Điều hướng tới thẻ Shared with You để xem các share dữ liệu đã gửi cho bạn.
Chia sẻ với tài khoản reader
Bước 1: Đăng nhập vào tài khoản Snowflake của bạn.
Bước 2: Ở menu bên trái, chọn Admin và Accounts.
Bước 3: Chọn thẻ Accounts, rồi vào thẻ phụ Reader Accounts.
Bước 4: Để thêm tài khoản reader mới, nhấp nút +Reader Account ở góc trên bên phải, rồi điền thông tin bắt buộc trong biểu mẫu bật lên.
Kiến trúc bảo mật
Các share dữ liệu trong Snowflake vốn dĩ an toàn vì bên tiêu dùng chỉ có quyền đọc và không thể sửa, chèn, hoặc xóa bất kỳ dữ liệu được chia sẻ nào. Để tăng cường bảo mật vượt lên trên kiểm soát truy cập mặc định này, Snowflake còn tuân theo các biện pháp sau:
Đối tượng dữ liệu an toàn
Bạn có thể chia sẻ bảng, secure view và UDF an toàn; các view không an toàn không thể chia sẻ. Secure view ngăn bên tiêu dùng truy cập các bảng gốc hoặc thấy logic SQL dùng để định nghĩa view. Điều này đảm bảo logic kinh doanh nhạy cảm, phép tính độc quyền hoặc hàm tự định nghĩa vẫn ẩn với người dùng cuối.
Secure view cũng hỗ trợ chính sách truy cập theo hàng và che mặt nạ theo cột, giúp thực thi kiểm soát truy cập dữ liệu chi tiết. Bạn có thể kết hợp các chính sách này với kiểm soát truy cập dựa trên vai trò để đảm bảo mỗi bên tiêu dùng chỉ thấy dữ liệu họ được phép xem.
Snowflake cũng cho phép bạn triển khai các schema riêng cho chia sẻ nội bộ và bên ngoài. Ví dụ, bạn có thể lưu trữ tập dữ liệu thô, nhạy cảm trong một schema và chỉ công bố các view đã che mặt nạ hoặc tổng hợp ở schema khác, hạn chế quyền truy cập của bên tiêu dùng vào dữ liệu nhạy cảm.
Bảo mật liên khu vực
Trong chia sẻ trực tiếp, Snowflake chia sẻ siêu dữ liệu và con trỏ tới đối tượng gốc trong cùng khu vực và nền tảng đám mây. Nhưng nếu tài khoản tiêu dùng ở khu vực hoặc nền tảng đám mây khác, chia sẻ trực tiếp sẽ không hoạt động. Khi đó cần dùng sao chép (replication).
Nhà cung cấp trước tiên sao chép dữ liệu tới khu vực có tài khoản tiêu dùng. Sau đó họ tạo đối tượng share trỏ đến dữ liệu đã sao chép và cấp quyền cho bên tiêu dùng. Bên tiêu dùng sẽ truy vấn dữ liệu sao chép với quyền chỉ đọc, tương tự chia sẻ trực tiếp.
Snowflake bảo mật toàn bộ dữ liệu sao chép bằng cách mã hóa khi lưu trữ và khi truyền.
Hơn nữa, việc sao chép dữ liệu tuân theo các đường dẫn dữ liệu nội bộ do Snowflake kiểm soát, không qua internet công cộng. Tương tự chia sẻ trực tiếp, bên tiêu dùng không bao giờ sở hữu cơ sở dữ liệu đã sao chép; luôn là quyền truy cập chỉ đọc.
Thực tiễn tốt nhất cho chia sẻ dữ liệu Snowflake
Các thực tiễn tốt nhất này bảo vệ dữ liệu nhạy cảm, tối ưu hóa sử dụng tài nguyên và đảm bảo tuân thủ quy định về quyền riêng tư, cho phép cộng tác có thể mở rộng trên nhiều môi trường.
Khung quản trị (governance)
Một khung quản trị vững chắc đảm bảo share dữ liệu đến đúng người dùng với quyền truy cập phù hợp. Nó ngăn lạm dụng và giữ cho mọi quyền truy cập và hành động đều có thể theo dõi.
Bắt đầu bằng phân loại dữ liệu. Gắn nhãn rõ ràng dữ liệu của bạn là nhạy cảm, hạn chế hay công khai, và áp dụng kiểm soát bảo mật theo từng loại để giảm rủi ro và ngăn rò rỉ ngoài ý muốn.
Kết hợp rà soát quyền truy cập và kiểm toán sử dụng định kỳ. Việc một người dùng cần quyền cách đây sáu tháng không có nghĩa là họ vẫn cần hôm nay. Vì vậy, hãy xem xét và cập nhật quyền theo định kỳ để phù hợp với vai trò và trách nhiệm hiện tại.
Dùng nhật ký truy cập của Snowflake để giám sát việc sử dụng dữ liệu chia sẻ. Nhật ký này theo dõi ai đã truy vấn dữ liệu, tần suất và hành động họ thực hiện, hỗ trợ cả tuân thủ lẫn tinh chỉnh hiệu năng.
Để áp dụng kiểm soát truy cập chi tiết, tận dụng bảo mật theo hàng và theo cột. Mặt nạ theo cột ẩn các trường nhạy cảm trong khi vẫn hiển thị phần còn lại của tập dữ liệu. Chính sách theo hàng cho phép bạn giới hạn truy cập vào các bản ghi cụ thể dựa trên vai trò hoặc thuộc tính người dùng.
Tối ưu hiệu năng
Bên cạnh bảo vệ dữ liệu chia sẻ, nhà cung cấp còn chịu trách nhiệm tối ưu hiệu năng tập dữ liệu để đảm bảo truy cập và truy vấn hiệu quả cho bên tiêu dùng.
Sử dụng khóa phân cụm (clustering keys) trong Snowflake để cải thiện hiệu năng truy vấn và hiệu quả lưu trữ. Điều này tương tự phân vùng bảng. Ví dụ, nếu tập dữ liệu bán hàng của bạn thường được truy vấn theo “price” và “region”, bạn có thể đặt chúng làm khóa phân cụm. Snowflake sẽ tổ chức dữ liệu cơ sở theo cách các hàng có giá trị tương tự cho “price” và “region” được lưu gần nhau. Điều này giúp truy cập nhanh hơn và truy vấn hiệu quả hơn.
Với các chỉ số kinh doanh dùng thường xuyên, hãy chia sẻ materialized view cùng với tập dữ liệu gốc. Tức là tiền tính các chỉ số như doanh thu theo tháng theo khu vực, doanh số trung bình theo tuần, hoặc số lượt khuyến mãi, và chia sẻ cùng dữ liệu nền. Bên tiêu dùng có thể truy vấn trực tiếp các view này, giúp cải thiện cả hiệu năng và tính nhất quán trên các trường hợp sử dụng.
Xác thực và cập nhật share dữ liệu
Chia sẻ dữ liệu chính xác là chìa khóa để sử dụng Snowflake hiệu quả. Để đảm bảo chất lượng dữ liệu, hãy đối soát dữ liệu chia sẻ với nguồn. So khớp số lượng hàng, chạy các kiểm tra tổng hợp/thống kê tóm tắt, và thực hiện kiểm tra toàn vẹn schema, giá trị null, cùng xác thực siêu dữ liệu. Những xác thực này đảm bảo bạn chia sẻ dữ liệu đầy đủ và chính xác.
Việc thêm nguồn dữ liệu mới hoặc thay đổi schema có thể khó quản lý, đặc biệt khi qua nhiều share dữ liệu. Để đơn giản hóa di trú, hãy chia sẻ view thay vì bảng thô. View đóng vai trò lớp linh hoạt, cho phép bạn thay đổi cấu trúc dữ liệu nền hoặc bảng backend mà không làm gián đoạn truy vấn của bên tiêu dùng.
Khi bạn cập nhật các tập dữ liệu chia sẻ, hãy dùng phiên bản hóa. View có phiên bản hoặc phiên bản schema cho phép bạn theo dõi thay đổi, thử nghiệm logic mới và quay lui nếu có sự cố.
Hãy thông báo cho bên tiêu dùng về các thay đổi sắp tới có thể ảnh hưởng đến dữ liệu được chia sẻ. Một thông báo sớm giúp người dùng có thời gian thích ứng và chuẩn bị chuyển đổi.
Hạn chế và Lưu ý
Chia sẻ dữ liệu Snowflake có một vài hạn chế tích hợp sẵn. Đây không phải là trở ngại lớn, nhưng quan trọng để bạn chủ động lên kế hoạch.
Không phải mọi loại đối tượng đều có thể chia sẻ. Bạn có thể chia sẻ bảng, secure view và UDF an toàn. Bạn không thể chia sẻ view không an toàn, stored procedure, file stage, cũng như task hoặc stream.
Trong khi Snowflake Marketplace và sàn trao đổi dữ liệu có thể chia sẻ dữ liệu liên khu vực, chia sẻ trực tiếp chỉ giới hạn trong cùng khu vực và môi trường đám mây. Để vượt qua giới hạn này, bạn cần tính năng sao chép liên khu vực/đa đám mây của Snowflake (yêu cầu phiên bản Enterprise trở lên).
Bên tiêu dùng chỉ có quyền đọc đối với dữ liệu chia sẻ. Họ không thể sửa, chèn, hoặc xóa bản ghi. Nếu cần biến đổi hoặc ghi vào dữ liệu, họ sẽ phải sao chép sang môi trường của mình, điều này làm phát sinh thêm chi phí lưu trữ và tính toán.
Kết luận
Khai thác hiệu quả share dữ liệu trong Snowflake mở khóa toàn bộ tiềm năng cộng tác an toàn, tiết kiệm chi phí. Nhà cung cấp có thể chia sẻ dữ liệu trực tiếp, có thể truy vấn với bên tiêu dùng mà không cần ETL hay nhân bản dữ liệu. Mọi cập nhật lên dữ liệu nguồn sẽ được phản ánh ngay lập tức ở tài khoản tiêu dùng, đảm bảo truy cập thông tin mới nhất.
Bằng cách áp dụng mô hình chia sẻ dữ liệu của Snowflake, các tổ chức có thể mở rộng cộng tác phân tích, tăng cường quản trị và tối đa hóa giá trị tài sản dữ liệu. Tuy nhiên, điều này chỉ hữu ích khi bên tiêu dùng không cần chỉnh sửa dữ liệu được chia sẻ.
Nếu bạn mới làm quen với Snowflake, hãy bắt đầu với hướng dẫn thân thiện cho người mới về cách học Snowflake. Để đào sâu chuyên môn, xem lộ trình kỹ năng Snowflake Foundations và khóa học về mô hình hóa dữ liệu trong Snowflake.
%22%3E%3Cpath%20d%3D%22m-369%200h408v79h-408z%22%20fill%3D%22%237933ff%22%2F%3E%3Cpath%20d%3D%22m-148%200h306v45h-306z%22%20fill%3D%22%23974dff%22%2F%3E%3C%2Fg%3E%3C%2Fsvg%3E)
%22%2F%3E%3C%2FclipPath%3E%3Cg%20clip-path%3D%22url(%23a)%22%3E%3Cpath%20d%3D%22m76%200h484v36h-484z%22%20fill%3D%22%23974dff%22%2F%3E%3Cpath%20d%3D%22m0%200h384v24h-384z%22%20fill%3D%22%2306bdfc%22%20transform%3D%22matrix(1%200%200%20-1%200%2060)%22%2F%3E%3C%2Fg%3E%3C%2Fsvg%3E)
%22%3E%0A%20%20%20%20%20%20%20%20%3Crect%20fill%3D%22%23EFEBE4%22%20height%3D%22180%22%20width%3D%22336%22%20%2F%3E%0A%20%20%20%20%20%20%20%20%3Crect%0A%20%20%20%20%20%20%20%20%20%20fill%3D%22%23DD3400%22%0A%20%20%20%20%20%20%20%20%20%20height%3D%22106.6%22%0A%20%20%20%20%20%20%20%20%20%20transform%3D%22rotate(-30%20-208.588%20220.18)%22%0A%20%20%20%20%20%20%20%20%20%20width%3D%22456.125%22%0A%20%20%20%20%20%20%20%20%20%20x%3D%22-208.588%22%0A%20%20%20%20%20%20%20%20%20%20y%3D%22220.18%22%0A%20%20%20%20%20%20%20%20%2F%3E%0A%20%20%20%20%20%20%20%20%3Crect%0A%20%20%20%20%20%20%20%20%20%20fill%3D%22%23FFEC3C%22%0A%20%20%20%20%20%20%20%20%20%20height%3D%2235.875%22%0A%20%20%20%20%20%20%20%20%20%20transform%3D%22rotate(-30%20-208.588%20220.18)%22%0A%20%20%20%20%20%20%20%20%20%20width%3D%22347.576%22%0A%20%20%20%20%20%20%20%20%20%20x%3D%22-208.588%22%0A%20%20%20%20%20%20%20%20%20%20y%3D%22220.18%22%0A%20%20%20%20%20%20%20%20%2F%3E%0A%20%20%20%20%20%20%20%20%3Crect%0A%20%20%20%20%20%20%20%20%20%20fill%3D%22%23FF931E%22%0A%20%20%20%20%20%20%20%20%20%20height%3D%2235.875%22%0A%20%20%20%20%20%20%20%20%20%20transform%3D%22rotate(-30%20-226.525%20189.111)%22%0A%20%20%20%20%20%20%20%20%20%20width%3D%22347.576%22%0A%20%20%20%20%20%20%20%20%20%20x%3D%22-226.525%22%0A%20%20%20%20%20%20%20%20%20%20y%3D%22189.111%22%0A%20%20%20%20%20%20%20%20%2F%3E%0A%20%20%20%20%20%20%20%20%3Crect%0A%20%20%20%20%20%20%20%20%20%20fill%3D%22%23DD3400%22%0A%20%20%20%20%20%20%20%20%20%20height%3D%22106.6%22%0A%20%20%20%20%20%20%20%20%20%20transform%3D%22rotate(-30%2085.5879%20256.055)%22%0A%20%20%20%20%20%20%20%20%20%20width%3D%22456.125%22%0A%20%20%20%20%20%20%20%20%20%20x%3D%2285.5879%22%0A%20%20%20%20%20%20%20%20%20%20y%3D%22256.055%22%0A%20%20%20%20%20%20%20%20%2F%3E%0A%20%20%20%20%20%20%20%20%3Crect%0A%20%20%20%20%20%20%20%20%20%20fill%3D%22%23FFEC3C%22%0A%20%20%20%20%20%20%20%20%20%20height%3D%2235.875%22%0A%20%20%20%20%20%20%20%20%20%20transform%3D%22rotate(-30%2085.5879%20256.055)%22%0A%20%20%20%20%20%20%20%20%20%20width%3D%22184.5%22%0A%20%20%20%20%20%20%20%20%20%20x%3D%2285.5879%22%0A%20%20%20%20%20%20%20%20%20%20y%3D%22256.055%22%0A%20%20%20%20%20%20%20%20%2F%3E%0A%20%20%20%20%20%20%20%20%3Crect%0A%20%20%20%20%20%20%20%20%20%20fill%3D%22%23FF931E%22%0A%20%20%20%20%20%20%20%20%20%20height%3D%2235.875%22%0A%20%20%20%20%20%20%20%20%20%20transform%3D%22rotate(-30%20227.432%20132.736)%22%0A%20%20%20%20%20%20%20%20%20%20width%3D%22271.625%22%0A%20%20%20%20%20%20%20%20%20%20x%3D%22227.432%22%0A%20%20%20%20%20%20%20%20%20%20y%3D%22132.736%22%0A%20%20%20%20%20%20%20%20%2F%3E%0A%20%20%20%20%20%20%3C%2Fg%3E%0A%20%20%20%20%20%20%3Cdefs%3E%0A%20%20%20%20%20%20%20%20%3CclipPath%20id%3D%22clip%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Crect%20fill%3D%22white%22%20height%3D%22180%22%20width%3D%22336%22%20%2F%3E%0A%20%20%20%20%20%20%20%20%3C%2FclipPath%3E%0A%20%20%20%20%20%20%3C%2Fdefs%3E%0A%20%20%20%20%3C%2Fsvg%3E)
Snowflake cung cấp một kiến trúc chuyên biệt để chia sẻ dữ liệu an toàn và hiệu quả trên nhiều môi trường. Dù bạn đang cộng tác trong nội bộ tổ chức hay với đối tác bên ngoài, Snowflake mang đến nhiều lựa chọn được xây dựng theo mục đích, như chia sẻ trực tiếp, sàn trao đổi dữ liệu và Snowflake Marketplace.
Trong bối cảnh doanh nghiệp, các tính năng này giúp cộng tác liền mạch đồng thời kiểm soát chi phí và đảm bảo bảo mật mạnh mẽ. Bài viết này giúp bạn hiểu từng phương thức chia sẻ và cung cấp hướng dẫn thực tiễn để sử dụng hiệu quả trong các tình huống thực tế. Nếu bạn mới làm quen với Snowflake, tôi khuyến nghị bạn xem lộ trình kỹ năng Snowflake Foundations của chúng tôi.
Snowflake Data Sharing là gì?
Truyền thống, việc chia sẻ dữ liệu phụ thuộc vào quy trình ETL (Trích xuất, Biến đổi, Nạp), bao gồm trích xuất dữ liệu từ hệ thống nguồn và nạp vào hệ thống đích. Cách này đòi hỏi sao chép và di chuyển dữ liệu vật lý, tiêu tốn cả tài nguyên lưu trữ lẫn tính toán.
Snowflake loại bỏ nhu cầu sao chép hoặc di chuyển dữ liệu vật lý. Với kiến trúc chia sẻ dữ liệu của Snowflake, một tài khoản (nhà cung cấp) có thể cấp quyền truy cập trực tiếp, chỉ đọc đối với các tập dữ liệu cụ thể cho một tài khoản khác (bên tiêu dùng) mà không cần chuyển giao hay nhân bản dữ liệu.
Bên tiêu dùng có thể truy vấn dữ liệu như thể dữ liệu tồn tại cục bộ, dù thực tế dữ liệu được lưu trong tài khoản của nhà cung cấp. Vì dữ liệu nằm ở một vị trí, nhà cung cấp chỉ chịu chi phí lưu trữ, giúp cách tiếp cận này hiệu quả và có khả năng mở rộng đáng kể cho cộng tác giữa các tài khoản.
Snowflake Data Sharing hoạt động như thế nào?
Snowflake cho phép chia sẻ dữ liệu an toàn, không sao chép bằng cách dùng các con trỏ siêu dữ liệu thay vì sao chép hay di chuyển dữ liệu giữa các hệ thống. Hệ thống tạo tham chiếu tới đối tượng gốc trong tài khoản nhà cung cấp, cho phép bên tiêu dùng truy cập tham chiếu này để truy vấn dữ liệu được chia sẻ.
Bên tiêu dùng được cấp quyền chỉ đọc, nghĩa là họ có thể đọc và khám phá dữ liệu nhưng không thể sửa đổi dữ liệu nguồn. Vì bên tiêu dùng truy vấn trực tiếp kho lưu trữ của nhà cung cấp mà không nhân bản, tài khoản tiêu dùng không chịu chi phí lưu trữ.
Hơn nữa, kiến trúc của Snowflake tách biệt tính toán và lưu trữ, tạo điều kiện cho vận hành dữ liệu tiết kiệm chi phí. Nhà cung cấp chịu chi phí lưu trữ và mọi tài nguyên tính toán họ sử dụng, trong khi bên tiêu dùng chỉ trả cho tài nguyên tính toán họ dùng.
Chia sẻ dữ liệu của Snowflake cũng có khả năng mở rộng. Mỗi tài khoản Snowflake có quyền truy cập dữ liệu chia sẻ có thể tạo kho dữ liệu ảo riêng và chạy truy vấn độc lập, tiếp tục hỗ trợ việc chia sẻ dữ liệu ở quy mô lớn.
Ngoài ra, Snowflake tích hợp các biện pháp quản trị và bảo mật để quản lý quyền truy cập được chia sẻ. Nhà cung cấp có thể xác định khả năng hiển thị dữ liệu thông qua kiểm soát truy cập dựa trên vai trò và theo dõi sử dụng bằng nhật ký kiểm toán. Những tính năng này đảm bảo khả năng quan sát và kiểm soát đầy đủ đối với dữ liệu được chia sẻ.
Các cách chia sẻ dữ liệu trong Snowflake
Chia sẻ dữ liệu trong Snowflake có nhiều hình thức, mỗi hình thức được thiết kế cho các tình huống sử dụng cụ thể. Hãy cùng khám phá các khả năng chia sẻ khác nhau để bạn biết khi nào nên dùng loại nào.
Chia sẻ trực tiếp (Direct shares)
Dùng chia sẻ trực tiếp để chia sẻ dữ liệu với nhiều người dùng trong cùng khu vực Snowflake. Bạn tạo một đối tượng share bao gồm các cơ sở dữ liệu, bảng và view được chọn, rồi cấp quyền truy cập cho các tài khoản Snowflake tiêu dùng cụ thể. Bạn phải liệt kê rõ từng tài khoản có thể truy cập dữ liệu.
Bên tiêu dùng tạo một cơ sở dữ liệu từ share và có thể truy vấn trực tiếp. Cơ sở dữ liệu này không tiêu tốn lưu trữ dữ liệu; nó đóng vai trò như một tham chiếu logic tới dữ liệu được chia sẻ.
Chia sẻ trực tiếp chỉ hoạt động khi bạn chia sẻ dữ liệu trong cùng nhà cung cấp đám mây và khu vực. Chúng lý tưởng để chia sẻ dữ liệu với các nhóm nội bộ, đối tác kinh doanh tin cậy, hoặc một số ít tài khoản Snowflake. Thiết lập này phù hợp nhất với mối quan hệ một-với-vài.
Sàn trao đổi dữ liệu (Data exchanges)
Khi bạn cần chia sẻ dữ liệu với nhiều tài khoản hoặc nhóm tiêu dùng, chia sẻ trực tiếp có thể kém hiệu quả vì bạn phải chỉ định từng tài khoản Snowflake một. Khi đó, sàn trao đổi dữ liệu là lựa chọn tốt hơn.
Với sàn trao đổi dữ liệu, bạn công bố các tập dữ liệu như những sản phẩm dữ liệu trong một marketplace riêng tư và mời các nhóm tiêu dùng truy cập. Thiết lập này hoạt động như một danh mục có thể tìm kiếm, nơi bên tiêu dùng có thể duyệt và đăng ký dữ liệu họ cần. Vì sàn trao đổi là riêng tư, chỉ các tài khoản hoặc nhóm nội bộ được mời mới có thể truy cập.
Chia sẻ dữ liệu liên khu vực hoặc đa đám mây khả thi nhờ tính năng sao chép dữ liệu của Snowflake, khiến sàn trao đổi dữ liệu trở nên lý tưởng để chia sẻ giữa các đơn vị kinh doanh hoặc chuỗi nhượng quyền trong các tổ chức lớn.
Ví dụ, nếu bạn muốn chia sẻ dữ liệu bán hàng khách hàng với các nhóm khác nhau trong công ty, bạn có thể tạo một Snowflake Data Exchange riêng tên “customer_behaviour_data” và công bố nhiều danh sách cho cùng tập dữ liệu, mỗi danh sách có quyền truy cập khác nhau. Mỗi nhóm có thể đăng ký danh sách phù hợp nhu cầu dữ liệu của mình, giúp cộng tác trôi chảy và an toàn hơn giữa các nhóm có cấp độ truy cập khác nhau.
Snowflake Marketplace
Snowflake Marketplace hoạt động tương tự App Store của Apple, nhưng dành cho dữ liệu. Đây là marketplace công khai nơi nhà cung cấp chia sẻ sản phẩm dữ liệu với bất kỳ người dùng Snowflake nào. Nhà cung cấp tạo danh sách, thêm siêu dữ liệu, cung cấp bản xem trước và đặt điều khoản sử dụng để bên tiêu dùng dễ dàng tìm thấy thứ họ cần.
Khi công bố, nhà cung cấp có thể chọn giữa danh sách công khai (hiển thị cho mọi khách hàng Snowflake) hoặc danh sách riêng tư (chỉ hiển thị cho các tài khoản được chọn).
Bên tiêu dùng có thể tìm kiếm trên Marketplace bằng các từ khóa liên quan. Với danh sách công khai, họ có thể đăng ký trực tiếp; với danh sách riêng tư, họ phải yêu cầu quyền truy cập. Sau khi được chấp thuận, họ có thể xem và truy vấn các tập dữ liệu trực tiếp trong tài khoản Snowflake của mình.
Snowflake Marketplace hỗ trợ danh sách tính phí với giá dựa trên mức sử dụng và thuê bao. Việc thanh toán do Snowflake xử lý (ví dụ, qua Stripe) và có thể trừ vào dung lượng đã ký hợp đồng cho các bên tiêu dùng đủ điều kiện. Ví dụ, một công ty tài chính có thể bán gói chứa dữ liệu cổ phiếu theo thời gian thực và giá lịch sử. Snowflake sẽ lập hóa đơn cho người dùng dựa trên mô hình định giá của nhà cung cấp và mức sử dụng thực tế.
Tài khoản Reader (Reader accounts)
Tài khoản reader của Snowflake cho phép bạn chia sẻ dữ liệu với bên thứ ba không có tài khoản Snowflake.
Thay vì yêu cầu bên tiêu dùng tự thiết lập và trả phí Snowflake, nhà cung cấp tạo và quản lý tài khoản reader thay cho họ.
Sau đó nhà cung cấp dùng share để chia sẻ cơ sở dữ liệu với tài khoản reader và cung cấp các tài khoản này cho bên tiêu dùng. Cần lưu ý tài khoản reader chỉ có thể tiêu thụ dữ liệu từ tài khoản nhà cung cấp đã tạo ra nó.
Tài khoản reader chủ yếu dùng để truy vấn các tập dữ liệu chia sẻ. Mọi tài nguyên tính toán sử dụng trong tài khoản reader thông qua kho dữ liệu ảo sẽ được tính phí vào tài khoản của nhà cung cấp. Để giới hạn mức sử dụng, bạn có thể thiết lập bộ giám sát tài nguyên cho kho dữ liệu.
Tổng quan về Nhà cung cấp và Bên tiêu dùng dữ liệu
Giờ bạn đã quen với các loại chia sẻ dữ liệu trong Snowflake, hãy tìm hiểu về nhà cung cấp và bên tiêu dùng dữ liệu. Mỗi vai trò chịu trách nhiệm gì và bạn cần lưu ý hạn chế nào khi chia sẻ hoặc truy cập dữ liệu?
Về nhà cung cấp (providers)
Trong Snowflake, nhà cung cấp dữ liệu sở hữu dữ liệu họ muốn chia sẻ. Họ có toàn quyền kiểm soát dữ liệu được chia sẻ và quyết định chia sẻ dữ liệu nào, cho ai. Họ thường chịu trách nhiệm:
Để đảm bảo chia sẻ dữ liệu an toàn và đáng tin cậy, nhà cung cấp nên tuân theo các thực tiễn tốt nhất sau:
Về bên tiêu dùng (consumers)
Bên tiêu dùng là phía nhận trong chia sẻ dữ liệu Snowflake. Họ không sở hữu dữ liệu; thay vào đó, họ truy vấn dữ liệu do nhà cung cấp chia sẻ bằng tài nguyên tính toán của riêng mình. Tức là bên tiêu dùng truy cập và phân tích dữ liệu.
Vì không trả tiền cho lưu trữ, trách nhiệm chính của họ là quản lý kho dữ liệu ảo và hiệu quả truy vấn để tối ưu chi phí tính toán.
Nếu họ truy vấn từ tài khoản reader, tài nguyên tính toán họ dùng cũng được tính phí vào nhà cung cấp.
Hạn chế chính của bên tiêu dùng là họ chỉ có thể đọc dữ liệu được chia sẻ. Họ không thể sửa, chèn hoặc xóa bản ghi trong tập dữ liệu. Ngoài ra, bên tiêu dùng không thấy các thay đổi nội bộ do nhà cung cấp thực hiện. Họ luôn thấy phiên bản dữ liệu mới nhất sẵn có.
Triển khai chia sẻ dữ liệu trong Snowflake
Chúng ta đã điểm qua các khái niệm chính để bạn bắt đầu chia sẻ dữ liệu trong Snowflake. Dù bạn đang thiết lập hồ sơ nhà cung cấp, cấu hình tài khoản tiêu dùng hay quản lý tài khoản reader, phần này đều đề cập đến.
Thiết lập với vai trò nhà cung cấp dữ liệu
Để công bố dữ liệu lên Snowflake Marketplace hoặc Data Exchange riêng, trước tiên bạn phải thiết lập hồ sơ nhà cung cấp. Sau khi bạn gửi yêu cầu hồ sơ nhà cung cấp, Snowflake sẽ xem xét và phê duyệt thông tin công ty của bạn. Sau khi được phê duyệt, bạn có thể bắt đầu tạo và công bố các danh sách.
Cách thiết lập hồ sơ nhà cung cấp:
Thiết lập với vai trò bên tiêu dùng dữ liệu
Chia sẻ với tài khoản reader
Bước 1: Đăng nhập vào tài khoản Snowflake của bạn.
Bước 2: Ở menu bên trái, chọn Admin và Accounts.
Bước 3: Chọn thẻ Accounts, rồi vào thẻ phụ Reader Accounts.
Bước 4: Để thêm tài khoản reader mới, nhấp nút +Reader Account ở góc trên bên phải, rồi điền thông tin bắt buộc trong biểu mẫu bật lên.
Kiến trúc bảo mật
Các share dữ liệu trong Snowflake vốn dĩ an toàn vì bên tiêu dùng chỉ có quyền đọc và không thể sửa, chèn, hoặc xóa bất kỳ dữ liệu được chia sẻ nào. Để tăng cường bảo mật vượt lên trên kiểm soát truy cập mặc định này, Snowflake còn tuân theo các biện pháp sau:
Đối tượng dữ liệu an toàn
Bạn có thể chia sẻ bảng, secure view và UDF an toàn; các view không an toàn không thể chia sẻ. Secure view ngăn bên tiêu dùng truy cập các bảng gốc hoặc thấy logic SQL dùng để định nghĩa view. Điều này đảm bảo logic kinh doanh nhạy cảm, phép tính độc quyền hoặc hàm tự định nghĩa vẫn ẩn với người dùng cuối.
Secure view cũng hỗ trợ chính sách truy cập theo hàng và che mặt nạ theo cột, giúp thực thi kiểm soát truy cập dữ liệu chi tiết. Bạn có thể kết hợp các chính sách này với kiểm soát truy cập dựa trên vai trò để đảm bảo mỗi bên tiêu dùng chỉ thấy dữ liệu họ được phép xem.
Snowflake cũng cho phép bạn triển khai các schema riêng cho chia sẻ nội bộ và bên ngoài. Ví dụ, bạn có thể lưu trữ tập dữ liệu thô, nhạy cảm trong một schema và chỉ công bố các view đã che mặt nạ hoặc tổng hợp ở schema khác, hạn chế quyền truy cập của bên tiêu dùng vào dữ liệu nhạy cảm.
Bảo mật liên khu vực
Trong chia sẻ trực tiếp, Snowflake chia sẻ siêu dữ liệu và con trỏ tới đối tượng gốc trong cùng khu vực và nền tảng đám mây. Nhưng nếu tài khoản tiêu dùng ở khu vực hoặc nền tảng đám mây khác, chia sẻ trực tiếp sẽ không hoạt động. Khi đó cần dùng sao chép (replication).
Nhà cung cấp trước tiên sao chép dữ liệu tới khu vực có tài khoản tiêu dùng. Sau đó họ tạo đối tượng share trỏ đến dữ liệu đã sao chép và cấp quyền cho bên tiêu dùng. Bên tiêu dùng sẽ truy vấn dữ liệu sao chép với quyền chỉ đọc, tương tự chia sẻ trực tiếp.
Snowflake bảo mật toàn bộ dữ liệu sao chép bằng cách mã hóa khi lưu trữ và khi truyền.
Hơn nữa, việc sao chép dữ liệu tuân theo các đường dẫn dữ liệu nội bộ do Snowflake kiểm soát, không qua internet công cộng. Tương tự chia sẻ trực tiếp, bên tiêu dùng không bao giờ sở hữu cơ sở dữ liệu đã sao chép; luôn là quyền truy cập chỉ đọc.
Thực tiễn tốt nhất cho chia sẻ dữ liệu Snowflake
Các thực tiễn tốt nhất này bảo vệ dữ liệu nhạy cảm, tối ưu hóa sử dụng tài nguyên và đảm bảo tuân thủ quy định về quyền riêng tư, cho phép cộng tác có thể mở rộng trên nhiều môi trường.
Khung quản trị (governance)
Một khung quản trị vững chắc đảm bảo share dữ liệu đến đúng người dùng với quyền truy cập phù hợp. Nó ngăn lạm dụng và giữ cho mọi quyền truy cập và hành động đều có thể theo dõi.
Bắt đầu bằng phân loại dữ liệu. Gắn nhãn rõ ràng dữ liệu của bạn là nhạy cảm, hạn chế hay công khai, và áp dụng kiểm soát bảo mật theo từng loại để giảm rủi ro và ngăn rò rỉ ngoài ý muốn.
Kết hợp rà soát quyền truy cập và kiểm toán sử dụng định kỳ. Việc một người dùng cần quyền cách đây sáu tháng không có nghĩa là họ vẫn cần hôm nay. Vì vậy, hãy xem xét và cập nhật quyền theo định kỳ để phù hợp với vai trò và trách nhiệm hiện tại.
Dùng nhật ký truy cập của Snowflake để giám sát việc sử dụng dữ liệu chia sẻ. Nhật ký này theo dõi ai đã truy vấn dữ liệu, tần suất và hành động họ thực hiện, hỗ trợ cả tuân thủ lẫn tinh chỉnh hiệu năng.
Để áp dụng kiểm soát truy cập chi tiết, tận dụng bảo mật theo hàng và theo cột. Mặt nạ theo cột ẩn các trường nhạy cảm trong khi vẫn hiển thị phần còn lại của tập dữ liệu. Chính sách theo hàng cho phép bạn giới hạn truy cập vào các bản ghi cụ thể dựa trên vai trò hoặc thuộc tính người dùng.
Tối ưu hiệu năng
Bên cạnh bảo vệ dữ liệu chia sẻ, nhà cung cấp còn chịu trách nhiệm tối ưu hiệu năng tập dữ liệu để đảm bảo truy cập và truy vấn hiệu quả cho bên tiêu dùng.
Sử dụng khóa phân cụm (clustering keys) trong Snowflake để cải thiện hiệu năng truy vấn và hiệu quả lưu trữ. Điều này tương tự phân vùng bảng. Ví dụ, nếu tập dữ liệu bán hàng của bạn thường được truy vấn theo “price” và “region”, bạn có thể đặt chúng làm khóa phân cụm. Snowflake sẽ tổ chức dữ liệu cơ sở theo cách các hàng có giá trị tương tự cho “price” và “region” được lưu gần nhau. Điều này giúp truy cập nhanh hơn và truy vấn hiệu quả hơn.
Với các chỉ số kinh doanh dùng thường xuyên, hãy chia sẻ materialized view cùng với tập dữ liệu gốc. Tức là tiền tính các chỉ số như doanh thu theo tháng theo khu vực, doanh số trung bình theo tuần, hoặc số lượt khuyến mãi, và chia sẻ cùng dữ liệu nền. Bên tiêu dùng có thể truy vấn trực tiếp các view này, giúp cải thiện cả hiệu năng và tính nhất quán trên các trường hợp sử dụng.
Xác thực và cập nhật share dữ liệu
Chia sẻ dữ liệu chính xác là chìa khóa để sử dụng Snowflake hiệu quả. Để đảm bảo chất lượng dữ liệu, hãy đối soát dữ liệu chia sẻ với nguồn. So khớp số lượng hàng, chạy các kiểm tra tổng hợp/thống kê tóm tắt, và thực hiện kiểm tra toàn vẹn schema, giá trị null, cùng xác thực siêu dữ liệu. Những xác thực này đảm bảo bạn chia sẻ dữ liệu đầy đủ và chính xác.
Việc thêm nguồn dữ liệu mới hoặc thay đổi schema có thể khó quản lý, đặc biệt khi qua nhiều share dữ liệu. Để đơn giản hóa di trú, hãy chia sẻ view thay vì bảng thô. View đóng vai trò lớp linh hoạt, cho phép bạn thay đổi cấu trúc dữ liệu nền hoặc bảng backend mà không làm gián đoạn truy vấn của bên tiêu dùng.
Khi bạn cập nhật các tập dữ liệu chia sẻ, hãy dùng phiên bản hóa. View có phiên bản hoặc phiên bản schema cho phép bạn theo dõi thay đổi, thử nghiệm logic mới và quay lui nếu có sự cố.
Hãy thông báo cho bên tiêu dùng về các thay đổi sắp tới có thể ảnh hưởng đến dữ liệu được chia sẻ. Một thông báo sớm giúp người dùng có thời gian thích ứng và chuẩn bị chuyển đổi.
Hạn chế và Lưu ý
Chia sẻ dữ liệu Snowflake có một vài hạn chế tích hợp sẵn. Đây không phải là trở ngại lớn, nhưng quan trọng để bạn chủ động lên kế hoạch.
Không phải mọi loại đối tượng đều có thể chia sẻ. Bạn có thể chia sẻ bảng, secure view và UDF an toàn. Bạn không thể chia sẻ view không an toàn, stored procedure, file stage, cũng như task hoặc stream.
Trong khi Snowflake Marketplace và sàn trao đổi dữ liệu có thể chia sẻ dữ liệu liên khu vực, chia sẻ trực tiếp chỉ giới hạn trong cùng khu vực và môi trường đám mây. Để vượt qua giới hạn này, bạn cần tính năng sao chép liên khu vực/đa đám mây của Snowflake (yêu cầu phiên bản Enterprise trở lên).
Bên tiêu dùng chỉ có quyền đọc đối với dữ liệu chia sẻ. Họ không thể sửa, chèn, hoặc xóa bản ghi. Nếu cần biến đổi hoặc ghi vào dữ liệu, họ sẽ phải sao chép sang môi trường của mình, điều này làm phát sinh thêm chi phí lưu trữ và tính toán.
Kết luận
Khai thác hiệu quả share dữ liệu trong Snowflake mở khóa toàn bộ tiềm năng cộng tác an toàn, tiết kiệm chi phí. Nhà cung cấp có thể chia sẻ dữ liệu trực tiếp, có thể truy vấn với bên tiêu dùng mà không cần ETL hay nhân bản dữ liệu. Mọi cập nhật lên dữ liệu nguồn sẽ được phản ánh ngay lập tức ở tài khoản tiêu dùng, đảm bảo truy cập thông tin mới nhất.
Bằng cách áp dụng mô hình chia sẻ dữ liệu của Snowflake, các tổ chức có thể mở rộng cộng tác phân tích, tăng cường quản trị và tối đa hóa giá trị tài sản dữ liệu. Tuy nhiên, điều này chỉ hữu ích khi bên tiêu dùng không cần chỉnh sửa dữ liệu được chia sẻ.
Nếu bạn mới làm quen với Snowflake, hãy bắt đầu với hướng dẫn thân thiện cho người mới về cách học Snowflake. Để đào sâu chuyên môn, xem lộ trình kỹ năng Snowflake Foundations và khóa học về mô hình hóa dữ liệu trong Snowflake.