Azure Synapse: Hướng dẫn Từng Bước cho Người Mới Bắt Đầu

Lợi ích khi sử dụng Azure Synapse

Dưới đây là một số lợi ích của việc sử dụng Azure Synapse Analytics:

• Khả năng mở rộng và linh hoạt: Khả năng mở rộng theo nhu cầu của Azure Synapse cho phép người dùng nhanh chóng điều chỉnh tài nguyên tính toán và lưu trữ để đáp ứng nhu cầu kinh doanh thay đổi.
• Nền tảng phân tích thống nhất: Bằng cách kết hợp tích hợp dữ liệu, kho dữ liệu và phân tích dữ liệu lớn, Azure Synapse mang đến giải pháp phân tích toàn diện và tinh gọn.
• Nâng cao năng suất: Bộ công cụ tích hợp và trải nghiệm người dùng liền mạch của Azure Synapse giúp người dùng làm việc hiệu quả và năng suất hơn trong các tác vụ dựa trên dữ liệu.
• Hiệu quả chi phí: Mô hình mở rộng theo nhu cầu và trả phí theo mức sử dụng của Azure Synapse giúp tổ chức tối ưu chi phí và giảm tổng chi tiêu cho phân tích dữ liệu.
• Bảo mật và tuân thủ toàn diện: Các tính năng bảo mật mạnh mẽ và chứng nhận tuân thủ của Azure Synapse đảm bảo dữ liệu được bảo vệ và tổ chức đáp ứng yêu cầu pháp lý.

Bắt đầu hành trình đám mây của bạn với Chứng chỉ Azure Fundamentals. Chuẩn bị cho kỳ thi Microsoft AZ-900 với lộ trình do chuyên gia của DataCamp xây dựng. Thông qua quan hệ đối tác giữa DataCamp và Microsoft, bạn cũng sẽ được giảm 50% lệ phí thi!

Các trường hợp sử dụng Azure Synapse

Azure Synapse là một nền tảng linh hoạt có thể áp dụng cho nhiều trường hợp phân tích dữ liệu, trở thành công cụ mạnh mẽ cho doanh nghiệp muốn khai mở toàn bộ tiềm năng dữ liệu. 

Một số trường hợp phổ biến gồm:

Azure Synapse so với Databricks

Azure Synapse và Databricks đều là các nền tảng xử lý và phân tích dữ liệu quy mô lớn mạnh mẽ, nhưng mỗi bên vượt trội ở những lĩnh vực khác nhau. 

• Azure Synapse là giải pháp tất-cả-trong-một, hợp nhất tích hợp dữ liệu, kho dữ liệu và phân tích dữ liệu lớn như đã đề cập. Phù hợp với tổ chức cần nền tảng toàn diện để xử lý đa dạng khối lượng công việc, từ dữ liệu có cấu trúc đến bộ dữ liệu khổng lồ.
• Databricks được xây dựng trên Apache Spark, chuyên về khoa học dữ liệu cộng tác, kỹ thuật dữ liệu và máy học. Nền tảng này nổi tiếng với thế mạnh xử lý dữ liệu quy mô lớn và triển khai mô hình, đồng thời cung cấp môi trường cộng tác cho các nhóm dữ liệu.

Khác biệt và tương đồng

Nếu bạn quan tâm tìm hiểu thêm về các dịch vụ khoa học dữ liệu và AI tương đương trên đám mây AWS, Azure và GCP, hãy xem tài liệu miễn phí So sánh dịch vụ AWS, Azure và GCP cho Khoa học Dữ liệu & AI trên Datacamp.

Sau phần tổng quan toàn diện về Azure Synapse, hãy bắt tay vào thực hành!

Thiết lập Azure Synapse

Để bắt đầu với Azure Synapse, bạn cần có một tài khoản Azure đang hoạt động. Khi đã thiết lập tài khoản, bạn có thể tạo không gian làm việc (workspace) Synapse mới và cấu hình nguồn dữ liệu cũng như kết nối. 

1. Bắt đầu dùng thử Azure miễn phí

Nếu bạn mới dùng Azure, bước đầu tiên là tạo gói đăng ký. Nhấp nút "Start" dưới mục "Start with an Azure free trial." 

Trong quá trình đăng ký, bạn cần xác minh tài khoản bằng số điện thoại và cung cấp thông tin thẻ tín dụng để xác minh.

Bắt đầu với bản dùng thử Azure miễn phí.

2. Điều kiện tiên quyết: Tạo Data Lake Storage Gen2

Trước khi tiếp tục với Azure Synapse, bạn cần tạo tài khoản Data Lake Storage Gen2 để lưu trữ và quản lý dữ liệu. 

Bắt đầu bằng cách điều hướng đến Azure portal và chọn "Create a resource." Chọn "Storage account" và điền các thông tin yêu cầu như nhóm tài nguyên, tên tài khoản lưu trữ và khu vực. 

Đảm bảo chọn "Azure Blob Storage or Azure Data Lake Storage Gen2" làm dịch vụ chính, và cấu hình các thiết lập khác như hiệu năng và dự phòng phù hợp với trường hợp sử dụng của bạn.

Tạo tài khoản lưu trữ Azure.

Sau khi điền thông tin, nhấp "Review + create" để triển khai tài khoản lưu trữ. Quá trình triển khai có thể mất vài phút.

Đang triển khai tài khoản lưu trữ.

Khi triển khai hoàn tất, tài khoản Data Lake Storage Gen2 mới sẽ xuất hiện trong phần Storage Accounts và sẵn sàng dùng với Azure Synapse.

Các tài khoản lưu trữ đang hoạt động trên Azure.

3. Tạo workspace Synapse

Workspace Azure Synapse là môi trường nền tảng nơi bạn thiết lập, tổ chức và quản lý mọi tài nguyên, dịch vụ cần thiết cho tích hợp dữ liệu, phân tích và lưu trữ trong Azure Synapse. Nó đóng vai trò trung tâm để cấu hình và truy cập các công cụ, tài sản dữ liệu trong dự án Synapse của bạn.

Tạo workspace Azure Synapse bằng cách nhấp nút “Create Synapse Workspace”.

Tạo workspace Synapse.

Ở bước tiếp theo, bạn cần điền biểu mẫu để tạo workspace Azure Synapse. 

Bắt đầu bằng cách chọn gói đăng ký và nhóm tài nguyên, sau đó nhập tên cho workspace và chọn khu vực phù hợp. 

Tạo workspace Synapse - điền thông tin.

Xem lại chi tiết ở thẻ cuối trước khi nhấp nút “Create”. 

Xác thực workspace Synapse.

Quá trình triển khai Azure Synapse workspace có thể mất vài phút.

Đang triển khai Azure Synapse Analytics.

Đã tạo Azure Synapse Analytics workspace “datacamp”.

Khi workspace đã triển khai xong, nhấp vào tên để mở.

4. Mở Synapse Studio

Azure Synapse Studio là giao diện web để quản lý và tương tác với workspace Azure Synapse của bạn. Nó cung cấp một không gian làm việc hợp nhất, nơi bạn có thể thực hiện công việc tích hợp dữ liệu, phân tích dữ liệu lớn và kho dữ liệu tại cùng một nơi. 

Synapse Studio rất cần thiết vì cho phép bạn nhanh chóng phát triển, quản lý và giám sát pipeline dữ liệu, script SQL, job Spark và nhiều hơn nữa mà không cần chuyển đổi giữa các công cụ hay môi trường khác nhau. 

Synapse Studio.

Nhập một bộ dữ liệu

Trong Synapse Studio, bạn có thể nhập dữ liệu từ nhiều nguồn khác nhau. Bạn có thể nhập từ tài khoản lưu trữ Gen2 được liên kết với workspace Synapse (xem bước 2 ở trên), từ cơ sở dữ liệu máy chủ SQL, hoặc các nguồn bên ngoài. 

Trong hướng dẫn này, chúng ta sẽ dùng một bộ dữ liệu mẫu “Bing COVID-19 Data” có trong Synapse Gallery. 

Để nhập, nhấp “Dataset” ở menu điều hướng bên trái rồi nhấp “+ sign” → "Gallery."

Thư viện Dataset trong Synapse Studio.

Bạn có thể xem metadata và các dòng mẫu trước khi nhấp nút “Add dataset” để nhập dữ liệu này.

Xem lại dataset trong Synapse Studio.

Khi nhập thành công, bạn sẽ thấy dataset dưới mục “Data.”

Thẻ Data trong Synapse Studio.

Viết và chạy truy vấn

Azure Synapse Studio cung cấp giao diện thân thiện để viết và chạy truy vấn. Bạn có thể dùng SQL để thực hiện nhiều tác vụ phân tích dữ liệu, từ truy xuất dữ liệu đơn giản đến phân tích phức tạp. 

Synapse Studio cũng cho phép bạn lưu và quản lý truy vấn, cũng như xem và xử lý kết quả truy vấn.

Bạn có thể phân tích dataset này bằng script SQL hoặc tạo Notebook. Trong Notebook, bạn có thể tải dataset dưới dạng Spark DataFrame và dùng Spark để xử lý, phân tích dữ liệu.

Để chạy truy vấn SQL trên dataset này, nhấp vào ba chấm bên cạnh tên dataset.

Phân tích dữ liệu trong Synapse Studio với SQL.

Nhấp “Select TOP 100 rows” sẽ mở trình soạn thảo SQL nơi bạn có thể viết truy vấn và thực thi để xem kết quả.

Trình soạn thảo SQL trong Synapse Studio.

Nếu bạn muốn trực quan hóa kết quả thay vì dạng bảng, nhấp “Chart” dưới mục “Results”.

Xem kết quả truy vấn dưới dạng biểu đồ trong Synapse Studio.

Khi bạn tạo hoặc chỉnh sửa script SQL, các thay đổi ban đầu được lưu dưới dạng bản nháp. Xuất bản script bằng cách nhấp nút “Publish” ở trên cùng sẽ ghi nhận thay đổi, đảm bảo phiên bản mới nhất được lưu trong workspace.

Xuất bản script SQL trong Synapse Studio nghĩa là lưu script vào workspace Synapse, giúp dùng lại trong tương lai, cộng tác và kiểm soát phiên bản.

Ví dụ: Phân tích mức tăng ca COVID-19 xác nhận hằng ngày trên toàn cầu

Hãy chạy một truy vấn SQL trên dataset này để phân tích mức tăng ca COVID-19 được xác nhận hằng ngày trên toàn cầu. 

Truy vấn lấy dữ liệu từ “Bing COVID-19 dataset”, tính số ca mới được báo cáo mỗi ngày bằng cách so sánh số ca xác nhận của ngày hiện tại với ngày trước đó, và sắp xếp kết quả theo ngày. 

Truy vấn SQL trong trình soạn thảo SQL của Synapse Studio.

Phân tích dữ liệu trong Notebooks

Trong Synapse Studio, bạn có thể phân tích dữ liệu bằng notebooks, cung cấp môi trường tương tác để chạy mã, trực quan hóa kết quả và thực hiện phân tích dữ liệu. 

Notebooks trong Synapse Studio hỗ trợ nhiều ngôn ngữ, bao gồm PySpark, đặc biệt mạnh cho xử lý dữ liệu lớn. 

Để chạy Notebook trong Synapse Studio, hãy gắn nó với một Apache Spark pool, cung cấp tài nguyên tính toán phân tán cần thiết để xử lý hiệu quả các bộ dữ liệu lớn.

Apache Spark pool là tập hợp các nút tính toán được cấp phát động để chạy các job Spark của bạn. Nếu bạn chưa có Spark pool, có thể tạo bằng cách vào phần "Manage pools" trong Synapse Studio, nơi bạn chỉ định số lượng nút, kích cỡ và các cấu hình khác. 

Khi Spark pool đã được thiết lập và gắn với notebook, bạn có thể thực thi các ô mã trong notebook để tải, xử lý và phân tích dữ liệu, như minh họa trong ảnh chụp màn hình bên dưới. 

Thiết lập này cho phép bạn tận dụng toàn bộ sức mạnh của Spark cho phân tích dữ liệu quy mô lớn ngay trong Azure Synapse.

Phân tích dữ liệu bằng Notebooks trong Synapse Studio.

Tích hợp Azure Synapse với các dịch vụ Azure khác

Azure Synapse tích hợp liền mạch với các dịch vụ Azure khác, cho phép bạn xây dựng các giải pháp phân tích dữ liệu toàn diện. 

Một số tích hợp chính gồm:

• Azure Data Factory: Sử dụng Azure Data Factory để điều phối các quy trình dữ liệu phức tạp và tự động hóa ETL (Extract, Transform, Load) hoặc ELT (Extract, Load, Transform). Bằng cách tích hợp Azure Synapse với Data Factory, bạn có thể dễ dàng di chuyển và chuyển đổi dữ liệu từ nhiều nguồn vào workspace Synapse, đảm bảo dữ liệu luôn sẵn sàng cho phân tích.
• Power BI: Azure Synapse tích hợp mượt mà với Power BI, cho phép bạn tạo trực quan hóa dữ liệu nâng cao và dashboard tương tác. Sự tích hợp này giúp doanh nghiệp biến dữ liệu thô thành các báo cáo sâu sắc, trực quan, có thể chia sẻ trong đội ngũ, thúc đẩy quyết định dựa trên dữ liệu và tăng cường năng lực BI.
• Azure Machine Learning: Kết hợp sức mạnh xử lý dữ liệu của Azure Synapse với Azure Machine Learning để mở khóa khả năng phân tích dự báo nâng cao. Sự tích hợp này cho phép bạn huấn luyện, triển khai và quản lý các mô hình máy học trực tiếp trong môi trường Synapse, mang đến dự đoán chính xác hơn và chiến lược thông minh hơn dựa trên dữ liệu.
• Azure Databricks: Với các tổ chức tập trung vào khoa học dữ liệu và máy học cộng tác, tích hợp Azure Synapse với Azure Databricks mang đến giải pháp mạnh mẽ. Sự tích hợp này tạo điều kiện cộng tác liền mạch giữa nhà khoa học dữ liệu, kỹ sư và nhà phân tích, giúp họ xây dựng và mở rộng pipeline dữ liệu, phát triển mô hình và thực hiện phân tích nâng cao trong môi trường hợp nhất, cộng tác.

Thực hành tốt khi sử dụng Azure Synapse

Để tận dụng tối đa Azure Synapse, điều quan trọng là tuân theo các thực hành tốt, chẳng hạn như:

• Tối ưu định dạng lưu trữ dữ liệu: Lựa chọn định dạng lưu trữ phù hợp như Parquet hoặc ORC rất quan trọng để đảm bảo hiệu năng truy vấn tối ưu và xử lý dữ liệu hiệu quả. Các định dạng này được thiết kế cho phân tích dữ liệu lớn và có thể giảm đáng kể thời gian thực thi truy vấn, chi phí lưu trữ nhờ hỗ trợ lưu trữ dạng cột và nén.
• Quản lý tài nguyên tính toán hiệu quả: Quản lý hiệu quả tài nguyên tính toán là chìa khóa cân bằng giữa hiệu năng và hiệu quả chi phí. Bằng cách tăng/giảm tài nguyên theo nhu cầu khối lượng công việc và dùng tùy chọn serverless khi phù hợp, bạn đảm bảo không chi tiêu thừa cho công suất nhàn rỗi mà vẫn đáp ứng yêu cầu hiệu năng.
• Triển khai thực hành bảo mật tốt: Bảo mật cần là ưu tiên hàng đầu khi dùng Azure Synapse. Hãy triển khai các biện pháp bảo mật mạnh mẽ như mã hóa dữ liệu, kiểm soát truy cập dựa trên vai trò và cô lập mạng để bảo vệ thông tin nhạy cảm.
• Giám sát và khắc phục sự cố khối lượng công việc: Giám sát liên tục khối lượng công việc trên Azure Synapse là điều cần thiết để duy trì hiệu năng tối ưu và phát hiện vấn đề tiềm ẩn trước khi ảnh hưởng vận hành. Tận dụng công cụ giám sát tích hợp để theo dõi mức sử dụng tài nguyên, hiệu năng truy vấn và hiệu quả pipeline dữ liệu, đồng thời chủ động xử lý bất thường để giảm thiểu gián đoạn.

Kết luận

Azure Synapse Analytics là một giải pháp mạnh mẽ và linh hoạt cho các tổ chức muốn khai thác tối đa tiềm năng dữ liệu. Bằng cách hợp nhất tích hợp dữ liệu, phân tích dữ liệu lớn và kho dữ liệu doanh nghiệp trong một nền tảng toàn diện, Azure Synapse giúp doanh nghiệp tinh gọn vận hành dữ liệu và trích xuất insight giá trị với hiệu quả chưa từng có.

Tính linh hoạt, khả năng mở rộng và tích hợp liền mạch với các dịch vụ Azure khác khiến nền tảng này trở nên lý tưởng cho nhiều nhiệm vụ dựa trên dữ liệu, từ phân tích thời gian thực đến các dự án máy học phức tạp. Khi dữ liệu gia tăng về khối lượng và tầm quan trọng, Azure Synapse khẳng định mình là công cụ then chốt giúp tổ chức duy trì lợi thế trong thế giới ngày càng tập trung vào dữ liệu.

Bằng việc áp dụng Azure Synapse, doanh nghiệp không chỉ tối ưu quy trình dữ liệu hiện tại mà còn mở đường cho đổi mới trong phân tích dữ liệu. Khi tiến về phía trước, khả năng nhanh chóng và hiệu quả biến dữ liệu thành insight có thể hành động sẽ là yếu tố khác biệt của tổ chức thành công. Azure Synapse cung cấp nền tảng vững chắc để đáp ứng thách thức này, giúp doanh nghiệp mở khóa cơ hội mới và thúc đẩy tăng trưởng nhờ sức mạnh của dữ liệu.

Muốn nâng tầm sự nghiệp khoa học dữ liệu của bạn? Xem 13 Chứng chỉ Azure Tốt Nhất Năm 2024 tại Datacamp.