After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Mô tả khóa học
Yêu cầu tiên quyết
Chương trình học
Đề cương khóa học
1
PySpark SQL
Trong chương này bạn sẽ học cách tạo và truy vấn một bảng SQL trong Spark. Spark SQL mang tính biểu đạt của SQL vào Spark. Bạn cũng sẽ học cách dùng SQL window functions trong Spark. Window functions thực hiện phép tính trên các hàng có liên quan đến hàng hiện tại. Chúng giúp đơn giản hóa đáng kể những kết quả khó thể hiện chỉ với joins và các phép tổng hợp truyền thống. Chúng ta sẽ dùng window functions để tính tổng lũy kế, hiệu lũy kế và các thao tác khác vốn khó thực hiện trong SQL cơ bản.
- Tạo và truy vấn bảng SQL trong Spark50 XP
- Tạo một bảng SQL từ dataframe100 XP
- Xác định tên các cột của một bảng100 XP
- SQL với window function50 XP
- Tính tổng chạy bằng window function trong SQL100 XP
- Sửa truy vấn bị lỗi100 XP
- Cú pháp dấu chấm và SQL50 XP
- Tổng hợp dữ liệu, từng bước một100 XP
- Gộp cùng một cột hai lần100 XP
- Tổng hợp với dot SQL100 XP
- Chuyển window function từ dot notation sang SQL100 XP
2
Dùng Window Function SQL cho Xử lý Ngôn ngữ Tự nhiên
Trong chương này, bạn sẽ nạp văn bản ngôn ngữ tự nhiên. Sau đó bạn sẽ áp dụng phân tích cửa sổ trượt để tìm các chuỗi từ xuất hiện thường xuyên.
3
Caching, Logging và Spark UI
Trong các chương trước, bạn đã học cách tận dụng tính biểu đạt của window function SQL. Tuy nhiên, chính sự linh hoạt này khiến việc hiểu cách cache đúng cách các dataframe và cache bảng SQL trở nên quan trọng. Cũng quan trọng không kém là biết cách đánh giá ứng dụng của bạn. Bạn sẽ học cách thực hiện việc này bằng Spark UI. Bạn cũng sẽ học một thực hành tốt cho việc ghi log trong Spark. Spark SQL còn mang đến một công cụ hữu ích khác để tinh chỉnh hiệu năng truy vấn: kế hoạch thực thi truy vấn. Bạn sẽ học cách dùng kế hoạch thực thi để đánh giá nguồn gốc (provenance) của một dataframe.
4
Phân loại văn bản
Các chương trước đã cung cấp cho bạn công cụ để nạp văn bản thô, tách token và trích xuất chuỗi từ. Điều này vốn đã rất hữu ích cho phân tích, đồng thời cũng hữu ích cho Machine Learning. Những gì bạn đã học sẽ được kết nối lại bằng cách dùng logistic regression để phân loại văn bản. Kết thúc chương này, bạn sẽ nạp dữ liệu văn bản ngôn ngữ tự nhiên thô và dùng nó để huấn luyện một bộ phân loại văn bản.
Nhập môn Spark SQL bằng Python
Hoàn
thành khóa học
