Nhập môn Spark SQL bằng Python

Trong chương này, bạn sẽ nạp văn bản ngôn ngữ tự nhiên. Sau đó bạn sẽ áp dụng phân tích cửa sổ trượt để tìm các chuỗi từ xuất hiện thường xuyên.

Trong các chương trước, bạn đã học cách tận dụng tính biểu đạt của window function SQL. Tuy nhiên, chính sự linh hoạt này khiến việc hiểu cách cache đúng cách các dataframe và cache bảng SQL trở nên quan trọng. Cũng quan trọng không kém là biết cách đánh giá ứng dụng của bạn. Bạn sẽ học cách thực hiện việc này bằng Spark UI. Bạn cũng sẽ học một thực hành tốt cho việc ghi log trong Spark. Spark SQL còn mang đến một công cụ hữu ích khác để tinh chỉnh hiệu năng truy vấn: kế hoạch thực thi truy vấn. Bạn sẽ học cách dùng kế hoạch thực thi để đánh giá nguồn gốc (provenance) của một dataframe.

Các chương trước đã cung cấp cho bạn công cụ để nạp văn bản thô, tách token và trích xuất chuỗi từ. Điều này vốn đã rất hữu ích cho phân tích, đồng thời cũng hữu ích cho Machine Learning. Những gì bạn đã học sẽ được kết nối lại bằng cách dùng logistic regression để phân loại văn bản. Kết thúc chương này, bạn sẽ nạp dữ liệu văn bản ngôn ngữ tự nhiên thô và dùng nó để huấn luyện một bộ phân loại văn bản.