Name: Introduction to Spark SQL in Python
Rating: 4.744318181818182 (176 reviews)

รายละเอียดคอร์ส

เรียนรู้ Spark SQL

หากคุณคุ้นเคยกับ SQL และเคยได้ยินชื่อเสียงอันยอดเยี่ยมของ Apache Spark หลักสูตรนี้เหมาะสำหรับคุณ Apache Spark เป็นเฟรมเวิร์กการประมวลผลสำหรับจัดการบิ๊กดาต้า และ Spark SQL เป็นคอมโพเนนต์หนึ่งของ Apache Spark คอร์สสี่ชั่วโมงนี้จะแสดงให้คุณเห็นวิธีนำ Spark ไปสู่ระดับใหม่ของการใช้งานที่มีประโยชน์ยิ่งขึ้น โดยใช้ฟีเจอร์ SQL ขั้นสูง เช่น window functions

ตลอดทั้ง 4 บท คุณจะใช้ Spark SQL เพื่อวิเคราะห์ข้อมูลอนุกรมเวลา ดึงคำที่พบบ่อยที่สุดจากเอกสารข้อความ สร้างชุดฟีเจอร์จากข้อความภาษาธรรมชาติ และนำไปใช้เพื่อทำนายคำสุดท้ายในประโยคด้วย logistic regression

ค้นพบการใช้งานของ Spark SQL

คุณจะเริ่มต้นด้วยการสร้างและสืบค้นตาราง SQL ใน Spark รวมถึงเรียนรู้วิธีใช้ฟังก์ชันหน้าต่างของ SQL เพื่อคำนวณผลรวมสะสม ผลต่างสะสม และการดำเนินการอื่นๆ

ต่อไป คุณจะได้สำรวจวิธีใช้ฟังก์ชันหน้าต่างใน Spark SQL สำหรับการประมวลผลภาษาธรรมชาติ รวมถึงการใช้การวิเคราะห์หน้าต่างเคลื่อนที่เพื่อค้นหาลำดับคำที่พบบ่อย

ในบทที่ 3 คุณจะได้เรียนรู้วิธีใช้ SQL Spark UI เพื่อแคช DataFrame และตาราง SQL อย่างเหมาะสม ก่อนที่จะไปสำรวจแนวปฏิบัติที่ดีที่สุดสำหรับการบันทึกล็อกใน Spark

สุดท้าย คุณจะนำทักษะทั้งหมดที่ได้เรียนรู้มาจนถึงตอนนี้มาใช้เพื่อโหลดและแยกโทเคนข้อความดิบก่อนที่จะดึงลำดับคำออกมา จากนั้นคุณจะใช้การถดถอยโลจิสติกเพื่อจำแนกข้อความ โดยใช้ข้อมูลภาษาธรรมชาติแบบดิบเพื่อฝึกตัวจำแนกข้อความ

รับความรู้เบื้องต้นอย่างครบถ้วนเกี่ยวกับ Spark SQL

เมื่อจบหลักสูตรนี้ คุณจะมีความเข้าใจอย่างมั่นคงเกี่ยวกับ Spark SQL และจะเข้าใจว่า Spark ผสานพลังของการประมวลผลแบบกระจายเข้ากับความง่ายในการใช้งานของ Python และ SQL ได้อย่างไร

ข้อกำหนดเบื้องต้น

Python Toolbox PostgreSQL Summary Stats and Window Functions Introduction to PySpark

หลักสูตร

โครงสร้างคอร์ส

PySpark SQL

ในบทนี้จะเรียนรู้วิธีสร้างและค้นหาข้อมูลในตาราง SQL บน Spark Spark SQL นำความสามารถในการแสดงออกของ SQL มาสู่ Spark นอกจากนี้ยังจะได้เรียนรู้การใช้ SQL window function ใน Spark ซึ่ง window function จะคำนวณข้ามแถวที่เกี่ยวข้องกับแถวปัจจุบัน ช่วยลดความซับซ้อนในการได้ผลลัพธ์ที่ยากต่อการแสดงออกโดยใช้เพียง join และการรวมกลุ่มแบบดั้งเดิม จะใช้ window function เพื่อคำนวณ running sum, running difference และการดำเนินการอื่น ๆ ที่ทำได้ยากใน SQL ขั้นพื้นฐาน

เริ่มบทเรียน

การใช้ Window Function SQL สำหรับการประมวลผลภาษาธรรมชาติ

ในบทนี้จะโหลดข้อความภาษาธรรมชาติ จากนั้นนำการวิเคราะห์ด้วย moving window มาใช้เพื่อค้นหาลำดับคำที่พบบ่อย

เริ่มบทเรียน

Caching, Logging และ Spark UI

บทก่อนหน้าได้เรียนรู้การใช้ความสามารถในการแสดงออกของ window function SQL แล้ว อย่างไรก็ตาม ความสามารถนี้ทำให้การทำความเข้าใจวิธี cache DataFrame และตาราง SQL อย่างถูกต้องเป็นเรื่องสำคัญ รวมถึงการประเมินประสิทธิภาพของแอปพลิเคชันด้วย Spark UI จะได้เรียนรู้แนวทางปฏิบัติที่ดีที่สุดสำหรับการ logging ใน Spark นอกจากนี้ Spark SQL ยังมีเครื่องมือที่มีประโยชน์สำหรับปรับแต่งประสิทธิภาพคิวรี ได้แก่ query execution plan ซึ่งจะได้เรียนรู้วิธีใช้เพื่อประเมินที่มาของ DataFrame

เริ่มบทเรียน

การจำแนกประเภทข้อความ

บทก่อนหน้าให้เครื่องมือสำหรับโหลดข้อความดิบ tokenize และดึงลำดับคำมาแล้ว ซึ่งมีประโยชน์มากสำหรับการวิเคราะห์ และยังใช้กับ machine learning ได้ด้วย ในบทนี้สิ่งที่เรียนมาจะถูกนำมารวมกันโดยใช้ logistic regression จำแนกประเภทข้อความ เมื่อจบบทนี้จะได้โหลดข้อมูลข้อความภาษาธรรมชาติดิบและนำไปฝึก text classifier