After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
รายละเอียดคอร์ส
เรียนรู้ Spark SQL
หากคุณคุ้นเคยกับ SQL และเคยได้ยินชื่อเสียงอันยอดเยี่ยมของ Apache Spark หลักสูตรนี้เหมาะสำหรับคุณ Apache Spark เป็นเฟรมเวิร์กการประมวลผลสำหรับจัดการบิ๊กดาต้า และ Spark SQL เป็นคอมโพเนนต์หนึ่งของ Apache Spark คอร์สสี่ชั่วโมงนี้จะแสดงให้คุณเห็นวิธีนำ Spark ไปสู่ระดับใหม่ของการใช้งานที่มีประโยชน์ยิ่งขึ้น โดยใช้ฟีเจอร์ SQL ขั้นสูง เช่น window functionsตลอดทั้ง 4 บท คุณจะใช้ Spark SQL เพื่อวิเคราะห์ข้อมูลอนุกรมเวลา ดึงคำที่พบบ่อยที่สุดจากเอกสารข้อความ สร้างชุดฟีเจอร์จากข้อความภาษาธรรมชาติ และนำไปใช้เพื่อทำนายคำสุดท้ายในประโยคด้วย logistic regression
ค้นพบการใช้งานของ Spark SQL
คุณจะเริ่มต้นด้วยการสร้างและสืบค้นตาราง SQL ใน Spark รวมถึงเรียนรู้วิธีใช้ฟังก์ชันหน้าต่างของ SQL เพื่อคำนวณผลรวมสะสม ผลต่างสะสม และการดำเนินการอื่นๆต่อไป คุณจะได้สำรวจวิธีใช้ฟังก์ชันหน้าต่างใน Spark SQL สำหรับการประมวลผลภาษาธรรมชาติ รวมถึงการใช้การวิเคราะห์หน้าต่างเคลื่อนที่เพื่อค้นหาลำดับคำที่พบบ่อย
ในบทที่ 3 คุณจะได้เรียนรู้วิธีใช้ SQL Spark UI เพื่อแคช DataFrame และตาราง SQL อย่างเหมาะสม ก่อนที่จะไปสำรวจแนวปฏิบัติที่ดีที่สุดสำหรับการบันทึกล็อกใน Spark
สุดท้าย คุณจะนำทักษะทั้งหมดที่ได้เรียนรู้มาจนถึงตอนนี้มาใช้เพื่อโหลดและแยกโทเคนข้อความดิบก่อนที่จะดึงลำดับคำออกมา จากนั้นคุณจะใช้การถดถอยโลจิสติกเพื่อจำแนกข้อความ โดยใช้ข้อมูลภาษาธรรมชาติแบบดิบเพื่อฝึกตัวจำแนกข้อความ
รับความรู้เบื้องต้นอย่างครบถ้วนเกี่ยวกับ Spark SQL
เมื่อจบหลักสูตรนี้ คุณจะมีความเข้าใจอย่างมั่นคงเกี่ยวกับ Spark SQL และจะเข้าใจว่า Spark ผสานพลังของการประมวลผลแบบกระจายเข้ากับความง่ายในการใช้งานของ Python และ SQL ได้อย่างไรข้อกำหนดเบื้องต้น
หลักสูตร
โครงสร้างคอร์ส
1
PySpark SQL
ในบทนี้จะเรียนรู้วิธีสร้างและค้นหาข้อมูลในตาราง SQL บน Spark Spark SQL นำความสามารถในการแสดงออกของ SQL มาสู่ Spark นอกจากนี้ยังจะได้เรียนรู้การใช้ SQL window function ใน Spark ซึ่ง window function จะคำนวณข้ามแถวที่เกี่ยวข้องกับแถวปัจจุบัน ช่วยลดความซับซ้อนในการได้ผลลัพธ์ที่ยากต่อการแสดงออกโดยใช้เพียง join และการรวมกลุ่มแบบดั้งเดิม จะใช้ window function เพื่อคำนวณ running sum, running difference และการดำเนินการอื่น ๆ ที่ทำได้ยากใน SQL ขั้นพื้นฐาน
- การสร้างและการคิวรีตาราง SQL ใน Spark50 XP
- สร้างตาราง SQL จาก dataframe100 XP
- ดูชื่อคอลัมน์ของตาราง100 XP
- Window Function ใน SQL50 XP
- การหาผลรวมสะสมด้วย Window Function SQL100 XP
- แก้ไขคิวรีที่มีข้อผิดพลาด100 XP
- Dot notation และ SQL50 XP
- การรวมค่าทีละขั้น100 XP
- การ Aggregate คอลัมน์เดิมสองครั้ง100 XP
- Aggregate dot SQL100 XP
- แปลง Window function จาก dot notation เป็น SQL100 XP
2
การใช้ Window Function SQL สำหรับการประมวลผลภาษาธรรมชาติ
ในบทนี้จะโหลดข้อความภาษาธรรมชาติ จากนั้นนำการวิเคราะห์ด้วย moving window มาใช้เพื่อค้นหาลำดับคำที่พบบ่อย
3
Caching, Logging และ Spark UI
บทก่อนหน้าได้เรียนรู้การใช้ความสามารถในการแสดงออกของ window function SQL แล้ว อย่างไรก็ตาม ความสามารถนี้ทำให้การทำความเข้าใจวิธี cache DataFrame และตาราง SQL อย่างถูกต้องเป็นเรื่องสำคัญ รวมถึงการประเมินประสิทธิภาพของแอปพลิเคชันด้วย Spark UI จะได้เรียนรู้แนวทางปฏิบัติที่ดีที่สุดสำหรับการ logging ใน Spark นอกจากนี้ Spark SQL ยังมีเครื่องมือที่มีประโยชน์สำหรับปรับแต่งประสิทธิภาพคิวรี ได้แก่ query execution plan ซึ่งจะได้เรียนรู้วิธีใช้เพื่อประเมินที่มาของ DataFrame
4
การจำแนกประเภทข้อความ
บทก่อนหน้าให้เครื่องมือสำหรับโหลดข้อความดิบ tokenize และดึงลำดับคำมาแล้ว ซึ่งมีประโยชน์มากสำหรับการวิเคราะห์ และยังใช้กับ machine learning ได้ด้วย ในบทนี้สิ่งที่เรียนมาจะถูกนำมารวมกันโดยใช้ logistic regression จำแนกประเภทข้อความ เมื่อจบบทนี้จะได้โหลดข้อมูลข้อความภาษาธรรมชาติดิบและนำไปฝึก text classifier
Introduction to Spark SQL in Python
เรียนจบแล้ว
