After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
รายละเอียดคอร์ส
ยกระดับทักษะ Polars สู่การใช้งานในระดับ Production เรียนรู้การอ่าน Query Plan และปลดล็อกศักยภาพเต็มของ Optimizer ทำงานกับไฟล์ Parquet, CSV และแหล่งข้อมูลจากฐานข้อมูลได้อย่างมีประสิทธิภาพ พร้อมใช้งาน Dtype ขั้นสูง เช่น List, Struct, Categorical และ Enum นอกจากนี้ยังครอบคลุมการ Stream คิวรีขนาดใหญ่ลงดิสก์ การประมวลผลข้อมูลแบบ Batch และการสร้าง Pipeline ที่ทดสอบได้ด้วย Assertion ในตัว เมื่อเรียนจบแล้ว จะสามารถสร้าง Data Workflow ที่มีประสิทธิภาพสูงและรองรับข้อมูลทุกขนาดได้
ข้อกำหนดเบื้องต้น
หลักสูตร
โครงสร้างคอร์ส
1
เจาะลึก Query Optimization
เรียนรู้วิธีรักษาคิวรีให้อยู่ในโหมด Lazy เพื่อการ Optimize สูงสุด อ่านและตีความ Query Plan และเปิดใช้งาน Fast Path ด้วย Profiling และข้อมูลที่เรียงลำดับแล้ว
- การรันคิวรีอย่างมีประสิทธิภาพ50 XP
- ดูตัวอย่างข้อมูลแบบ Lazy100 XP
- สรุปยอดการยืมสื่อดิจิทัล100 XP
- รวบรวมรายงานสองชุดพร้อมกัน100 XP
- การปรับแต่งประสิทธิภาพและแผนการทำงานของคิวรี50 XP
- การอ่าน naive plan100 XP
- อ่านแผนที่ผ่านการปรับแต่งแล้ว100 XP
- Query Optimization ทำงานอย่างไร50 XP
- ใช้การปรับแต่งให้เต็มประสิทธิภาพ50 XP
- Lazy pivot เป็นรูปแบบ wide100 XP
- การ Profile Lazy Query100 XP
- Fast-path filter บนข้อมูลที่เรียงลำดับแล้ว100 XP
2
การนำเข้าและส่งออกข้อมูลอย่างมีประสิทธิภาพ
เรียนรู้การอ่านและเขียนไฟล์ Parquet การ Parse CSV ที่มีรูปแบบไม่สม่ำเสมอ การสแกนชุดข้อมูลหลายไฟล์และแบบ Hive-partitioned รวมถึงการคิวรีฐานข้อมูลจาก Polars
3
Dtype ขั้นสูงสำหรับการวิเคราะห์ที่เหมาะสมที่สุด
บทนี้ครอบคลุมการทำงานกับคอลัมน์ List และ Struct การเข้ารหัสสตริงที่ซ้ำกันด้วย Dtype แบบ Categorical และ Enum และการลดการใช้หน่วยความจำด้วย Numeric Downcasting
4
การใช้งาน Polars ในระดับ Scale
เรียนรู้การใช้งาน Streaming Engine และ GPU Engine การ Sink ผลลัพธ์คิวรีขนาดใหญ่ลงดิสก์พร้อม Partitioning และการทดสอบ Pipeline ด้วย Assertion ในตัวของ Polars
การปรับขนาดและเพิ่มประสิทธิภาพ Data Pipeline ด้วย Polars
เรียนจบแล้ว
