After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Опис курсу
Прокачайте свої навички Polars до продакшн-рівня. Навчіться читати плани запитів і повністю використовувати можливості оптимізатора, ефективно працюйте з джерелами Parquet, CSV і базами даних, а також застосовуйте просунуті типи даних, як-от List, Struct, Categorical та Enum. Ви також зможете стримити великі запити на диск, обробляти дані пакетами й будувати тестовані конвеєри з вбудованими твердженнями. Наприкінці ви зможете створювати високопродуктивні робочі процеси з даними для наборів будь-якого розміру.
Попередні вимоги
Навчальний план
Зміст курсу
1
Глибоке занурення в оптимізацію запитів
Дізнайтеся, як зберігати запити ледачими для максимальної оптимізації, читати й тлумачити плани запитів і відкривати швидкі шляхи за допомогою профілювання та відсортованих даних.
- Ефективне виконання запитів50 XP
- Попередній перегляд даних у лінивому режимі100 XP
- Підсумок цифрових видач100 XP
- Збирання двох звітів разом100 XP
- Оптимізація та плани запитів50 XP
- Читання наївного плану100 XP
- Читання оптимізованого плану100 XP
- Що насправді робить оптимізація запитів50 XP
- Повне використання оптимізації50 XP
- Лінивий pivot у широкий формат100 XP
- Профілювання ледачого запиту100 XP
- Швидкий фільтр для відсортованих даних100 XP
2
Ефективне введення та виведення даних
Навчіться читати й записувати файли Parquet, розбирати „шумні" CSV, сканувати багатофайлові та hive-розділені набори даних і виконувати запити до баз даних з Polars.
3
Просунуті типи даних для оптимального аналізу
У цьому розділі ви попрактикуєте роботу зі стовпцями List і Struct, кодування повторюваних рядків як типів Categorical та Enum і зменшення використання пам'яті шляхом даункастингу числових типів.
4
Робота з Polars у масштабі
Навчіться користуватися рушіями streaming і GPU, скидати великі результати запитів безпосередньо на диск із розділенням і тестувати конвеєри за допомогою вбудованих у Polars тверджень.
Масштабування й оптимізація конвеєрів даних з Polars
Курс
завершено
