After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Опис курсу
У цьому курсі ви навчитеся використовувати Spark із Python! Spark — це інструмент для паралельних обчислень із великими наборами даних, який добре інтегрується з Python. PySpark — це пакет Python, який робить усе це можливим. Ви використаєте його, щоб працювати з даними про рейси з Портленда та Сіетла. Ви навчитеся опрацьовувати ці дані та збудуєте повний конвеєр машинного навчання, щоб передбачати, чи будуть рейси затримані. Підготуйтеся додати трохи Spark до свого коду Python і зануритися у світ високопродуктивного машинного навчання!
Попередні вимоги
Навчальний план
Зміст курсу
1
Знайомство з PySpark
У цьому розділі ви дізнаєтеся, як Spark керує даними та як можна читати й записувати таблиці з Python.
- Що таке Spark?50 XP
- Використання Spark у Python50 XP
- Ознайомлення зі `SparkContext`100 XP
- Використання DataFrame50 XP
- Створення SparkSession100 XP
- Перегляд таблиць100 XP
- Are you query-ious?100 XP
- Перетворення Spark DataFrame на pandas DataFrame100 XP
- Додайте трохи Spark до ваших даних100 XP
- Без посередників100 XP
2
Маніпулювання даними
У цьому розділі ви познайомитеся з модулем pyspark.sql, який забезпечує оптимізовані запити до даних у вашій сесії Spark.
3
Початок роботи з конвеєрами машинного навчання
PySpark має вбудовані, сучасні процедури машинного навчання, а також інструменти для створення повних конвеєрів машинного навчання. У цьому розділі ви дізнаєтеся про них.
4
Налаштування та вибір моделі
У фінальному розділі ви застосуєте набуті знання, щоб створити модель, яка передбачає, які рейси будуть затримані.
Основи PySpark
Курс
завершено
