After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Описание курса
В последние годы тема Big Data активно обсуждается в профессиональном сообществе и стала стандартом для многих компаний. Но что же такое Big Data? Этот курс охватывает основы работы с большими данными с помощью PySpark. Spark — это высокопроизводительный фреймворк кластерных вычислений для обработки Big Data. Он предоставляет универсальный движок обработки данных и позволяет выполнять программы до 100 раз быстрее в оперативной памяти и до 10 раз быстрее на диске по сравнению с Hadoop. Вы будете использовать PySpark — пакет Python для программирования на Spark — и его мощные высокоуровневые библиотеки, такие как SparkSQL и MLlib (для машинного обучения). В ходе курса вы проанализируете произведения Уильяма Шекспира, данные FIFA 2018 и выполните кластеризацию геномных наборов данных. По завершении курса вы глубоко разберётесь в PySpark и его применении для анализа больших данных.
Предварительные требования
Программа
Структура курса
1
Введение в анализ Big Data с помощью Spark
В этой главе вы познакомитесь с миром Big Data, а также с основными концепциями и различными фреймворками для обработки больших данных. Вы поймёте, почему Apache Spark считается лучшим фреймворком для работы с Big Data.
- Что такое большие данные?50 XP
- Три «V» больших данных50 XP
- PySpark: Spark на Python50 XP
- Знакомство со SparkContext100 XP
- Интерактивная работа с PySpark100 XP
- Загрузка данных в оболочке PySpark100 XP
- Повторение функционального программирования в Python50 XP
- Использование `lambda()` с `map()`100 XP
- Использование lambda() с filter()100 XP
2
Программирование с использованием RDD в PySpark
Ключевой абстракцией Spark является устойчивый распределённый набор данных (RDD) — основной и базовый тип данных этого движка. В этой главе рассматриваются RDD, а также способы их создания и использования с помощью трансформаций и действий над RDD.
3
PySpark SQL и DataFrames
В этой главе вы изучите Spark SQL — модуль Spark для обработки структурированных данных. Он предоставляет программную абстракцию под названием DataFrames и может выступать в роли распределённого движка SQL-запросов. Глава демонстрирует, как Spark SQL позволяет работать с DataFrames на Python.
4
Машинное обучение с PySpark MLlib
PySpark MLlib — это масштабируемая библиотека машинного обучения Apache Spark для Python, включающая распространённые алгоритмы и вспомогательные инструменты. В последней главе курса вы изучите ключевые алгоритмы машинного обучения, создадите систему рекомендации фильмов и фильтр спама, а также применёте метод k-средних для кластеризации.
Основы Big Data с PySpark
Курс
завершён
