После прохождения этих курсов я уверенно создаю профессиональные визуализации и дашборды.
Shoebur RahmanСпециалист по закупкам, Giz Bangladesh
Описание курса
Работать с данными непросто, а работать с миллионами или даже миллиардами строк — ещё сложнее.
Вам передали код обработки данных, написанный на ноутбуке с относительно чистыми данными?
Скорее всего, вам поручили перевести базовый процесс обработки данных из прототипа в рабочую среду.
Возможно, вы уже сталкивались с реальными наборами данных: с пропущенными полями, нестандартным форматированием и на порядки большим объёмом. Даже если всё это для вас ново, этот курс поможет вам освоить всё необходимое для подготовки процессов обработки данных с помощью Python и Apache Spark.
Вы изучите терминологию, методы и лучшие практики создания производительной, удобной в сопровождении и понятной платформы обработки данных.
Предварительные требования
Программа
План курса
1
Подробнее о DataFrame
Повторение основ DataFrame и важности очистки данных.
2
Работа с DataFrame в реальных условиях
Обзор различных методов изменения содержимого DataFrame в Spark.
3
Повышение производительности
Повышение эффективности задач по очистке данных за счёт увеличения производительности или снижения потребления ресурсов.
4
Сложная обработка данных и конвейеры данных
Научитесь обрабатывать сложные реальные данные с помощью Spark и познакомьтесь с основами конвейеров данных.
Очистка данных с помощью PySpark
Курс
завершён
