Очистка данных с помощью PySpark

Работать с данными непросто, а работать с миллионами или даже миллиардами строк — ещё сложнее. Вам передали код обработки данных, написанный на ноутбуке с относительно чистыми данными? Скорее всего, вам поручили перевести базовый процесс обработки данных из прототипа в рабочую среду. Возможно, вы уже сталкивались с реальными наборами данных: с пропущенными полями, нестандартным форматированием и на порядки большим объёмом. Даже если всё это для вас ново, этот курс поможет вам освоить всё необходимое для подготовки процессов обработки данных с помощью Python и Apache Spark. Вы изучите терминологию, методы и лучшие практики создания производительной, удобной в сопровождении и понятной платформы обработки данных.