Введение в PySpark

Этот курс идеально подходит для инженеров данных, специалистов по данным и практиков машинного обучения, которые хотят эффективно работать с большими наборами данных. Независимо от того, переходите ли вы с таких инструментов, как Pandas, или впервые погружаетесь в технологии больших данных, этот курс предлагает прочное введение в PySpark и распределённую обработку данных.

Почему Spark? Почему сейчас?

Откройте для себя скорость и масштабируемость Apache Spark — мощного фреймворка, созданного для работы с большими данными. Благодаря интерактивным урокам и практическим заданиям вы увидите, как обработка данных в памяти в Spark дает ему преимущество перед традиционными фреймворками, такими как Hadoop. Вы начнёте с настройки сеансов Spark и погрузитесь в основные компоненты, такие как устойчивые распределённые наборы данных (RDD) и DataFrame. Научитесь легко фильтровать, группировать и объединять наборы данных, работая на реальных примерах.

Повысьте свои навыки Python и SQL для работы с большими данными

Узнайте, как использовать PySpark SQL для запросов к данным и их управления с помощью знакомого синтаксиса SQL. Освойте схемы, сложные типы данных и пользовательские функции (UDF), одновременно развивая навыки кэширования и оптимизации производительности распределённых систем.

Создайте прочную основу в области больших данных

К концу этого курса вы будете уверенно обрабатывать, запрашивать и обрабатывать большие данные с помощью PySpark. Обладая этими базовыми навыками, вы будете готовы изучать такие продвинутые темы, как машинное обучение и аналитика больших данных.