After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Описание курса
Изучите Spark SQL
Если вы знакомы с SQL и слышали много хорошего об Apache Spark, этот курс для вас. Apache Spark — это вычислительный фреймворк для обработки больших данных, а Spark SQL — это компонент Apache Spark. Этот четырёхчасовой курс покажет вам, как вывести Spark на новый уровень полезности, используя расширенные возможности SQL, такие как оконные функции.В течение четырёх глав вы будете использовать Spark SQL для анализа данных временных рядов, извлекать наиболее часто встречающиеся слова из текстового документа, создавать наборы признаков из текста на естественном языке и использовать их для прогнозирования последнего слова в предложении с помощью логистической регрессии.
Откройте для себя возможности Spark SQL
Вы начнёте с создания и выполнения запросов к таблице SQL в Spark, а также узнаете, как использовать оконные функции SQL для вычисления накопительных сумм, разностей между последовательными значениями и других операций.Далее вы узнаете, как использовать оконную функцию в Spark SQL для обработки естественного языка, включая применение анализа скользящего окна для поиска распространённых последовательностей слов.
В главе 3 вы узнаете, как использовать SQL Spark UI для правильного кэширования DataFrame и таблиц SQL перед изучением лучших практик ведения логов в Spark.
Наконец, вы используете все навыки, освоенные до этого момента, чтобы загружать и токенизировать необработанный текст перед извлечением последовательностей слов. Затем вы будете использовать логистическую регрессию для классификации текста, используя необработанные данные естественного языка для обучения текстового классификатора.
Получите всестороннее введение в Spark SQL
К концу курса вы будете уверенно понимать Spark SQL и поймёте, как Spark сочетает мощь распределённых вычислений с простотой использования Python и SQL.Предварительные требования
Программа
Структура курса
1
PySpark SQL
В этой главе вы научитесь создавать и запрашивать SQL-таблицы в Spark. Spark SQL привносит в Spark всю выразительность языка SQL. Вы также освоите оконные функции SQL в Spark. Оконные функции выполняют вычисления по строкам, связанным с текущей строкой. Они значительно упрощают получение результатов, которые трудно выразить с помощью только объединений и традиционных агрегаций. Мы будем использовать оконные функции для вычисления нарастающих сумм, разностей и других операций, которые сложно реализовать средствами базового SQL.
- Создание SQL-таблицы в Spark и работа с ней50 XP
- Создание таблицы SQL из датафрейма100 XP
- Определение названий столбцов таблицы100 XP
- Оконные функции SQL50 XP
- Накопленные суммы с помощью оконных функций SQL100 XP
- Исправьте неверный запрос100 XP
- Точечная нотация и SQL50 XP
- Агрегация шаг за шагом100 XP
- Агрегирование одного столбца дважды100 XP
- Агрегирование: точечная нотация и SQL100 XP
- Преобразование оконной функции из точечной нотации в SQL100 XP
2
Оконные функции SQL для обработки естественного языка
В этой главе вы будете загружать текст на естественном языке, а затем применять анализ скользящего окна для поиска частых последовательностей слов.
3
Кэширование, журналирование и Spark UI
В предыдущих главах вы познакомились с возможностями оконных функций SQL. Однако их богатые возможности делают особенно важным понимание того, как правильно кэшировать датафреймы и SQL-таблицы. Не менее важно уметь оценивать производительность своего приложения. Вы научитесь делать это с помощью Spark UI. Также вы изучите лучшие практики журналирования в Spark. Spark SQL предоставляет ещё один полезный инструмент для оптимизации запросов — план выполнения запроса. Вы научитесь использовать план выполнения для анализа происхождения датафрейма.
4
Классификация текста
В предыдущих главах вы освоили инструменты для загрузки необработанного текста, его токенизации и извлечения последовательностей слов. Это уже весьма полезно для анализа, но столь же ценно и для машинного обучения. Всё изученное объединяется в этой главе: вы применяете логистическую регрессию для классификации текста. К концу главы вы загрузите данные на естественном языке и обучите на их основе классификатор текста.
Введение в Spark SQL на Python
Курс
завершён
