After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Опис курсу
Вивчайте Spark SQL
Якщо ви знайомі з SQL і чули багато хорошого про Apache Spark, цей курс саме для вас. Apache Spark — це обчислювальний фреймворк для обробки великих даних, а Spark SQL — це компонент Apache Spark. Цей чотиригодинний курс покаже вам, як вивести Spark на новий рівень корисності, використовуючи розширені можливості SQL, такі як віконні функції.Протягом чотирьох розділів ви використовуватимете Spark SQL для аналізу даних часових рядів, витягуватимете найуживаніші слова з текстового документа, створюватимете набори ознак із тексту природною мовою та використовуватимете їх для прогнозування останнього слова в реченні за допомогою логістичної регресії.
Дізнайтеся про можливості Spark SQL
Ви почнете зі створення та виконання запитів до таблиці SQL у Spark, а також навчитеся використовувати віконні функції SQL для обчислення накопичувальних сум, різниць між значеннями та інших операцій.Далі ви дізнаєтеся, як використовувати віконну функцію в Spark SQL для обробки природної мови, зокрема застосовуючи аналіз ковзного вікна для виявлення поширених послідовностей слів.
У розділі 3 ви дізнаєтеся, як використовувати SQL Spark UI, щоб правильно кешувати DataFrame і таблиці SQL перед вивченням найкращих практик ведення журналів у Spark.
Нарешті ви використовуєте всі навички, яких навчилися до цього моменту, щоб завантажувати й токенізувати необроблений текст перед виділенням послідовностей слів. Потім ви використаєте логістичну регресію для класифікації тексту, використовуючи необроблені дані природної мови для навчання текстового класифікатора.
Отримайте ґрунтовне ознайомлення зі Spark SQL
Наприкінці курсу ви матимете ґрунтовне розуміння Spark SQL і зрозумієте, як Spark поєднує потужність розподілених обчислень із простотою використання Python і SQL.Попередні вимоги
Навчальний план
Зміст курсу
1
PySpark SQL
У цьому розділі ви навчитеся створювати й запитувати SQL-таблицю в Spark. Spark SQL додає виразність SQL до Spark. Ви також дізнаєтеся, як використовувати віконні функції SQL у Spark. Віконні функції виконують обчислення для рядків, пов'язаних з поточним рядком. Вони значно спрощують отримання результатів, які важко виразити лише через з'єднання та традиційні агрегації. Ми використаємо віконні функції для накопичувальних сум, різниць та інших операцій, які складно виконати в базовому SQL.
- Створення та запити до таблиці SQL у Spark50 XP
- Створіть таблицю SQL з датафрейма100 XP
- Визначте назви стовпців таблиці100 XP
- SQL з віконними функціями50 XP
- Наростальні суми за допомогою SQL із віконною функцією100 XP
- Виправте зламаний запит100 XP
- Крапкова нотація та SQL50 XP
- Агрегування крок за кроком100 XP
- Агрегування одного й того самого стовпця двічі100 XP
- Агрегування: dot SQL100 XP
- Перетворіть віконну функцію з крапкової нотації на SQL100 XP
2
Використання SQL з віконними функціями для опрацювання природної мови
У цьому розділі ви завантажите текст природною мовою. Потім застосуєте ковзний аналіз вікном, щоб знайти часті послідовності слів.
3
Кешування, журналювання та інтерфейс Spark UI
У попередніх розділах ви навчилися користуватися виразністю SQL із віконними функціями. Однак тепер важливо розуміти, як правильно кешувати датафрейми та SQL-таблиці. Також важливо вміти оцінювати роботу застосунку. Ви навчитеся робити це за допомогою Spark UI. Ви також опануєте найкращу практику журналювання в Spark. Spark SQL надає ще один корисний інструмент для налаштування продуктивності запитів — план виконання запиту. Ви дізнаєтеся, як використовувати план виконання для оцінювання походження (provenance) датафрейму.
4
Класифікація тексту
У попередніх розділах ви отримали інструменти для завантаження сирого тексту, його токенізації та виділення послідовностей слів. Це вже корисно для аналізу, а також придатно для машинного навчання. Тепер усе вивчене поєднається в застосуванні логістичної регресії для класифікації тексту. До кінця цього розділу ви завантажите сирі дані природної мови та використаєте їх, щоб навчити текстовий класифікатор.
Вступ до Spark SQL у Python
Курс
завершено
