После прохождения этих курсов я уверенно создаю профессиональные визуализации и дашборды.
Shoebur RahmanСпециалист по закупкам, Giz Bangladesh
Описание курса
Вы когда-нибудь работали с наборами данных, содержащими огромное количество признаков? Вам действительно нужны все эти функции? Какие из них самые важные? В этом курсе вы изучите методы уменьшения размерности, которые помогут упростить ваши данные и создаваемые на их основе модели, сохраняя при этом информацию исходных данных и высокую точность прогнозирования.
Мы живём в эпоху информации — время, когда нас окружает избыток данных. Умение извлекать ключевую информацию из данных — востребованный навык на рынке. Модели обучаются быстрее на уменьшенных данных. В производственной среде более компактные модели обеспечивают более быстрое время отклика. Возможно, самое важное — меньшие объемы данных и модели зачастую проще для понимания. Снижение размерности — это ваш бритва Оккама в data science.
Разница между отбором признаков и извлечением признаков! Используя R, вы научитесь определять и удалять признаки с низкой или избыточной информацией, оставляя только наиболее информативные признаки. Это и есть отбор признаков. Вы также узнаете, как извлекать комбинации признаков в виде сжатых компонентов, содержащих максимальное количество информации. Вот что такое извлечение признаков!
Но самое главное — с помощью нового пакета tidymodel R вы будете работать с реальными данными, чтобы создавать модели с меньшим количеством признаков без существенной потери производительности.
Зачем изучать понижение размерности?
Мы живём в эпоху информации — время, когда нас окружает избыток данных. Умение извлекать ключевую информацию из данных — востребованный навык на рынке. Модели обучаются быстрее на уменьшенных данных. В производственной среде более компактные модели обеспечивают более быстрое время отклика. Возможно, самое важное — меньшие объемы данных и модели зачастую проще для понимания. Снижение размерности — это ваш бритва Оккама в data science.
Чему вы научитесь на этом курсе?
Разница между отбором признаков и извлечением признаков! Используя R, вы научитесь определять и удалять признаки с низкой или избыточной информацией, оставляя только наиболее информативные признаки. Это и есть отбор признаков. Вы также узнаете, как извлекать комбинации признаков в виде сжатых компонентов, содержащих максимальное количество информации. Вот что такое извлечение признаков!
Но самое главное — с помощью нового пакета tidymodel R вы будете работать с реальными данными, чтобы создавать модели с меньшим количеством признаков без существенной потери производительности.
Предварительные требования
Программа
План курса
1
Основы снижения размерности
Приготовьтесь упрощать большие наборы данных! Вы узнаете, что такое информация в данных, как оценивать важность признаков и как определять малоинформативные из них. К концу главы вы будете чётко понимать разницу между отбором признаков и извлечением признаков — двумя подходами к снижению размерности.
- Введение в снижение размерности50 XP
- Размерность и информативность признаков100 XP
- Взаимная информация признаков100 XP
- Информация и важность признаков50 XP
- Вычисление энтропии корневого узла100 XP
- Вычисление энтропий дочерних узлов100 XP
- Вычисление информационного прироста по цвету100 XP
- Важность снижения размерности в анализе данных и построении моделей50 XP
- Вычисление возможных комбинаций100 XP
- Проклятие размерности, переобучение и смещение100 XP
2
Отбор признаков по важности
Вы научитесь выявлять информативные и малоинформативные признаки с помощью доли пропущенных значений, дисперсии и корреляции. Затем узнаете, как строить рецепты tidymodels для отбора признаков на основе этих показателей.
3
Отбор признаков для улучшения качества модели
В третьей главе рассматривается разница между несупервизированным и супервизированным подходами к отбору признаков. Вы повторите, как использовать рабочие процессы tidymodels для построения моделей, а затем выполните супервизированный отбор признаков с помощью лассо-регрессии и моделей случайного леса.
4
Извлечение признаков и качество модели
В этой финальной главе вы сформируете глубокое понимание извлечения признаков — на примере того, как главные компоненты извлекают и объединяют наиболее важную информацию из различных признаков. Вы познакомитесь с тремя методами извлечения признаков — анализом главных компонентов (PCA), t-SNE и UMAP — и научитесь применять их как шаг предобработки данных в процессе построения моделей с помощью tidymodels.
R
Снижение размерности в R
Курс
завершён
