After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Описание курса
Узнайте, как очищать данные в Python
Говорят, что специалисты по данным тратят 80% своего времени на очистку и обработку данных и только 20% — на их анализ. Очистка данных — это важнейший этап для каждого специалиста по данным, поскольку анализ «грязных» данных может привести к неточным выводам.В этом курсе вы узнаете, как выявлять, диагностировать и устранять различные проблемы очистки данных в Python — от простых до продвинутых. Вы будете работать с некорректными типами данных, проверять, что ваши данные находятся в правильном диапазоне, обрабатывать пропущенные данные, выполнять связывание записей и многое другое!
Узнайте, как очищать различные типы данных
Первая глава курса рассматривает распространённые проблемы с данными и способы их устранения. Сначала вы разберётесь в основных типах данных и в том, как работать с каждым из них по отдельности. После этого вы примените ограничения диапазона и удалите дублирующиеся точки данных.Последняя глава посвящена связыванию записей — мощному инструменту для объединения нескольких наборов данных. Вы узнаете, как связывать записи, вычисляя сходство между строками. Наконец, вы примените новые навыки, чтобы объединить два набора данных с отзывами о ресторанах в один чистый основной набор данных.
Повысьте уверенность в очистке данных
К концу курса вы обретёте уверенность в очистке данных разных типов и сможете использовать связывание записей для объединения нескольких наборов данных. Очистка данных — это важный навык для специалистов по данным. Если вы хотите узнать больше об очистке данных в Python и о её применении, ознакомьтесь со следующими треками: Специалист по данным с Python и импортом и очисткой данных с Python.Предварительные требования
Программа
Структура курса
1
Типичные проблемы с данными
В этой главе вы научитесь справляться с наиболее распространёнными проблемами «грязных» данных. Вы будете преобразовывать типы данных, применять ограничения диапазона для исключения будущих дат и удалять дублирующиеся записи, чтобы избежать двойного счёта.
- Ограничения типов данных50 XP
- Распространённые типы данных100 XP
- Числовые данные или... ?100 XP
- Сложение строк и конкатенация чисел100 XP
- Ограничения диапазона данных50 XP
- Ограничения на размер шин100 XP
- Назад в будущее100 XP
- Ограничения уникальности50 XP
- Насколько велико ваше подмножество?50 XP
- Поиск дубликатов100 XP
- Устранение дубликатов100 XP
2
Проблемы с текстовыми и категориальными данными
Категориальные и текстовые данные нередко оказываются самой неупорядоченной частью набора данных из-за своей неструктурированной природы. В этой главе вы узнаете, как исправлять несоответствия в пробелах и регистре меток категорий, объединять несколько категорий в одну и приводить строки к единому формату.
3
Сложные проблемы с данными
В этой главе вы познакомитесь с более сложными задачами очистки данных — например, убедитесь, что все значения весов записаны в килограммах, а не в фунтах. Вы также освоите ценные навыки проверки корректности добавленных значений и научитесь предотвращать негативное влияние пропущенных значений на результаты анализа.
4
Связывание записей
Связывание записей — это мощная техника объединения нескольких наборов данных, которая применяется в случаях, когда значения содержат опечатки или написаны по-разному. В этой главе вы научитесь связывать записи, вычисляя степень схожести строк, а затем используете полученные навыки для объединения двух наборов данных с отзывами о ресторанах в единый чистый итоговый набор.
Очистка данных в Python
Курс
завершён
