Build your ultimate AI agent
Описание курса
Если спросить большое количество специалистов по данным и аналитиков, какие задачи встречаются в их работе чаще всего, очистка данных окажется в ответах практически каждого. Всё потому, что реальные данные редко бывают аккуратными. Этот курс поможет вам справиться с «грязными» данными: вы научитесь очищать данные, хранящиеся в базе данных PostgreSQL. Вы узнаете, как решать типичные проблемы — работать с неаккуратными строками, обрабатывать пустые значения, сравнивать строки по степени похожести и многое другое. Всё это вы отработаете на практике, используя интересные (но «грязные») наборы данных, предоставленные программой открытых данных Нью-Йорка. Готовы навести порядок в своих данных?
Предварительные требования
Программа
Структура курса
1
Основы очистки данных
В этой главе вы познакомитесь с подходами к очистке данных при работе с базами данных PostgreSQL и поймёте, почему важно очищать данные как можно раньше в процессе обработки. Вы также освоите базовые методы редактирования строк — например, удаление лишних пробелов, — а затем перейдёте к более сложным темам: сопоставлению по шаблону и сравнению строк по схожести для выявления значений, требующих очистки.
- Введение в очистку данных50 XP
- Формирование подхода к очистке данных50 XP
- Применение функций для очистки строк100 XP
- Поиск по шаблону50 XP
- Классификация нарушений правил парковки по времени суток100 XP
- Маскирование персональных данных с помощью регулярных выражений100 XP
- Сопоставление похожих строк50 XP
- Сопоставление неоднородных названий цветов100 XP
- Стандартизация названий цветов100 XP
- Стандартизация нескольких цветов100 XP
- Форматирование текста для коллег100 XP
2
Пропущенные, дублирующиеся и недопустимые данные
Вы научитесь писать запросы для решения типичных проблем, связанных с пропущенными, дублирующимися и недопустимыми данными в таблицах базы данных PostgreSQL. В ходе практических упражнений вы будете использовать функцию COALESCE(), запрос SELECT и конструкцию WHERE для очистки «грязных» данных.
3
Преобразование данных
Иногда данные, хранящиеся в базе данных PostgreSQL, необходимо преобразовать из одного типа в другой. В этой главе вы изучите выражения для преобразования текста в числовые типы, а также узнаете, как форматировать строки для работы с временными данными.
4
Трансформация данных
В заключительной главе вы научитесь трансформировать данные и строить сводные таблицы. Работая с реальными почтовыми данными, вы узнаете, как объединять и разбивать адреса на составные части — город, штат и почтовый индекс — с помощью множества мощных функций, включая CONCAT(), SUBSTRING() и REGEXP_SPLIT_TO_TABLE().
S
Очистка данных в базах данных PostgreSQL
Курс
завершён
