Build your ultimate AI agent
Описание курса
Очистка данных имеет ключевое значение для решения бизнес-задач. Когда качество данных оставляет желать лучшего, аналитика становится ненадёжной, модели машинного обучения дают неточные прогнозы, а бизнес-решения оказываются ошибочными.Этот курс познакомит вас с инструментами Java для работы с качеством данных. Вы изучите статистические методы для выявления выбросов и обработки пропущенных значений, освоите преобразования данных — от стандартизации текста до работы с датами в разных часовых поясах — и научитесь реализовывать проверки диапазонов с помощью регулярных выражений и аннотаций валидации.Работая с библиотекой Tablesaw, вы будете очищать реальные табличные данные и выполнять преобразования, подготавливающие их к анализу. По завершении курса вы будете уверенно обеспечивать качество данных на каждом этапе своих приложений.
Предварительные требования
Программа
Структура курса
1
Оценка качества данных
Изучите основные методы оценки качества данных в Java-приложениях. Узнайте, как использовать описательную статистику для выявления выбросов, обнаруживать пропущенные значения и корректно с ними работать, а также проверять типы данных для предотвращения ошибок. Освойте ключевые инструменты: `DescriptiveStatistics` для численного анализа, `Optional` для работы с null-значениями и `DateTimeFormatter` для валидации дат.
- Статистика данных50 XP
- Вычисление среднего, минимума и максимума100 XP
- Вычисление перцентилей100 XP
- Обнаружение пустых значений50 XP
- Обнаружение отсутствующих числовых значений100 XP
- Обнаружение пропущенных строк100 XP
- Проверка типов данных50 XP
- Разбор текста в даты и числа100 XP
- Безопасное чтение CSV-файлов100 XP
2
Преобразование данных
Освойте методы преобразования данных для надёжных Java-приложений. Научитесь нормализовывать строки с помощью регулярных выражений для единообразного сопоставления текста, стандартизировать категории с использованием `EnumMap` и `HashMap` для создания устойчивых таблиц поиска, а также обрабатывать форматы дат через time API Java с `LocalDate` и `ZoneId` для согласованной работы с датами в разных часовых поясах.
3
Валидация данных
Обеспечьте качество данных с помощью методов валидации. Научитесь реализовывать проверку диапазонов для числовых значений и дат, освойте валидацию по шаблонам с применением регулярных выражений для проверки форматов данных и используйте валидацию ограничений для соблюдения бизнес-правил.
4
Очистка табличных данных
Превращайте неупорядоченные табличные данные в чистые, пригодные для использования наборы данных с помощью Tablesaw — мощной библиотеки Java. Вы научитесь оценивать качество данных, стандартизировать содержимое столбцов и применять операции фильтрации для подготовки данных. По окончании главы вы сможете уверенно преобразовывать сырые наборы данных в таблицы, готовые к анализу.
J
Очистка данных на Java
Курс
завершён

