Build your ultimate AI agent
课程介绍
数据清洗对解决业务问题至关重要。数据质量一旦降低,分析就不可靠,机器学习模型会做出糟糕预测,业务决策也会偏离正轨。本课程将为您提供在 Java 中正面应对数据质量问题的工具。您将学习用统计方法识别离群值与处理缺失值,掌握从文本规范化到跨时区日期管理等数据变换,并使用正则表达式与校验注解实现范围检查。借助 Tablesaw,您将清洗真实的表格数据,并完成为分析做准备的各类变换。课程结束后,您将能够在应用的每个环节确保数据质量。
先修要求
课程大纲
课程大纲
1
评估数据质量
学习在 Java 应用中评估数据质量的核心技术。了解如何使用描述性统计识别离群值,恰当检测并处理缺失值,以及验证数据类型以避免错误。熟练掌握用于数值分析的 DescriptiveStatistics、用于空值处理的 Optional,以及用于日期校验的 DateTimeFormatter 等关键工具。
2
数据变换
掌握面向可靠 Java 应用的数据变换技术。学习使用正则表达式规范化字符串以实现一致的文本匹配,使用 EnumMap 和 HashMap 标准化类别以构建稳健的查找表,并利用 Java 的时间 API(包括 LocalDate 与 ZoneId)处理日期格式,实现跨时区的一致日期处理。
3
数据验证
通过验证技术确保数据质量。学习为数值和日期实现范围验证,掌握使用正则表达式进行模式验证以核对数据格式,并应用约束验证来执行业务规则。
4
表格数据清洗
使用强大的 Java 库 Tablesaw,将杂乱的表格数据转换为干净、可用的数据集。您将评估数据质量,标准化列内容,并应用筛选操作为分析做准备。到课程结束时,您将能够自信地将原始数据集转换为可供分析的表格。
J
Java 数据清洗
课程完成

