什么是未标注数据？

未标注数据是指缺乏明确标识或分类的数据元素。这些数据没有用于指示其特征或属性的“标签”，因而更难以解读。然而，在以探索为主要目标而非明确指引的场景中，其价值不言而喻。

未标注数据详解

更具体地说，可以把未标注数据想象成一堆未分类的照片。不同于有标签的相册（其中每张照片可能附有人物、地点或时间信息），这堆照片并不给出任何直接的上下文。您依然可以通过观察照片获得洞见，但过程不那么直观。

在机器学习领域，未标注数据主要用于无监督学习模型。在这里，算法会在这类数据中筛查，发掘模式、关联或聚类，而不会事先得到“要找什么”的指示。这与用于监督学习的已标注数据形成对比：在监督学习中，每个数据点都会配有指导学习过程的标签。

使用未标注数据有哪些好处？

• 资源丰富。互联网和我们的数字互动会产生海量未标注数据。挖掘这座“宝库”能带来丰富多样的洞见。
• 发现隐藏模式。未标注数据可以揭示仅靠已标注数据可能被忽略的相关性或聚类——后者的关注点往往较为狭窄且预设。
• 成本更低。制作已标注数据既昂贵又耗时。使用未标注数据可以避免这些成本。

使用未标注数据有哪些局限？

• 复杂度更高。无监督学习算法往往需要大量数据才能准确刻画底层模式。随着数据量增加，算法的计算复杂度和内存需求也会上升，从而带来可扩展性挑战。
• 质量顾虑。如果数据存在噪声或不相关，模型可能会学习到错误的模式，导致次优、错误或无用的结果。无监督学习模型也易发生过拟合，尤其在处理复杂数据集时。当模型学习到数据中的噪声或无关变化而非底层结构时，就会发生过拟合，从而在未见数据上泛化能力和表现不佳。
• 解释困难。由于数据未被预分类，解释无监督学习模型的输出可能具有挑战性。无监督模型通常以聚类、关联或模式的形式给出结果。解读这些结果并理解其在现实世界中的含义并不容易，尤其在处理高维数据或复杂关系时。
• 缺乏“真值”。没有已标注数据，就没有确切方式评估无监督学习模型的性能，这使得衡量模型的准确性或有效性变得困难。

未标注数据可以如何使用？

未标注数据最常见的应用是在无监督机器学习中。常用算法包括 K-Means 聚类、层次聚类和主成分分析（PCA），用于识别模式并从数据中提取有用洞见。比如，PCA 可在不丢失关键信息的前提下简化数据，从而降低后续分析的难度。

未标注数据的真实应用示例

• 客户细分。企业可以分析客户的购买历史和人口统计信息，识别不同客户群并理解其偏好。
• 异常检测。异常检测系统可以发现分布式拒绝服务（DDoS）攻击，并提醒网络安全团队立即采取行动，以缓解攻击、保护网络基础设施。
• 欺诈检测。银行和金融机构可以发现异常的消费模式和交易，从而识别潜在的欺诈或恶意活动。
• 图像与视频识别。利用未标注数据训练的机器学习模型可以识别图像和视频中的物体、场景或模式。

项目灵感：用未标注的酒类数据制定营销策略

我处理过多种未标注数据集，其中让我印象深刻的一个项目是分析酒精饮料数据以制定促销策略。下面我整理了一些技巧，帮助您处理和分析未标注数据。您可以在此处找到全部代码和项目说明。

1. 使用 pandas 加载数据集。
2. 使用 pandas 和 Seaborn 检查空值、列间相关性以及数据分布。
3. 使用均值、中位数或众数插补填充缺失值。
4. 使用 geopy 创建经度和纬度列以支持空间分析。
5. 使用 Plotly 在地图上绘制酒精消费情况，以可视化地理数据。
6. 使用 Seaborn 创建更多可视化，以理解随时间变化的趋势。
7. 使用 Plotly Animation 为相关方创建交互式仪表板。
8. 使用肘部法确定 K-Means 聚类的最佳簇数。
9. 执行 K-Means 聚类，并在散点图上用不同颜色可视化各簇结果。
10. 分析各簇以理解其中的模式。
11. 执行层次聚类，并用树状图可视化结果。
12. 基于聚类分析，确定最适合开展营销活动的前 8 个城市。

我很享受这个项目的过程，并从数据集和公司中获得了宝贵洞见。通过统计技术，我们在未标注数据集中发现了隐藏模式，可帮助您和您的团队制定更优策略。

想要进一步了解 AI和机器学习？请查看以下资源：

• 机器学习概论课程
• 人工智能概论课程
• 学习 ChatGPT 课程
• 什么是机器学习？