糟糕数据的10个信号：如何识别低质量数据

什么是糟糕数据？

如果我们把高质量数据定义为“适用”的数据，那么低质量数据就是“不适用”的数据。这意味着这些数据不足以支撑其所被用于的结果。

通常，原始数据可能会被视为糟糕数据。比如，从 Twitter 等社交媒体网络提取的数据是不结构化的，在其原始状态下尚未准备好用于分析或其他洞察性用途。

不过，通过数据清洗与处理，原始数据可以转化为优质数据，而这通常需要时间。

最简单的说法是，任何缺乏结构、并存在不准确、不完整、不一致、重复等质量问题的数据，都可被视为糟糕数据。

为何数据质量重要

数据质量是对数据定性或定量状态的度量：它依据准确性、完整性、一致性、可靠性以及是否为最新等因素来评估数据状况。除了客户数据，这还包括产品数据、公司数据、供应商数据等。

确保您所拥有的数据具备良好质量至关重要。要从数据中获得价值，我们需要数据准确、足够有用以支撑预期结果，并且足够好以最大化利用现有资源。

为什么会出现低质量数据？

有三类主要的数据质量问题会直接影响运营效率：

• 人为错误。最常见的原因之一是人为错误；这通常发生在数据录入流程缺乏标准化，或员工手动在电子表格中输入数据时。这两种情况都会增加出错概率。
• 分散系统。组织往往将数据存放在多个彼此分散、各自有规则的系统中。构建数据集可能需要整合来自不同系统的多个来源，从而导致数据重复、字段缺失或标签不一致。不同字段也可能含义相同，却在另一系统中以不同方式表示。
• 无效数据。变化无处不在，企业也在不断演进。当这种情况发生时，数据也必须随之变更（例如改变数据结构的细节层级、弃用字段或更新数据字段）。然而，分析师可能只会在即将使用数据时才意识到这些必要的更改。

这些因素是糟糕数据的主要成因，并会在需要用数之时成为瓶颈。

您可以在这篇 DataCamp 数据清洗教程中学习如何在 Python 中提升数据质量。

低质量数据的代价

低质量数据的成本因多种因素而异。在某些场景中，成本可能积累在下游流程或关键运营的延误中。在最糟糕的情况下，您可能会遭遇整个流程的失败。

让我们来看一看低质量数据的部分成本。

有偏差的洞察

我们从数据中得到的洞察受制于数据本身的质量。例如，业务领导者可能基于数据洞察做出关键决策，却没有意识到用于得出洞察的多个来源包含重复。冗余会扭曲结果，使其无法反映真实情况，从而导致有偏差的洞察。

财务支出

在一篇关于为数据质量改进构建商业论证的文章中，Gartner 研究指出，“组织认为低质量数据平均每年导致 1500 万美元的损失”，并且“随着信息环境日益复杂——这是各类规模组织都面临的挑战——这一情况可能会进一步恶化”。

组织效率

随着更多企业以数据为核心运营，糟糕数据会直接影响整个组织。例如，销售团队可能会向错误的目标受众推介产品——如果他们能够获得高质量数据，这种情况本可以避免。

迁移过程中的问题

设想一个组织决定从一个平台迁移到另一个平台；新平台可能与旧平台在数据治理和标准化规则上存在差异，从而引发迁移问题。您也可能遇到平台以不同格式存储数据的情况：这会使准确映射数据变得困难。

整体性瓶颈

在组织的数字化转型过程中，低质量数据会迅速引发严重瓶颈。出现的问题必须被修复，这意味着转型项目被按下暂停键。多次重复这一过程会极大拖累采用速度并消耗资源。

糟糕数据的10个信号

输入质量决定输出质量。用不完整、不一致或已损坏的数据几乎不可能生成准确可靠的报告：垃圾进，垃圾出。

那么，如何判断您的组织是否存在数据质量问题？以下是需要留意的十个信号（不分先后）：

#1 缺失重要信息

数据缺失可能由多种原因造成，例如设备故障、文件丢失、录入不完整等。尽管任何数据集中出现部分缺失并不罕见，但重要信息的缺失会带来诸多挑战。主要包括三点：

1. 数据缺失会降低统计效能，从而降低发现真实效应的概率。
2. 缺失数据可能导致参数估计出现偏差
3. 缺失关键信息会降低样本的代表性。

您可以通过我们的在线课程了解更多在 Python 中处理缺失数据的方法。

#2 在琐碎任务上耗费过多精力与时间

如果您感觉大部分时间都花在手工任务上，您很可能正面对糟糕数据。无效（或缺失）的数据管理策略可能导致您手动整理来自各个来源的数据、追着人补齐缺口、并将这些数据录入电子表格。

#3 缺乏可执行的洞察

可执行的洞察是能直接转化为行动或响应的结论。因此，它必须与决策者相关、具体且有价值。

这类洞察的价值在于能带来新信息。但这并不意味着必须来自全新的数据集。如果您的数据只是在告诉您那些已确定无疑的事情，那么它就没有价值，也不具备相关性。

#4 数据分析困难重重

数据规范化的目的在于：

1. 确保表格仅包含与主键直接相关的数据
2. 确保每个数据字段只包含一个数据元素
3. 确保冗余数据被移除

如果没有规范化的数据，分析可能会极其困难，因为每个数据源都可能带有各自的格式、字段和标签，彼此差异很大。

#5 错失机遇

当您不信任当前的数据管理策略时，心里可能总萦绕着“没有把现有数据的价值发挥到极致”的想法。一个明显信号是，您对不必要风险的暴露增加，在突发变化来临时显得措手不及。

#6 洞察无法及时产生

您必须能够在集中式存储库中即时访问数据。这使得生成报告变得快速且容易，并带来其他好处。例如减少冗余，从而降低错误并简化信息访问。

数据集中意味着整个组织依据相同的蓝图工作并遵循相同的规则。其核心理念是避免因使用分散数据与不同工具而产生的差异。

#7 数据中错误过多

人非圣贤，孰能无过。当由人工手动将数据录入系统时，期待完美数据并不现实。数据应进行审计。这也有助于明确数据中的错误究竟源于服务提供方还是人为失误。

#8 决策者缺乏信心

数据应当带来信心。拥有可信赖的数据是做出数据驱动决策的基础前提。当决策者对数据缺乏信心时，他们往往会回归旧方式，也就意味着您会看到基于直觉和经验判断的决策。

通过我们的在线课程进一步了解面向业务的数据驱动决策的重要性。

#9 关键业务指标缺乏可见性

当关键绩效指标（KPI）无法实时获取时，便难以明确哪些行动能带来最大影响。

#10 脱节的客户体验

一个清晰（且可能代价高昂）的信号是：客户收到的内容与其所处购买旅程阶段不匹配。在当下时代，消费者不再只是“想要”个性化体验；他们“期望”如此。如果客户在各接触点没有获得个性化体验，那么客户体验就可能被视为脱节。

如果您在组织中识别出不止几个这样的症状，就值得警惕：很可能存在数据质量问题。通过我们的在线课程了解更多关于在 Python 中构建推荐引擎的内容。

如何管理糟糕数据

希望您现在已经意识到，并非所有数据都是好的。管理糟糕数据的最佳方式是在源头防止低质量的产生。然而，如果您已经在与糟糕数据周旋，要强制落实这一点可能会比较困难。

如果您已经收集到了糟糕数据，以下步骤可帮助您进行管理：

步骤 1：直面现实

您拥有糟糕数据。接受它。如果您不承认糟糕数据是个问题，那么您很可能也不会愿意采取措施去改进。

步骤 2：更新您的糟糕数据

基于您识别糟糕数据的方法，必须对数据进行清洗——这很可能包括更新现有记录。

步骤 3：引入数据质量项目

数据质量项目用于降低错误风险，同时建立通用且可靠的流程，以支持数据的使用与生产。

步骤 4：改进数据采集技术

实施更优的数据获取方法：这可能包括在非必要时避免索取信息，并说明您为何需要特定数据、打算如何使用、以及客户分享数据能获得什么好处。

步骤 5：教育周围的人

要更好地管理数据，员工必须了解如何收集、处理、处置与管理数据。

管理糟糕数据的关键在于从源头加以应对。如果您已经收集到了糟糕数据，您必须承认数据有问题，然后按需进行数据清洗与更新。完成清理后，引入数据质量项目以改进组织的数据管理技术，对降低再次面临此类问题的风险至关重要。您的数据技能是否足够？通过 DataCamp 的 面向业务的基础数据技能技能路径，学习如何用数据回答真实世界的问题。