无论组织所处的职能或行业为何,预测性分析都是提升决策能力的关键引擎。此外,实施预测性分析还能带来难以从其他途径获得的竞争优势。
本文将介绍什么是预测性分析,探讨其应用实例,并解析其工作原理。
什么是预测性分析?
预测性分析是一个统称,涵盖多种统计与数据分析技术——包括数据挖掘、预测建模与机器学习。其主要目的是基于历史数据中的模式与洞见,对结果、趋势或事件进行预测。
预测性分析是组织中四个分析能力阶段中的第二个阶段。四个阶段依次为:
- 描述性分析——识别过去发生了什么
- 诊断性分析——理解为何会发生
- 预测性分析——预测接下来会发生什么
- 规范性分析——优化并试验如何最好地促成它发生
组织必须按此顺序逐步达成这些分析阶段,因为只有理解过去,才能有效预测未来。通过这种路径,组织从了解“发生了什么”与“为何发生”,走向预测“接下来会发生什么”。分析的最终附加阶段则是实现完全优化、可自主学习并随时间持续进化的分析系统,即所谓的“智能”系统。
预测建模涉及两类机器学习算法:监督式与无监督式。监督式机器学习算法用于预测目标结果,是预测性分析的主要工具。
如需逐步了解如何在预测性分析中使用机器学习,请参阅我们的歌词分析教程。
监督式机器学习主要有两种类型:
- 分类模型——用于预测观测是否属于特定类别或类别集合。例如,预测客户是否会流失。常见的分类技术包括决策树和逻辑回归模型。
- 回归模型——用于预测一个数值。例如,预测广告的点击率。预测此类数值的常用方法包括线性回归与多项式回归模型。
另一方面,无监督式机器学习算法并不直接进行预测,而是旨在发现数据中的模式,从而对相似的数据点进行标注或聚类。例如,最流行的无监督算法之一是 k-means 聚类,它将相似的数据点(如客户)聚集成簇。
预测性分析还可以包含其他统计与数据挖掘技术,用于识别当前趋势、预测未来并对结果进行预估。我们将在本文后面讨论一些组织如何使用预测性分析的具体实例。
规范性分析 vs 预测性分析
规范性分析是组织分析能力的第三阶段,建立在前一阶段构建的预测模型之上。
预测性分析告诉我们为何会发生以及接下来可能发生什么,而规范性分析的重点在于对已有模型进行优化与试验。它回答您的“如果……会怎样”的问题,并基于通过实验与模拟获得的信息,帮助您选择最佳方案。
亚马逊 CEO 杰夫·贝索斯曾著名地表示:“亚马逊的成功,取决于我们每年、每月、每周、每天所做实验的数量。”
在分析流程与项目的各个方面开展实验,是成功开展规范性分析的关键要求。
预测性分析示例
预测性分析将数据点转化为可为组织多方面提供驱动与参考的宝贵洞见。
以下是组织可以利用预测性分析的几个示例:
预测财务关键指标
基于事实与数据而非仅凭直觉,预测收入、支出与库存等关键财务指标,有助于更有效且更有依据地做出决策。
检测并减少银行业欺诈
欺诈活动是银行面临的成本最高、破坏性最强的风险之一。预测性分析可帮助识别异常与潜在漏洞,提示可能的欺诈行为,从而让机构迅速采取行动。
预测客户是否会违约
发放贷款对保险与金融机构而言本质上具有风险。使用预测模型来判断客户是否可能违约,是这些机构显著降低风险的最佳方式。
预测员工流失
预测性分析可通过预测员工流失来提升组织的人力资源管理水平。这包括预判未来的招聘需求,以及找准激励员工的合适时机。
理解客户购买行为
通过发现客户购买背后的模式并探究其购买行为的原因,组织可提升销量与转化率。您可以使用Python 中的客户分析与 A/B 测试来理解这些行为。
将营销活动定位到合适的客户
通过在恰当的时间触达合适的客户,企业可以提升广告点击率与整体营销活动的转化率。若想深入了解预测性分析在营销中的应用,请查看 DataCamp 的课程:使用 Python 预测客户流失。
减少制造浪费
预测性分析可帮助您的组织理解制造浪费相关因素,从而在正确的领域采取行动。使用预测模型理解这些因素,能为组织带来可观的成本节约。
预测性分析如何运作?
市面上有许多不同的预测性分析工具可供选择。您选择的工具取决于分析目的——从 Tableau 与 Power BI 等商业智能与可视化工具,到R 语言与 Python 等复杂的编程语言。
如需 Python 中预测性分析的入门课程,请参阅我们的Python 预测性分析入门课程。若您已熟悉 Python 或预测性分析,可查看Python 预测性分析进阶课程。
大多数预测性分析项目遵循相似的工作流与流程。本节将介绍项目中最常见的一些主要步骤。
目标
每个预测性分析项目都应从理解目标、明确问题并选择最佳解决方案开始。
预测性分析项目旨在帮助组织实现其战略目标。当项目目标与组织的关键目标相呼应时,更容易获得相关层级的支持。这样不仅能确保项目有价值,也能提升其成功率。
一旦确定项目目标,自然会导出项目需要解决的清晰问题,从而指引实现目标所需的解决方案。
数据
数据来源多样,如 CSV 文件、数据库、数据仓库与第三方应用。如尚未完成,您应在开展预测性分析与建模之前,将这些数据源整合并集中管理。这可确保数据安全,并将数据质量与治理放在首位。
老话常谈:“输入垃圾,输出垃圾。”尽量避免将所有数据都存放在电子表格中。尽管电子表格灵活,但其易于被编辑与共享,难以管控数据的质量与安全。
此外,请考虑您当前的数据量以及未来希望产生的数据量。若没有合适的存储系统与流程来处理更大规模的数据,构建预测模型将变得不必要地耗时,且难以有效解决问题。
转换
预测性分析项目中的数据转换步骤包括清洗、探索与为后续分析或建模做准备。
在清洗数据时,您应留意缺失值与异常值,或在问题语境下不合理的可疑取值。这与数据探索相辅相成——通过探索数据,您将更好地理解数据,异常也会更易被识别。
最后,需要为项目的下一步准备数据。具体流程取决于所需执行的算法与分析类型。
例如,若您要拟合线性回归模型来预测广告活动的点击率,则必须考虑线性回归的假设并判断数据是否满足这些假设。同时,还需将数据中的任何分类变量转换为虚拟变量,即常说的独热编码(one-hot encoding)。
在进入构建预测模型之前,请务必将数据划分为训练集、测试集与验证集。您将把模型拟合到训练集上,以学习数据中的模式来进行预测;此外,您还需要验证集来迭代改进模型,并最终使用测试集获得模型准确性的无偏估计。
分析
如果您使用相对简单的监督式机器学习算法(如逻辑回归)来构建预测模型,那么该步骤需要您拟合模型并评估结果。然而,一些更复杂的算法(如神经网络)则需要经过精细的调参与调整,才能产出准确的预测。
需要牢记的一点是,许多预测模型需要大量数据才能在现实世界中具备良好的泛化能力。如果您尚未具备这些模型所需的数据规模,可以考虑其他技术,在较小规模上进行预测或预报。这同样取决于您的目标与要解决的业务问题,可能涉及数据挖掘与多种统计方法的应用。
部署
预测性分析项目的最后一步是部署。这是项目的最终产出或结果,也是模型为组织创造价值的载体。根据项目与所选解决方案的不同,此步骤可能从一份简单的报告或仪表板,到在现有平台中的复杂部署不等。
请评估您的组织是否具备应对复杂部署的足够人才,以确保流程顺畅高效。例如,至少配备 1 名数据工程师,通常就能显著提升模型部署的成功率。
结论
分析,尤其是预测性分析,并非少数科技巨头与大型企业的专属,也并非只属于组织内部的少数人。如今,各类规模的组织都在使用分析,且几乎适用于各行各业。此外,预测性分析如今也成为组织内各团队分布式拥有与负责的职能。
预测性分析几乎能为所有组织带来显著的竞争优势。但要实现成功,务必审慎考虑并理解构成高质量预测性分析项目的各个要素。本文提供了预测性分析指南、其在业务问题中的应用方式,以及其背后的工作流程。
无论组织所处的职能或行业为何,预测性分析都是提升决策能力的关键引擎。此外,实施预测性分析还能带来难以从其他途径获得的竞争优势。
本文将介绍什么是预测性分析,探讨其应用实例,并解析其工作原理。
什么是预测性分析?
预测性分析是一个统称,涵盖多种统计与数据分析技术——包括数据挖掘、预测建模与机器学习。其主要目的是基于历史数据中的模式与洞见,对结果、趋势或事件进行预测。
预测性分析是组织中四个分析能力阶段中的第二个阶段。四个阶段依次为:
组织必须按此顺序逐步达成这些分析阶段,因为只有理解过去,才能有效预测未来。通过这种路径,组织从了解“发生了什么”与“为何发生”,走向预测“接下来会发生什么”。分析的最终附加阶段则是实现完全优化、可自主学习并随时间持续进化的分析系统,即所谓的“智能”系统。
预测建模涉及两类机器学习算法:监督式与无监督式。监督式机器学习算法用于预测目标结果,是预测性分析的主要工具。
如需逐步了解如何在预测性分析中使用机器学习,请参阅我们的歌词分析教程。
监督式机器学习主要有两种类型:
另一方面,无监督式机器学习算法并不直接进行预测,而是旨在发现数据中的模式,从而对相似的数据点进行标注或聚类。例如,最流行的无监督算法之一是 k-means 聚类,它将相似的数据点(如客户)聚集成簇。
预测性分析还可以包含其他统计与数据挖掘技术,用于识别当前趋势、预测未来并对结果进行预估。我们将在本文后面讨论一些组织如何使用预测性分析的具体实例。
规范性分析 vs 预测性分析
规范性分析是组织分析能力的第三阶段,建立在前一阶段构建的预测模型之上。
预测性分析告诉我们为何会发生以及接下来可能发生什么,而规范性分析的重点在于对已有模型进行优化与试验。它回答您的“如果……会怎样”的问题,并基于通过实验与模拟获得的信息,帮助您选择最佳方案。
亚马逊 CEO 杰夫·贝索斯曾著名地表示:“亚马逊的成功,取决于我们每年、每月、每周、每天所做实验的数量。”
在分析流程与项目的各个方面开展实验,是成功开展规范性分析的关键要求。
预测性分析示例
预测性分析将数据点转化为可为组织多方面提供驱动与参考的宝贵洞见。
以下是组织可以利用预测性分析的几个示例:
预测财务关键指标
基于事实与数据而非仅凭直觉,预测收入、支出与库存等关键财务指标,有助于更有效且更有依据地做出决策。
检测并减少银行业欺诈
欺诈活动是银行面临的成本最高、破坏性最强的风险之一。预测性分析可帮助识别异常与潜在漏洞,提示可能的欺诈行为,从而让机构迅速采取行动。
预测客户是否会违约
发放贷款对保险与金融机构而言本质上具有风险。使用预测模型来判断客户是否可能违约,是这些机构显著降低风险的最佳方式。
预测员工流失
预测性分析可通过预测员工流失来提升组织的人力资源管理水平。这包括预判未来的招聘需求,以及找准激励员工的合适时机。
理解客户购买行为
通过发现客户购买背后的模式并探究其购买行为的原因,组织可提升销量与转化率。您可以使用Python 中的客户分析与 A/B 测试来理解这些行为。
将营销活动定位到合适的客户
通过在恰当的时间触达合适的客户,企业可以提升广告点击率与整体营销活动的转化率。若想深入了解预测性分析在营销中的应用,请查看 DataCamp 的课程:使用 Python 预测客户流失。
减少制造浪费
预测性分析可帮助您的组织理解制造浪费相关因素,从而在正确的领域采取行动。使用预测模型理解这些因素,能为组织带来可观的成本节约。
预测性分析如何运作?
市面上有许多不同的预测性分析工具可供选择。您选择的工具取决于分析目的——从 Tableau 与 Power BI 等商业智能与可视化工具,到R 语言与 Python 等复杂的编程语言。
如需 Python 中预测性分析的入门课程,请参阅我们的Python 预测性分析入门课程。若您已熟悉 Python 或预测性分析,可查看Python 预测性分析进阶课程。
大多数预测性分析项目遵循相似的工作流与流程。本节将介绍项目中最常见的一些主要步骤。
目标
每个预测性分析项目都应从理解目标、明确问题并选择最佳解决方案开始。
预测性分析项目旨在帮助组织实现其战略目标。当项目目标与组织的关键目标相呼应时,更容易获得相关层级的支持。这样不仅能确保项目有价值,也能提升其成功率。
一旦确定项目目标,自然会导出项目需要解决的清晰问题,从而指引实现目标所需的解决方案。
数据
数据来源多样,如 CSV 文件、数据库、数据仓库与第三方应用。如尚未完成,您应在开展预测性分析与建模之前,将这些数据源整合并集中管理。这可确保数据安全,并将数据质量与治理放在首位。
老话常谈:“输入垃圾,输出垃圾。”尽量避免将所有数据都存放在电子表格中。尽管电子表格灵活,但其易于被编辑与共享,难以管控数据的质量与安全。
此外,请考虑您当前的数据量以及未来希望产生的数据量。若没有合适的存储系统与流程来处理更大规模的数据,构建预测模型将变得不必要地耗时,且难以有效解决问题。
转换
预测性分析项目中的数据转换步骤包括清洗、探索与为后续分析或建模做准备。
在清洗数据时,您应留意缺失值与异常值,或在问题语境下不合理的可疑取值。这与数据探索相辅相成——通过探索数据,您将更好地理解数据,异常也会更易被识别。
最后,需要为项目的下一步准备数据。具体流程取决于所需执行的算法与分析类型。
例如,若您要拟合线性回归模型来预测广告活动的点击率,则必须考虑线性回归的假设并判断数据是否满足这些假设。同时,还需将数据中的任何分类变量转换为虚拟变量,即常说的独热编码(one-hot encoding)。
在进入构建预测模型之前,请务必将数据划分为训练集、测试集与验证集。您将把模型拟合到训练集上,以学习数据中的模式来进行预测;此外,您还需要验证集来迭代改进模型,并最终使用测试集获得模型准确性的无偏估计。
分析
如果您使用相对简单的监督式机器学习算法(如逻辑回归)来构建预测模型,那么该步骤需要您拟合模型并评估结果。然而,一些更复杂的算法(如神经网络)则需要经过精细的调参与调整,才能产出准确的预测。
需要牢记的一点是,许多预测模型需要大量数据才能在现实世界中具备良好的泛化能力。如果您尚未具备这些模型所需的数据规模,可以考虑其他技术,在较小规模上进行预测或预报。这同样取决于您的目标与要解决的业务问题,可能涉及数据挖掘与多种统计方法的应用。
部署
预测性分析项目的最后一步是部署。这是项目的最终产出或结果,也是模型为组织创造价值的载体。根据项目与所选解决方案的不同,此步骤可能从一份简单的报告或仪表板,到在现有平台中的复杂部署不等。
请评估您的组织是否具备应对复杂部署的足够人才,以确保流程顺畅高效。例如,至少配备 1 名数据工程师,通常就能显著提升模型部署的成功率。
结论
分析,尤其是预测性分析,并非少数科技巨头与大型企业的专属,也并非只属于组织内部的少数人。如今,各类规模的组织都在使用分析,且几乎适用于各行各业。此外,预测性分析如今也成为组织内各团队分布式拥有与负责的职能。
预测性分析几乎能为所有组织带来显著的竞争优势。但要实现成功,务必审慎考虑并理解构成高质量预测性分析项目的各个要素。本文提供了预测性分析指南、其在业务问题中的应用方式,以及其背后的工作流程。