有 87% 的数据科学项目从未进入生产环境。有些因为缺乏管理层支持而失败，另一些则由于缺少高质量数据和合适的基础设施。希望从 AI 和机器学习中获取价值的组织，在界定和管理AI 项目时应警惕常见陷阱。然而，说起来容易做起来难。即便熟悉传统软件项目落地的人，也可能因 AI 项目的特殊性而在实施中遇到困难。
AI 项目与传统软件项目有何不同？
在传统软件项目中，程序员会显式编写程序逻辑，程序接收输入并产生输出。比如，一个银行软件在借款人申请大额贷款（输入）时，扣减其信用评分（输出）。
相反，利用机器学习的 AI 项目并不需要显式编码逻辑。机器学习算法会系统性地学习输入与输出之间的模式，再基于输入预测输出。比如，根据借款人的信用评分和已贷金额来预测其违约风险。
当组织首次实施和管理 AI 项目时，这可能带来相当大的惯性。因此，本文旨在为您下一个可部署且可盈利的 AI 项目提供一些指导。
初期 AI 项目的三个特征
以下三大特征为公司首批 AI 项目的成功奠定基础。原因如下。
AI 项目应当可行
在启动新 AI 项目之前，组织应评估自身的数据成熟度，避免将资源投入到不可行的项目中。数据成熟度的支柱包括基础设施、人员、工具、组织与流程。围绕这些支柱提出有用的问题，有助于组织更好地优先确定哪些项目最可行：
- 公司是否具备可靠的数据采集能力？
- 公司是否具备存储和清洗数据的基础设施？
- 团队是否具备产出可靠、准确模型结果的必要技能？
- 公司是否具备在生产环境中监控模型的流程、工具和技能？
AI 项目应当简单
对于数据成熟度相对较低的组织，技术上简单的项目更易管理。简单且交付迅速的项目有助于快速取得成果，积累团队经验。这将为后续 AI 项目蓄势，形成良性循环，激发公司对技术更先进的 AI 项目的认可与投入。随着公司 AI 成熟度的提升，便可从“低垂的果实”迈向更复杂的项目。
AI 项目应当有价值
哈佛商业评论指出，强有力的 AI 项目的特征之一在于其创造的价值。这种价值可体现在三方面：帮助做出更优决策、通过自动化重复性手工作业降低成本，或用于新产品。成功 AI 项目所创造的价值有助于说服利益相关者加大对公司 AI 能力的投资。
寻找简单、有价值且可行的项目并非易事。为找到符合条件的项目，《Succeeding with AI》作者 Veljko Krunic 提出了以下步骤。
- 识别业务问题。
- 就业务问题头脑风暴 AI 解决方案。
- 评估项目的技术可行性与复杂度。
- 确定用于衡量 AI 项目价值的业务指标。
- 基于业务指标估算业务价值。
这些步骤在理论上简单，实践中却细节颇多。尤其是业务指标的选择可能并不直观。下一节将概述如何选择业务指标。
用业务指标衡量 AI 项目
AI 项目的业务价值可通过合适的业务指标来衡量。然而，用业务指标来评估 AI 系统表现的做法，往往与许多 AI 从业者的直觉相悖。
机器学习模型通常采用衡量其在数据集上的技术表现的评估指标，而非量化其业务价值的业务指标。这在学术界很常见，机器学习算法的进步往往以可量化、客观的技术基准为依据。但在现实世界中，AI 系统关乎超越准确率的有形结果，例如收入、成本和客户满意度。
因此，需要将 AI 系统的技术表现与业务指标相连接。这种联系往往并不显而易见。根据谷歌大脑联合创始人吴恩达（Andrew Ng）的观点，业务领导者和 AI 专家应协作并就可用于衡量与优化 AI 系统表现的业务指标达成共识。
在此过程中，可借助利润曲线来定量建立业务指标与技术指标之间的关系，正如《Data Science for Business》一书所提出的。这能将技术进展转译为业务语言，使管理者能回答诸如“准确率提升 1% 能带来多少额外收入？”之类的问题。
图 1：将 AI 系统的准确率与由此带来的利润相联系的利润曲线示意
如何传达 AI 项目的价值
机器学习从业者之间的交流通常围绕模型的技术术语，这本无可厚非。然而，对于非技术受众而言，这并不合适；他们更关心模型对业务的影响，而不是准确率提升 1% 这样的增量改进。
AI 从业者在汇报 AI 项目进展时，应牢记目标受众，避免陷入此类陷阱。具体而言，对于业务相关方而言，业务指标的改进优先级高于技术指标。他们还可以借助数据叙事技巧来阐明 AI 项目如何助力业务指标——无论是改善客户体验、提高留存率，还是降低成本。
AI 系统的实施与机器学习流水线相辅相成
我们已看到 AI 系统与传统软件系统的不同之处。尤其是，AI 系统无需程序员显式编码逻辑，因为它能够从数据中学习模式。要做到这一点，首先需要构建流水线，以获取必要数据，对其进行转换，并将其馈送至 AI 系统。
因此，AI 系统不仅包含机器学习算法，还包含一条机器学习（ML）流水线。该流水线描述了数据从起点到终点的流动方式，包括数据如何获取、转换、使用、呈现与监控。
机器学习流水线是更大软件系统的一部分。开发机器学习流水线与典型软件系统的流程在很大程度上相似。其中，共同主题包括对胜任的数据工程师的需求、与 DevOps 类似的软件开发流程，以及安全性的重要性，这些在开发 AI 与软件项目时均适用。
以下是一个用于检测手机制造过程异常的计算机视觉系统的 ML 流水线示例。这条简化的 ML 流水线通过照片检测手机缺陷，辅助质量保证团队的工作。
图 2：手机制造商的一条简化 ML 流水线
从该示例可见，机器学习流水线的设计高度依赖于数据、算法和业务用例。很少存在放之四海皆准的机器学习流水线。
一条完整的流水线还包括数据采集、特征提取、数据验证、结果监控等环节，因此范围广、复杂度高，正如谷歌的高影响力论文所述。这也是为什么通常会由机器学习工程团队专责构建与维护该流水线。
从一开始就构建稳健的 ML 系统，降低代价高昂的变更
机器学习系统的部署可能并不如预期，原因可能是数据变化、模型薄弱或流水线缺陷。一旦发生此类情况，从业者可能提出对现有流水线进行大幅调整以改进系统，但他们会失望地发现，一旦落地，机器学习流水线很快就会对变更产生抗性。
Veljko Krunic 将此过程称为“ML 流水线的骨化”。这种变更惯性源于修改这类技术复杂项目代码的挑战。预见到流水线变更对业务运营的连锁反应的业务团队也可能提出异议。在上文图 2 的示例中，若算法自动标记异常手机的能力大幅下降，补充人工检验所需的人手可能需要数周才能到位。
对已“骨化”的 AI 项目进行大刀阔斧的调整代价高昂。若将不可扩展的概念验证型机器学习流水线直接用于生产，或许不得不进行全面改造。尽管如此，ML 流水线的骨化往往难以避免。
因此，计划管理 AI 项目的公司应当力求从一开始就实施正确的流水线。机器学习模型运营化管理（MLOps）是一个新兴领域，帮助组织实现这一目标。MLOps 的工具与实践为机器学习开发提供端到端流程，用于设计、构建并管理可复现、可测试、可迭代的 ML 驱动软件。这使数据团队能够为其机器学习流水线实施持续集成与持续交付，监控数据漂移，并维护流水线的可解释性。
提升您的团队能力以高效管理 AI 项目
管理 AI 项目绝非易事。一个组织不仅需要具备构建 AI 项目的合适技术人才。还需要渗透式的数据文化与扎实的数据素养来推动 AI 采纳。正如落地 AI 项目需要时间，培养数据素养的项目也同样是长期过程。
这正是DataCamp for Business能够发挥作用之处：它为需要提升与再培训员工数据技能的公司提供互动式学习平台。主题涵盖从数据工程到机器学习，已有超过 1600 家公司信任 DataCamp for Business 来提升其人才技能。
不确定您团队的数据能力如何？参加我们的数据成熟度评估。
有 87% 的数据科学项目从未进入生产环境。有些因为缺乏管理层支持而失败，另一些则由于缺少高质量数据和合适的基础设施。希望从 AI 和机器学习中获取价值的组织，在界定和管理AI 项目时应警惕常见陷阱。然而，说起来容易做起来难。即便熟悉传统软件项目落地的人，也可能因 AI 项目的特殊性而在实施中遇到困难。
AI 项目与传统软件项目有何不同？
在传统软件项目中，程序员会显式编写程序逻辑，程序接收输入并产生输出。比如，一个银行软件在借款人申请大额贷款（输入）时，扣减其信用评分（输出）。
相反，利用机器学习的 AI 项目并不需要显式编码逻辑。机器学习算法会系统性地学习输入与输出之间的模式，再基于输入预测输出。比如，根据借款人的信用评分和已贷金额来预测其违约风险。
当组织首次实施和管理 AI 项目时，这可能带来相当大的惯性。因此，本文旨在为您下一个可部署且可盈利的 AI 项目提供一些指导。
初期 AI 项目的三个特征
以下三大特征为公司首批 AI 项目的成功奠定基础。原因如下。
AI 项目应当可行
在启动新 AI 项目之前，组织应评估自身的数据成熟度，避免将资源投入到不可行的项目中。数据成熟度的支柱包括基础设施、人员、工具、组织与流程。围绕这些支柱提出有用的问题，有助于组织更好地优先确定哪些项目最可行：
AI 项目应当简单
对于数据成熟度相对较低的组织，技术上简单的项目更易管理。简单且交付迅速的项目有助于快速取得成果，积累团队经验。这将为后续 AI 项目蓄势，形成良性循环，激发公司对技术更先进的 AI 项目的认可与投入。随着公司 AI 成熟度的提升，便可从“低垂的果实”迈向更复杂的项目。
AI 项目应当有价值
哈佛商业评论指出，强有力的 AI 项目的特征之一在于其创造的价值。这种价值可体现在三方面：帮助做出更优决策、通过自动化重复性手工作业降低成本，或用于新产品。成功 AI 项目所创造的价值有助于说服利益相关者加大对公司 AI 能力的投资。
寻找简单、有价值且可行的项目并非易事。为找到符合条件的项目，《Succeeding with AI》作者 Veljko Krunic 提出了以下步骤。
这些步骤在理论上简单，实践中却细节颇多。尤其是业务指标的选择可能并不直观。下一节将概述如何选择业务指标。
用业务指标衡量 AI 项目
AI 项目的业务价值可通过合适的业务指标来衡量。然而，用业务指标来评估 AI 系统表现的做法，往往与许多 AI 从业者的直觉相悖。
机器学习模型通常采用衡量其在数据集上的技术表现的评估指标，而非量化其业务价值的业务指标。这在学术界很常见，机器学习算法的进步往往以可量化、客观的技术基准为依据。但在现实世界中，AI 系统关乎超越准确率的有形结果，例如收入、成本和客户满意度。
因此，需要将 AI 系统的技术表现与业务指标相连接。这种联系往往并不显而易见。根据谷歌大脑联合创始人吴恩达（Andrew Ng）的观点，业务领导者和 AI 专家应协作并就可用于衡量与优化 AI 系统表现的业务指标达成共识。
在此过程中，可借助利润曲线来定量建立业务指标与技术指标之间的关系，正如《Data Science for Business》一书所提出的。这能将技术进展转译为业务语言，使管理者能回答诸如“准确率提升 1% 能带来多少额外收入？”之类的问题。
图 1：将 AI 系统的准确率与由此带来的利润相联系的利润曲线示意
如何传达 AI 项目的价值
机器学习从业者之间的交流通常围绕模型的技术术语，这本无可厚非。然而，对于非技术受众而言，这并不合适；他们更关心模型对业务的影响，而不是准确率提升 1% 这样的增量改进。
AI 从业者在汇报 AI 项目进展时，应牢记目标受众，避免陷入此类陷阱。具体而言，对于业务相关方而言，业务指标的改进优先级高于技术指标。他们还可以借助数据叙事技巧来阐明 AI 项目如何助力业务指标——无论是改善客户体验、提高留存率，还是降低成本。
AI 系统的实施与机器学习流水线相辅相成
我们已看到 AI 系统与传统软件系统的不同之处。尤其是，AI 系统无需程序员显式编码逻辑，因为它能够从数据中学习模式。要做到这一点，首先需要构建流水线，以获取必要数据，对其进行转换，并将其馈送至 AI 系统。
因此，AI 系统不仅包含机器学习算法，还包含一条机器学习（ML）流水线。该流水线描述了数据从起点到终点的流动方式，包括数据如何获取、转换、使用、呈现与监控。
机器学习流水线是更大软件系统的一部分。开发机器学习流水线与典型软件系统的流程在很大程度上相似。其中，共同主题包括对胜任的数据工程师的需求、与 DevOps 类似的软件开发流程，以及安全性的重要性，这些在开发 AI 与软件项目时均适用。
以下是一个用于检测手机制造过程异常的计算机视觉系统的 ML 流水线示例。这条简化的 ML 流水线通过照片检测手机缺陷，辅助质量保证团队的工作。
图 2：手机制造商的一条简化 ML 流水线
从该示例可见，机器学习流水线的设计高度依赖于数据、算法和业务用例。很少存在放之四海皆准的机器学习流水线。
一条完整的流水线还包括数据采集、特征提取、数据验证、结果监控等环节，因此范围广、复杂度高，正如谷歌的高影响力论文所述。这也是为什么通常会由机器学习工程团队专责构建与维护该流水线。
从一开始就构建稳健的 ML 系统，降低代价高昂的变更
机器学习系统的部署可能并不如预期，原因可能是数据变化、模型薄弱或流水线缺陷。一旦发生此类情况，从业者可能提出对现有流水线进行大幅调整以改进系统，但他们会失望地发现，一旦落地，机器学习流水线很快就会对变更产生抗性。
Veljko Krunic 将此过程称为“ML 流水线的骨化”。这种变更惯性源于修改这类技术复杂项目代码的挑战。预见到流水线变更对业务运营的连锁反应的业务团队也可能提出异议。在上文图 2 的示例中，若算法自动标记异常手机的能力大幅下降，补充人工检验所需的人手可能需要数周才能到位。
对已“骨化”的 AI 项目进行大刀阔斧的调整代价高昂。若将不可扩展的概念验证型机器学习流水线直接用于生产，或许不得不进行全面改造。尽管如此，ML 流水线的骨化往往难以避免。
因此，计划管理 AI 项目的公司应当力求从一开始就实施正确的流水线。机器学习模型运营化管理（MLOps）是一个新兴领域，帮助组织实现这一目标。MLOps 的工具与实践为机器学习开发提供端到端流程，用于设计、构建并管理可复现、可测试、可迭代的 ML 驱动软件。这使数据团队能够为其机器学习流水线实施持续集成与持续交付，监控数据漂移，并维护流水线的可解释性。
提升您的团队能力以高效管理 AI 项目
管理 AI 项目绝非易事。一个组织不仅需要具备构建 AI 项目的合适技术人才。还需要渗透式的数据文化与扎实的数据素养来推动 AI 采纳。正如落地 AI 项目需要时间，培养数据素养的项目也同样是长期过程。
这正是DataCamp for Business能够发挥作用之处：它为需要提升与再培训员工数据技能的公司提供互动式学习平台。主题涵盖从数据工程到机器学习，已有超过 1600 家公司信任 DataCamp for Business 来提升其人才技能。
不确定您团队的数据能力如何？参加我们的数据成熟度评估。