您的数据团队运作有多顺畅？了解您组织的 MLOps 成熟度水平

MLOps（机器学习运维）是机器学习工作流中不可或缺的一环，正逐步发展为一门独立领域。它将机器学习与软件工程的最佳实践相结合，确保模型能够从实验走向生产，同时减少数据团队的技术债务。

要在大规模机器学习中取得成功，评估组织的 MLOps 成熟度至关重要。部署模型常常面临各种障碍，例如基础设施、组织文化，或在模型漂移时无法重训。这会导致机器学习带来的价值远低于预期（更糟的是，可能对与模型交互的相关方造成伤害）。进而，人们会对数据团队通过机器学习创造价值的能力产生不信任。要充分释放机器学习与人工智能的潜力，需要对 MLOps 进行深思熟虑的整体规划。

MLOps 还能让数据科学家专注于真正重要的工作：采集与清洗数据、开发模型、并使用合适的方法。这是因为 MLOps 能在机器学习生命周期的每个阶段显著提升自动化程度。

本文假设您已具备 MLOps 的基本知识并理解其重要性；如需了解更多，请参阅我们的文章 MLOps 入门 和 MLOps 最佳实践。

为什么要设定成熟度等级？

MLOps 不只是采用工具或改变工作方式。实施需要以整体视角使用工具与技术，打破技术团队内部壁垒并提升自动化。这可能意味着重组组织或调整人员，但每家公司的解决方案都会不同且独一无二。

从成熟度的角度审视 MLOps，即衡量公司在 MLOps 落地过程中的进展，有助于明确组织所处阶段、可采取的提升举措，以及成熟度提升将带来的收益。这也意味着 MLOps 成熟度可以随组织规模而扩展。模型数量较少的小公司无需达到与大型复杂组织相同的成熟度。然而，即便是规模不大的组织，只要其核心价值主张依赖机器学习，也需要相对成熟的 MLOps 实践。

还需注意，成熟度的提升并非线性推进。您的组织在某些 MLOps 方面可能已相当成熟，而在其他环节仍较薄弱。下文我们将概述 微软的 MLOps 成熟度模型，它从整体上展示了 MLOps 在组织内如何演进。

微软的 MLOps 成熟度模型

微软的 MLOps 成熟度模型从三个广义维度来评估 MLOps 成熟度：

• 人员：数据团队中的不同角色及其相互协作方式
• 机器学习生命周期：从数据收集到模型创建与发布，如何进行全流程管理。
• 应用：如何测试、实施、部署及重训机器学习模型。

此外，微软的 MLOps 成熟度模型将 MLOps 实践划分为五个阶段：

1. 无 MLOps：系统割裂、如同黑箱；数据团队彼此孤立；模型训练、部署与测试均为手工完成。
2. 有 DevOps、无 MLOps：数据团队负责训练模型，另有团队负责部署。模型性能的反馈闭环不透明，可复现性有限。
3. 自动化训练：模型可复现，发布流程更少手工操作。训练自动化，广泛使用流水线。
4. 自动化部署：部署实现自动化，并可追溯到原始数据。模型部署后可做 A/B 测试，测试实现自动化。
5. 完整 MLOps：从数据摄取到模型部署与测试全程自动化，并对模型性能进行集中化监控与分析。这类系统通常为定制化打造。

下面的部分将逐一介绍各成熟度阶段，并提供涵盖要点的汇总表。

无 MLOps

此阶段几乎没有自动化，数据团队既与更广泛的组织隔离，内部之间也相互隔离。工具采用度低，某些职能（如数据工程）可能不存在，或由数据科学家兼任。在这一成熟度下，即便部署单个模型也十分困难且耗时，重训模型需要完全重新运行分析与训练任务。部署后没有模型追踪，因此可能无法评估其影响。

有 DevOps，但无 MLOps

随着引入 DevOps 最佳实践，数据团队依然是孤立的，但可能已配备专职数据工程师。云计算技术或已采用，但未充分发挥其潜力。此阶段会将数据库中数据的收集与机器学习准备工作，自动化到可复用的流水线中。模型部署时也可能进行集成测试。数据科学家身兼数职，并在模型部署后深度参与测试。

自动化训练

此阶段数据团队内的协作显著提升。数据科学家将与工程师合作，把模型训练代码转化为可复用脚本，并利用自动化数据流水线。实验将被追踪，版本控制更为普及。部署实现更高程度自动化，但模型文件仍需交由软件工程师。

自动化模型部署

软件工程师如今与数据工程师更紧密合作，负责部署模型以及其训练与数据收集流水线。实验实现全量追踪，每次模型发布与应用本身均具备自动化的单元与集成测试。部分领域可能已引入 CI/CD。

完整 MLOps 下的自动化重训

在最终成熟阶段，数据工程师、数据科学家与软件工程师紧密协作，尽可能在开发与部署过程中实现自动化。此外，实验与模型训练/重训会基于生产指标实现自动化，模型自动发布并由 CI/CD 流水线管理，且模型会在应用代码中进行测试。

主流 MLOps 模型的差异

该 MLOps 成熟度模型与谷歌模型的一个显著差异在于 CI/CD 概念的落位。谷歌认为这通常出现在最终成熟阶段，而微软认为重训才是最终阶段。

实际上，重训是推动采用 MLOps 的关键驱动因素之一，可能会在最终阶段之前就被引入。不过，实现模型重训存在前提条件，例如较强的自动化与基础设施，以及高质量的数据与模型训练流水线。CI/CD 的相关实践会在迈向 MLOps 成熟度的最后阶段持续改进。

谷歌与微软等高度成熟的组织，通常拥有运行在自家云计算环境上的定制软件，并将特定工具的效能发挥到极致。软件工程师常说，这些公司的技术“开箱即用”，模型部署流畅、数据访问高效。这是必需的，因为它们为广泛的产品线在生产中运行着数以百计的模型。

如何提升您的 MLOps 成熟度

MLOps 依然是数据科学中最关键的领域之一，许多组织在将模型投入生产方面仍面临挑战。MLOps 成熟度模型为数据团队提供了极佳的框架，帮助它们了解当前的机器学习能力所处位置，以及未来如何演进。

如需进一步学习 MLOps，请查看以下资源：

• 【DataFramed 播客】用 MLOps 实现机器学习运营化
• 【网络研讨会】MLOps 实用指南