MLOps 的过去、现在与未来

许多机器学习项目都会失败

许多组织正在大力投资于 AI 和机器学习。然而，这并不意味着他们已经在组织内部切实收获了机器学习的价值。根据 VentureBeat 的数据，87% 的数据科学项目从未进入生产环境。在他们于 VentureBeat 的 Transform 2019 大会主题演讲中，IBM 数据科学与 AI 首席技术官 Deborah Leff 和 Gap 数据与分析高级副总裁 Chris Chap 指出，许多团队缺乏能够促成项目成功的正确领导力和支持。

Leff 和 Chap 将数据质量、数据民主化以及组织流程等问题描述为关键障碍，而许多组织缺乏足以克服这些障碍的工具或架构。即便团队成员能力出众，如果无法获取高质量、相关的数据，或缺少合适的协作环境，这些项目也难以成功。他们还谈到模型衰减的问题：一些组织上线的模型在失效后长达三年都无人察觉。随着 新冠疫情 的到来，这一点尤为明显。封锁使消费者行为发生了完全不同的变化，许多零售分析模型在生产中随之失效。

ML 项目中的另一重要考量是为测试与生产模型而日益广泛使用的开源技术。这些包括诸如 Python 这样的开源编程语言，以及其庞大的库生态，如 Scikit-learn、pandas、PySpark 等。在生产环境中更改其中任一组件的版本，都会对项目的成功造成巨大影响，甚至让其完全无法运行。要在规模化场景下有效管理这些版本与开源框架，就需要一套有组织的体系。

对 MLOps 的需求

机器学习模型运维管理 （MLOps） 是一种标准化并简化机器学习项目生命周期管理的方法。在他们的著作中，Dataiku 概括了 MLOps 对企业日益重要的三个关键原因：依赖项众多、组织缺乏数据素养与通用数据语言、以及数据科学家不具备工程化能力。

依赖项众多：数据反映了现实世界的行为与流程，并会随着时间自然变化（例如，新冠疫情期间对卫生纸的采购习惯）。随着数据不断变化，生产中的模型必须持续适应，以确保组织仍在用这些模型解决最初想要解决的问题。

缺乏通用数据语言：在机器学习生命周期中，项目通常涉及来自不同背景的多元团队成员，包括数据科学家、数据工程师，也包括业务领域专家。这些群体在技能与数据流利度方面并不相同，难以用同一种方式沟通数据；而要在生产中部署模型并评估其成效，跨团队的对齐至关重要。

数据科学家不具备工程化能力：数据科学家通常专注于构建与评估模型，而非编写可部署的应用。随着组织依赖更多、也更复杂的模型，数据科学家在“开发与迭代模型”和“在生产中维护模型”之间面临取舍。

MLOps 的价值

机器学习模型正日益被部署到业务流程中。随着规模增长，组织需要通过 MLOps 来缓解与这些模型相关的风险、负责任地进行部署，并实现规模化使用。

部署模型存在许多风险：

• 模型可能会在一段时间内不可用。生产环境中的技术可能并不总是可靠。如果组织对这些模型高度依赖，一旦技术不可用，便会面临重大挑战。

• 模型可能对某些样本给出不佳结果。它也许对大多数群体表现良好，但对某个群体却表现不佳。需要修正或理解这一点，以避免基于该弱势群体的模型输出做出错误的业务决策。这种不佳表现还可能引发伦理问题，例如模型在某些受保护变量（如种族、年龄、性别等）上表现欠佳。

• 模型未来可能变得不够公平或不够准确。随着世界改变，训练数据对模型试图理解的现实代表性会降低，从而导致模型在未来数据上的表现变差。

• 数据科学人才可能会随着时间流失。维护这些模型需要技术能力与时间精力，而数据科学家未必总能保障模型的完美可靠性。

这些风险的程度取决于模型对组织的影响以及风险事件发生的概率。通过确保训练数据能良好反映生产环境中将遇到的数据，并保障生产环境的稳定性（因为模型对变化非常敏感），可以减轻许多风险。随着越来越多的机器学习模型被用于重要决策，MLOps 在风险缓解方面的必要性与日俱增。

随着机器学习模型在决策中的应用愈发普遍，确保其被负责任地部署越来越重要。算法偏见的成因众多，必须在通过 AI 系统自动化决策时加以避免。若未能成功降低偏见，品牌可能会受到政府监管的惩处，或遭遇需求与利润的流失。要负责任地部署 AI 系统，模型必须基于合规且无偏的数据源进行训练，具备可解释与可说明的结果，并在整个组织内建立清晰的问责机制，能轻松定位到开发流程中潜在出错的环节并有效修复。要负责任地部署 AI 模型，组织需要一条顺畅的 ML 模型生命周期。

要成功部署越来越多的模型，离不开 MLOps。需要有一套精简流程来跟踪版本、理解模型与重训后模型的性能差异，并确保模型在时间推移中持续表现良好。没有这些 MLOps，想要通过模型持续创造业务价值与影响将非常困难。

MLOps 项目的角色分工

尽管 MLOps 仍然处于快速演进阶段，但组织中在以下角色上拥有强有力的人才是必要的：领域专家、数据科学家、数据工程师，以及软件与 DevOps 工程师。

领域专家是以业务为导向的成员，负责理解并指导如何在训练与部署后持续衡量与评估模型的成功。要实现成功的 MLOps，他们需要制定易于理解的业务绩效度量与反馈闭环，用于识别那些与业务预期不符的模型。此外，风险领域专家也是 MLOps 项目的重要组成部分。他们的目标是最小化并厘清公司因在生产中部署 ML 模型而面临的风险。

课程推荐：Understanding Data Topics

数据科学家负责构建能回应领域专家所提出业务问题的模型。这些模型应能在生产环境中用生产数据进行部署。数据科学家应确保模型能够在生产中易于且安全地部署，具备质量保证与潜在改进的测试，并能够在单一位置便捷查看所有已部署模型。

课程推荐：机器学习科学家职业路径（R/Python）、Image Processing in Python、Machine Learning with PySpark

数据工程师负责为这些模型构建数据管道。要实现成功的 MLOps，需能够轻松查看所有已部署模型的性能，并能获取每条管道的完整细节，以定位可能存在且可处理的问题。

最后，软件与 DevOps 工程师负责帮助这些模型与其他非机器学习应用顺利集成。为实现成功的 MLOps 实践，他们需要融入数据工程最佳实践，以确保这些模型能与现有应用可靠、持续且无缝地并行运行。

课程推荐：Data Engineer with Python Career Track

要打造成功的 MLOps 项目，诸多关键角色都必须得到有效发挥。要在规模上成功部署数百个模型，不仅需要数据专家的参与，还需要领域专家与软件工程师的协作，才能产生积极的业务成果。致力于建立成功 MLOps 项目的组织，必须通过能力提升与持续学习，在所有利益相关方之间构建通用的数据语言。

深入了解 DataCamp for Business：

DataCamp for Business 为需要在数据技能方面进行技能提升与转型的企业提供交互式学习平台。其主题涵盖数据素养、数据科学、数据工程与机器学习，已有超过 1,600 家企业信任 DataCamp for Business 来提升其人才能力。