Last chance! 50% off DataCamp Premium
Sale ends in
越来越多的公司希望将机器学习（ML）融入其产品，或用 ML 优化流程。因此，了解如何在传统软件的同时驾驭其复杂性，比以往任何时候都更重要。
DevOps 的引入是为了解决软件开发中的挑战。其目标是打破软件开发团队与运维团队之间的壁垒，从而更快地交付新功能，并更平稳地将这些功能发布到生产环境中。
MLOps 在这些原则之上构建，但面向 ML 的独特挑战，例如规模庞大且快速演变的数据集、需要跟踪和版本化的模型，以及为应对数据漂移或概念漂移等问题而进行的监控。
尽管两者共享共同原则，但在关注点、工作流和工具方面差异显著。
本文将探讨 DevOps 与 MLOps，突出其相似与不同之处，以及在何种情境下采用哪种方法。我们还将了解典型工作流，以及在这些工作流的不同阶段应使用哪些工具。
让我们开始吧！
什么是 DevOps？
DevOps 是一种软件工程方法论，旨在加速软件的开发与交付过程。其主要目标是提升开发与运维团队之间的协作，弥合这两种传统职能之间的鸿沟，从而实现更快、更可靠的软件交付。
因此，DevOps 力求打造协作文化，并尽可能实现自动化，以提升整体效率与新功能的交付速度。
如今，包括 Meta、Amazon 在内的大型公司，正是借助 DevOps 才能做到每日交付新功能。
如果您希望入门该领域，推荐学习 Introduction to DevOps 课程。
DevOps 的主要目标包括：
- 更快的软件开发周期： 缩短发布与部署新功能之间的时间，在保持稳定性的同时实现更快速的发布节奏。
- 持续集成与持续交付（CI/CD）： 将代码集成、测试与部署流水线自动化，以改进交付。
- 提升协作：鼓励软件开发团队与运维团队密切沟通。
- 运营效率：通过自动化减少人工操作、降低错误并提升生产率。
DevOps 的核心组件包括：
- CI/CD 流水线：
- 代码的自动化测试、构建与部署。
- 为开发者提供更快的反馈回路。
- 降低错误并提升稳定性。
- 基础设施即代码（IaC）：
- 通过代码而非人工流程来管理基础设施。
- 确保一致性与稳定性。
- 无需人工操作即可在数秒内完成新基础设施的搭建。
- 监控与可观测性：
- 实时跟踪系统性能与应用健康状况。
- 尽早发现并解决问题。
业界已有一系列标准工具可用于实现 DevOps 的核心组件。以下是最受欢迎的一些：
- CI/CD 工具： Jenkins、GitLab CI/CD、CircleCI。
- IaC 工具：Terraform、Ansible、Chef、Puppet。
- 容器化与编排：Docker、Kubernetes。
- 监控工具：Prometheus、Grafana、Datadog。
什么是 MLOps？
MLOps 在共享自动化目标的同时，扩展了 DevOps 的原则。MLOps 是一系列实践，旨在持续、可靠且高效地在生产环境中部署与维护机器学习。
关键在于其关注生产环境中的机器学习，而非在本地机器上进行的小型实验训练的模型。
MLOps 可以对机器学习项目生命周期的各个阶段实现自动化与流程化。
机器学习项目生命周期。图片来源：作者
但我们为何首先需要 MLOps？为何应投入额外精力来搭建清晰的工作流与流程？坦率讲：前期确实需要大量额外投入，开发者可能会倾向于忽略它，以尽快将模型部署到生产。然而，这种做法会引入风险。
与传统软件开发一样，早期忽视清晰流程与最佳实践，会导致复杂性不断增加、可维护性随时间降低。
由于需要管理数据依赖、不断演化的模型与反馈回路等独特挑战，这一问题在 ML 系统中尤为突出。
正如具有影响力的论文“Hidden Technical Debt in Machine Learning Systems”所强调的，机器学习系统以不同于传统软件的方式累积技术债务。
因此，若不遵循 MLOps 原则，后期对失控的 ML 系统进行重构的成本，往往会超过从一开始就构建稳健工作流所需的投入。
如果您希望进一步了解该领域，推荐优秀课程 MLOps Concepts。
MLOps 的主要目标包括：
- ML 全生命周期自动化： 简化数据收集、模型训练、部署与监控等流程，减少手动工作。
- 可复现性与一致性：确保实验与工作流可重复，从而获得可靠结果。
- 协作：促进数据科学家、ML 工程师、数据工程师与运维团队之间的沟通。
- 可扩展性：使机器学习模型能够应对生产负载，并适应不断增长的数据与使用需求。
- 应对 ML 特有挑战：处理数据分布变化、大规模数据集，以及模型再训练需求。
接下来看看 MLOps 的核心组件：
- 模型训练与再训练流水线：对训练流程进行自动化，包括：
- 数据预处理与特征工程。
- 模型验证与性能跟踪。
- 按需对模型进行再训练以适应新数据。
- 模型与数据版本化及实验跟踪：
- 对 ML 模型与训练数据进行版本控制，记录随时间的变更并支持回滚。
- 通过实验跟踪监控超参数、指标及一次训练运行的所有结果。
- 数据流水线编排：
- 自动化数据准备、转换与验证，确保其可靠且可重复。
- 应对数据集变化带来的挑战。
- 监控与维护：
- 持续跟踪生产环境中模型的性能，尽早发现模型漂移或性能退化等问题。
- 自动触发模型再训练并自动化训练流程，以便快速按需更新模型。
- 基础设施即代码（IaC）：
- 使用 Kubernetes 与 Terraform 等工具，为 ML 工作负载提供与管理可扩展的基础设施。
MLOps 领域仍在快速发展。然而，用于实现核心组件的业界标准已然存在：
- 实验跟踪： MLFlow 或 Weights and Biases。
- 数据版本化： DVC（Data Version Control）。
- 流水线编排：Apache Airflow、Kubeflow、Dagster。
- 模型部署：TensorFlow Serving、Seldon Core、Amazon SageMaker。
- 监控：Prometheus、Grafana、WhyLabs。
- 基础设施即代码：Kubernetes、Docker、Terraform。
