跳至主要内容

学习 MLOps 的 10 个优秀资源

MLOps 将工具、实践、技术与文化相结合,确保机器学习模型的可靠与可扩展部署。用这些优秀的免费资源开启您的学习之旅。
Ani Madurkar
Ani Madurkar

创建您的免费账户

实践并学习路径你的进步。

使用 Google 继续继续即表示您接受我们的 使用条款,我们的 隐私政策 ,并且您的数据存储在美国。

什么是 MLOps?

2015 年,Google 发布了一篇题为“Hidden Technical Debt in Machine Learning Systems”的研究论文。Sculley 等人在文中指出,编写用于预测的机器学习模型代码,只占在生产环境中构建、部署和维护机器学习系统工作的很小一部分。该论文在领域内引发强烈反响,随后也被无数数据科学家难以将模型推向生产的实例所验证。

D. Sculley et. al. NIPS 2015: Hidden Technical Debt in Machine Learning Systems

过去几年中,一个令人兴奋的新领域 MLOps(机器学习运维)兴起,旨在解决数据团队面临的部署挑战。MLOps 是一套工具、实践、技术与文化,用于确保机器学习系统的可靠、可扩展部署。随着数据科学这一领域的成熟,MLOps 已成为数据科学家可选择的增长最快的细分方向之一(甚至可能是最快)。

鉴于 MLOps 仍然相对新兴,尚未形成很多系统的学习路径。尽管如此,开源与机器学习社区已提供了大量人人可用、可靠且立刻上手的免费资源。以下是 10 个免费资源,助您开启 MLOps 学习之旅。

1. MLOps Fundamentals 技能路径

DataCamp 的技能路径 MLOps Fundamentals 覆盖机器学习应用的完整生命周期,从业务需求收集到设计、开发、部署、运营与维护。本路径包含概念性课程,帮助您将数据科学知识扩展到生产级机器学习软件的世界!完成后,您将具备 MLOps 思维方式,并深入熟悉诸如 CI/CD 与 CM/CT、实验追踪、模型注册表、特征库以及不同部署策略等概念

2. Andriy Burkov 的《Machine Learning Engineering》

最初于 2020 年发布,这本书是少数涵盖应用型机器学习基础的著作之一。Burkov 并未聚焦于某个工具或概念,而是拆解了构建与部署端到端机器学习项目的艺术与科学。全书贯穿了数据团队在生产环境中部署机器学习模型时最常见的挑战及其解决方案。

您可以免费阅读该书,因为它遵循“先读后买”的原则——也就是说,若阅读后觉得有价值,再进行付费。

3. ML in Production 博客

当下活跃的数据科学家发布的新闻通讯与博客中,常能找到最好的 MLOps 资源。Luigi Patruno 的 ML in Production 博客与新闻通讯就是其中典范。他定期分享关于在生产中部署与维护模型的深度内容。以下是他对其内容策划方式的描述:

  • 重在实用——内容聚焦于已在生产环境中被证明有效的工具、模式、平台与系统。
  • 强调最佳实践——数据科学与机器学习发展迅速。具备部署这些系统所需技能的人才稀缺,且缺乏成熟的最佳实践。该通讯旨在为更广泛社区策划这些最佳实践。
  • 旨在提升数据科学家的工作效能——所有策划内容都旨在帮助数据科学家、ML 工程师与数据从业者获得并提升高影响力、具市场价值的技能。

4. MLOps 社区

学习 MLOps 最好是与他人共同实践。这是一个由同行实践者组成的社区,您可以加入并向领域内的优秀实践者学习。无论是博客、视频,还是富有启发的讨论,这一资源都是您在该领域站稳脚跟的绝佳方式。

5. Full Stack Deep Learning

这门课程提供了最高质量的学习内容,教您如何将复杂的大型模型推向生产。课程不仅由来自 OpenAI 与 Stanford 的工程师和科学家等知名教师授课,您还可以看到来自当今一些最鼓舞人心的机器学习公司的领军人物的客座讲座,例如特斯拉的 Andrej Karpathy。

该课程教授深度学习的全栈方法,包括:

  • 问题表述与项目成本估算
  • 数据的查找、清洗、标注与增强
  • 选择合适的框架与计算基础设施
  • 训练故障排查与确保可复现性
  • 将模型部署到生产环境

6. Goku Mohandas 的 Made With ML

Goku Mohandas 打造了一门出色的开源课程,专注于构建端到端机器学习系统。Made with ML 是 GitHub 上的顶级仓库之一,已有超过 3 万人学习他的课程。

Made with ML 的课程涵盖从机器学习基础到在生产中部署、测试与监控模型的方方面面。Goku 的课程讲解概念背后的直觉,提供基于项目的实操作业,并为学习者提供胜任 MLOps 角色所需的一些软件工程最佳实践。

7. Awesome production machine learning

这个高度策划的 GitHub 仓库适合想直接上手包、库与前沿工具自行练习的人。所有列出的包与工具都旨在帮助您构建、部署、监控、版本化、扩展与保护生产级机器学习系统。

无论是数据标注、模型训练编排、可解释性、服务、监控等——这里一定有几个包值得您在项目中开始尝试。他们还推荐 The ML Engineer 新闻通讯,帮助您及时了解由机器学习从业者策划的最新框架、教程与文章。

8. DVC 的 MLOps 教程

DVC(Data Version Control)是一款面向机器学习项目的开源版本控制系统。DVC 将 Git 的版本控制扩展到数据集与模型。此外,DVC 背后的团队还开发了 Continuous Machine Learning(CML),这是一款将 GitHub Actions 与 GitLab CI 等持续集成系统用于机器学习的工具。

这个相对简短的 YouTube 系列突出了 DevOps 与机器学习交汇处的重要概念。它在理论与实践间取得良好平衡,并展示了如何通过 DVC 进行数据版本化。

9. Machine Learning Operations

这个资源可谓最为全面之一。网站上充满了拆解成功 MLOps 实践各个要素的文章。Machine Learning Operations 提供了指南、框架与行为准则,并尝试为 MLOps 设定标准。

尽管篇幅不长,但这是一个很好的起点,清晰阐述了 MLOps 的重要性、成功实践的关键原则、MLOps 使用的工具与框架等。

10. AIEngineering 出品的 MLOps – Machine Learning Operations

AIEngineering 可能是应用机器学习领域最好的(如果不是最好的话也是之一)YouTube 频道。该频道拥有超过 6 万订阅者,Srivatsan Srinivasan 通过讨论数据相关的一切内容,积累了大量受众。

他制作了大量深入的视频与播放列表,涵盖 MLOps 与端到端机器学习项目的部署。务必去看看。

11. TensorFlow 出品的 ML Engineering for Production ML Deployments with TFX

Google 通过 TensorFlow 打造了机器学习领域使用最广的工具之一,并以 TensorFlow Extended(TFX)将其提升到新层次。TensorFlow Extended 是用于部署机器学习模型的端到端平台,由用于数据验证、转换、模型分析等多个包组成。TFX 的设计旨在让您无需投入大量软件工程时间与精力,也能轻松构建机器学习系统。

这份由 Google 开发者倡导者 Robert Crowe 主讲的YouTube 播放列表会向您介绍 Google 采用的关键 MLOps 概念与最佳实践。此外,TFX 文档也非常值得一读——仅按照其指南尝试使用该包,您就能学到很多。

进一步了解 MLOps

尽管 MLOps 仍处于早期阶段,但提前掌握上述资源中涵盖的最新最佳实践与工具将大有裨益。若您希望进一步学习 MLOps,也可查看以下资源:

主题