DevOps 路线图：如何从零开始成为 DevOps 工程师

DevOps 不仅仅是一种方法论。它是一种文化变革，将软件开发（Dev）与 IT 运维（Ops）融合，打造更高效、协作的工作流。

其目标是在团队之间打破传统壁垒，使各方共同承担软件性能、安全与交付的责任。

我自己也采纳了 DevOps 原则，可以说它们确实改变了团队构建与部署软件的方式。因此，在本指南中，我将带您按照路线图一步步掌握 DevOps。

> 想从基础概念入门，请查看 DevOps Concepts 课程。

理解 DevOps 思维方式

要理解 DevOps 的思维方式，首先需明确 DevOps 的定义，并认识其与传统方法的不同。

什么是 DevOps？  

DevOps 是一种理念，通过整合开发与运维团队，提升软件交付的速度、可靠性与效率。

传统的软件开发模型（如瀑布模型）常导致瓶颈、部署缓慢以及团队间沟通不畅。

DevOps 应运而生，帮助组织以更敏捷、响应更迅速的方式交付软件。

与传统模式中开发者编写代码后交给运维部署不同，DevOps 鼓励紧密协作、责任共担与自动化。

DevOps 能帮助团队以最小干扰实现持续集成与持续交付。

从而确保应用保持可扩展、安全且高性能。

> 若想更好地理解 DevOps 与 MLOps 的对比，请查看 MLOps vs DevOps: Differences, Overlaps, and Use Cases。您也可以通过此课程了解自动化如何在机器学习中扩展： Fully Automated MLOps。

DevOps 的关键原则  

DevOps 由若干基本原则引导，定义了其核心实践：

• 持续集成（CI）：开发者将代码更改频繁合入共享仓库，以便及早发现集成问题并降低潜在的部署失败率。
• 持续交付（CD）：软件的构建、测试与部署实现自动化，确保以最少的人为干预将更新推送至生产环境。
• 自动化：将测试、配置管理与基础设施供应等重复性任务自动化，以提升效率并减少人为错误。
• 监控与反馈：可观测性工具可使团队在开发早期发现性能问题、安全漏洞与系统异常。
• 协作与沟通：通过强有力的团队合作、透明与知识共享，打破开发与运维团队间的隔阂。

展示 DevOps 生命周期五个阶段的图片。使用 Napkin AI 创建。

采用 DevOps 的收益  

将 DevOps 引入您的工作流，既有利于开发，也能改善运维。

• 其一是更快的发布节奏。自动化 CI/CD 流水线帮助团队快速高效地部署更新，避免冗长延迟。
• 此外，DevOps 促进更高的软件质量，因为自动化测试与持续监控能在开发早期发现缺陷。
• 另一个优势是降低失败率。由于 DevOps 强调增量变更与自动回滚，团队可快速从错误中恢复，最大限度减少停机与运营风险。
• 最后，DevOps 促成更好的团队协同，开发、测试、安全工程师与运维团队协同合作，确保开发过程顺畅高效。

前置知识与技能

要在 DevOps 领域取得成功，需具备脚本编写、操作系统与版本控制等基础知识。

基础编程/脚本

任何希望进入 DevOps 领域的人都需要掌握编程与脚本的基础知识。

Python、Bash 与 PowerShell 等脚本语言广泛用于自动化重复性任务，如软件部署、服务器配置与日志分析。

尤其是 Python，这是一门功能强大且通用的语言，常用于基础设施自动化、配置管理与 API 集成。

Bash 脚本同样重要，尤其适用于基于 Linux 的环境。

了解如何编写 Shell 脚本、管理系统进程并自动化命令行任务，将显著提升您作为 DevOps 工程师的效率。

对于在 Windows 环境工作的人员，PowerShell 也非常有用，它为服务器、Active Directory 与云服务提供自动化能力。

操作系统理解

由于 DevOps 专业人士要管理基础设施与云环境，牢固掌握操作系统至关重要。

Linux 由于灵活、高性能且对开源工具支持广泛，成为多数 DevOps 工作流中的首选操作系统。

理解 Linux 文件系统、进程管理、用户权限、网络与软件包管理，将帮助您应对复杂的基础设施挑战。

还需了解 DNS、HTTP、防火墙与负载均衡等网络概念。

DevOps 工程师经常要处理云端与本地网络，因此理解网络安全、IP 地址分配与网络问题排查至关重要。

版本控制系统

版本控制是现代软件开发的核心组成部分，Git 是目前使用最广泛的版本控制系统。

DevOps 工程师必须熟练掌握 Git，以高效管理源代码、跟踪更改，并通过 GitHub、GitLab 或 Bitbucket 等平台与团队协作。

需掌握的关键概念包括分支策略、合并、拉取请求与冲突解决。

学习 GitOps（DevOps 的扩展，以 Git 仓库作为基础设施自动化的唯一可信来源）也大有裨益。

> 如果您想把 GitOps 集成进工作流，请查看 MLOps Concepts 课程。

基础设施与配置管理

在 DevOps 实践中，合理管理基础设施、配置以及敏感信息的安全访问至关重要。

基础设施即代码（IaC）  

基础设施即代码（IaC）是一种 DevOps 实践，使团队可通过代码而非手动配置来定义与管理基础设施。

这种方式确保各环境间的一致性、可扩展性与可重复性。

常见 IaC 工具有 Terraform 与 AWS CloudFormation。Terraform 是云无关工具，工程师可用声明式配置文件在多家云服务商上供应基础设施。

而 AWS CloudFormation 专为通过 JSON 或 YAML 模板管理 AWS 资源而设计。

实施 IaC 可帮助团队自动化基础设施供应、减少配置漂移，并通过受版本控制的基础设施定义增强协作。

配置管理

配置管理工具通过自动化软件安装、系统更新与环境配置来维持系统一致性。

此类常用工具包括 Ansible、Chef 与 Puppet。

Ansible 是一款轻量级、免代理的自动化工具，使用基于 YAML 的 playbook 来配置服务器与部署应用。

Chef 与 Puppet 虽更复杂，但为以声明式配置管理大规模基础设施提供了强大的自动化能力。

密钥与访问管理

安全是 DevOps 的关键一环，妥善管理 API 密钥、密码与证书等敏感信息至关重要。

HashiCorp Vault 是广泛使用的工具，可安全存储与管理密钥，并通过认证策略控制对敏感数据的访问。

AWS Secrets Manager 在云原生环境中提供了类似能力，帮助组织安全管理凭证。

此外，使用环境变量存储密钥，并集成基于角色的访问控制（RBAC），还能进一步提升 DevOps 流水线的安全性。

持续集成与持续交付（CI/CD）

要有效实施 CI/CD，需要理解其核心原则、选用合适工具，并集成自动化测试。

CI/CD 基础

CI/CD 是 DevOps 的核心，确保代码变更持续集成、测试与部署。

持续集成（CI）包含从多位开发者处自动集成代码、运行自动化测试并生成构建制品。

持续交付（CD）在 CI 基础上，将软件自动部署到预发与生产环境。

一条高效的 CI/CD 流水线通常包含多个阶段：源代码集成、自动化测试、构建与打包、制品存储与部署。

该流水线帮助团队快速、安全、可靠地发布软件。

> 想深入了解如何自动化 CI/CD 工作流，请查看 CI/CD for Machine Learning 课程。

CI/CD 工具

构建 CI/CD 流水线常用的工具包括：

• Jenkins：开源自动化服务器，支持基于插件的可扩展性。
• GitLab CI/CD：GitLab 内置方案，集成体验顺畅。
• GitHub Actions：与 GitHub 仓库直接集成的云端 CI/CD 服务。
• CircleCI：流行的 CI/CD 平台，具备高扩展性的构建与部署自动化能力。

图片突出展示 Jenkins、GitHub Actions、GitLab CI/CD 与 CircleCI 作为自动化与持续集成的关键工具。使用 Napkin AI 创建。

构建与测试自动化

自动化测试可确保代码更改不会引入缺陷或漏洞。

应在 CI/CD 流水线中集成单元测试、集成测试与功能测试，以尽早发现错误。

容器化与编排

要高效管理容器化应用，需要熟练掌握 Docker、借助 Kubernetes 进行编排，并善用 Helm 与 Operators 等工具。

Docker 基础

容器化是现代 DevOps 版图中的关键组成部分。

它允许开发者将应用及其依赖打包为可移植的容器，在不同环境中一致运行。

Docker 是最流行的容器化工具，使团队能够在隔离环境中构建、发布与运行应用。

展示 Docker 架构与容器化应用在 Docker 上运行的图片。 来源：Docker Resources

Docker 容器是轻量、独立的打包单元，包含软件运行所需的一切：应用代码、运行时、系统库与设置。

Docker 容器通过 Dockerfile 定义，其中描述了创建容器的步骤。

镜像构建完成后即可存入 Docker 仓库并与他人共享。

掌握 Docker 需要理解如何创建镜像、编写 Dockerfile，并在本地与云环境中运行容器。

Docker Compose 可用于定义并运行多容器应用，帮助管理由多个相互关联服务组成的复杂系统。

> 若想按步骤学习 Docker，请参阅 这份新手指南。

Kubernetes 基础

Docker 负责创建与管理单个容器，而 Kubernetes（K8s）是帮助在生产环境中扩展与管理容器化应用的编排平台。

Kubernetes 可自动化部署、扩缩与管理容器化应用，使大规模分布式系统更易运维。

> 如果您初次接触 Kubernetes，这门对初学者友好的课程提供实践性的 容器编排入门。

Kubernetes 将容器组织为 Pod，Pod 是 Kubernetes 中最小的可部署单元。

每个 Pod 可包含一个或多个容器，Kubernetes 在集群的多台机器上管理这些 Pod。

关键概念包括服务（用于暴露容器）、部署（用于管理应用生命周期）与命名空间（用于在集群内组织资源）。

展示 Kubernetes 架构与控制平面组件的图片。来源：Kubernetes 文档

Kubernetes 还提供自动扩缩、自我修复与滚动更新等高级功能。

对于从事微服务架构的 DevOps 工程师而言，学习 Kubernetes 至关重要，它能确保应用具有高可用性、可扩展性与弹性。

> 想了解 Kubernetes 与 Docker 的对比，请阅读 Kubernetes vs Docker: Differences Every Developer Should Know。

Helm 与 Operators

对于管理复杂 Kubernetes 环境的团队，Helm 与 Kubernetes Operators 可简化与自动化应用管理。

Helm 是 Kubernetes 的软件包管理器，可通过 Helm Chart 定义、安装与升级 Kubernetes 应用。

这些 Chart 是可复用的配置，定义了 Kubernetes 资源的部署方式。

另一方面，Kubernetes Operators 是自定义控制器，用于在 Kubernetes 中自动管理复杂的有状态应用。

Operators 扩展了 Kubernetes，以管理特定应用状态，例如部署数据库、处理备份，或基于自定义指标进行扩缩。

Helm 与 Operators 对于管理复杂工作负载、并在容器化环境中维持高可用性与一致性都至关重要。