AWS MSK 入门：全面的新手上手指南

设置 AWS MSK

开始使用 AWS MSK，首先创建您的 AWS 账户。若这是您首次使用 AWS，请参阅我们的综合教程，学习如何设置与配置您的 AWS 账户。

登录 AWS 管理控制台并打开 MSK 控制台。点击 "Create cluster" 开始设置流程。 

开始使用 AWS MSK。图片来源：AWS

选择 "Quick create" 采用默认设置，然后输入一个具有描述性的集群名称。

接下来，您可以根据集群的具体需求选择许多附加选项。以下是这些选项的快速概览：

• 集群类型：“Provisioned” 或 “Serverless”
• Apache Kafka 版本
• Broker 类型：“Standard” 或 “Express”
• Broker 规格
• EBS 存储容量

AWS MSK 配置选项

集群始终创建在 Amazon VPC 中。您可以选择使用默认 VPC，或配置并指定自定义 VPC。

现在，只需等待集群激活，这可能需要 15 至 30 分钟。您可以在集群概览页面监控状态，看到状态从 “Creating” 变为 “Active”。

使用 AWS MSK 进行数据摄取与处理

设置好 MSK 集群后，您需要创建客户端机器来在一个或多个主题间生产与消费数据。由于 Apache Kafka 能与众多数据生产者（如网站、IoT 设备、Amazon EC2 实例等）良好集成，MSK 同样具备这一优势。

Apache Kafka 以主题（topics）为单位组织数据。每个主题由一个或多个分区（partitions）构成。分区体现了 Apache Kafka 的并行度。数据通过分区策略在各个 broker 之间分布。

处理 Apache Kafka 集群时需要了解的关键术语：

• Topics 是 Kafka 组织数据的基本方式。
• Producers 是将数据发布到主题的应用——它们在 Kafka 上生成并写入数据，写入到特定主题及其分区。
• Consumers 是从主题读取并处理数据的应用。它们从所订阅的主题中拉取数据。

使用 AWS MSK 构建事件驱动架构时，您需要配置多个层级，其中 MSK 是主要的数据摄取组件。以下是可能涉及的层级概览：

1. 数据摄取层
2. 处理层
3. 存储层
4. 分析层

使用 Amazon MSK 与 Amazon EventBridge 的事件驱动架构示例。 图片来源：AWS

如果您希望在数据管道工作流中发挥 Python 的优势，欢迎查看我们的 Introduction to AWS Boto in Python 课程。

使用 AWS MSK 的最佳实践

AWS MSK 相对容易上手并立即投入使用。不过，一些关键的最佳实践将显著提升集群性能，并为您日后节省时间。

合理确定集群规模

您需要选择每个 broker 的合适分区数，以及每个集群的合适 broker 数量。 

这里的决策会受到多种因素影响；不过，AWS 提供了实用的建议与资源，可指导您完成这一过程。

此外，AWS 还提供易用的规模与定价表，帮助您估算集群的合适规模，以及使用 AWS MSK 与类似自管 EC2 Kafka 集群的成本对比。

构建高可用集群

AWS 建议将集群设置为高可用。这在执行更新（例如升级 Apache Kafka 版本）或 AWS 替换 broker 时尤为重要。 

要确保集群高度可用，您必须做到以下三点：

1. 将集群部署在三个可用区（即 3-AZ 集群）。
2. 将副本因子（replication factor）设置为 3 或以上。
3. 将最小同步副本数（in-sync replicas）设置为 RF-1。

AWS 的优势在于其对多可用区部署承诺严格的 SLA；否则，您将获得抵扣（credits）。

监控磁盘与 CPU 使用率

通过 AWS CloudWatch 需要重点监控的两个指标是磁盘与 CPU 使用率。这样不仅能确保系统平稳运行，还有助于控制成本。 

管理磁盘使用与相关存储成本的最佳方式，是设置 CloudWatch 警报：当磁盘使用超过某个阈值（如 85%）时告警，并据此调整保留策略。为日志消息设置保留时间，有助于自动释放磁盘空间。

此外，为维持集群性能并避免瓶颈，AWS 建议将各 broker 的总 CPU 使用率保持在 60% 以下。您可借助 AWS CloudWatch 进行监控，并通过调整 broker 规格等方式采取纠正措施。

使用传输中加密保护数据

默认情况下，AWS 会对 MSK 集群中 broker 之间的传输数据进行加密。如果系统出现高 CPU 使用或高延迟，您可以关闭此功能。但强烈建议始终启用传输中加密，若存在性能问题，请优先通过其他方式优化。

查看我们的 AWS Security and Cost Management 课程，深入了解如何保护与优化 AWS 云环境，并在 AWS 中管理成本与资源。

了解 AWS MSK 定价

AWS MSK 采用按需付费模式，即只为您实际使用的资源付费。但价格会因集群类型、broker 实例规格、存储与数据传输而异。下面我们将拆解关键成本要素，并介绍如何优化 MSK 支出。

AWS MSK 定价组成

按集群类型划分的 AWS MSK 定价

AWS MSK 提供两种集群类型，对应不同的定价模型：

预置型 MSK 集群（标准定价模型）

• 您需为 broker 实例、存储与数据传输付费。
• 适合需要精细性能控制的工作负载。

无服务器 MSK 集群（按请求计费）

• 按处理的数据量（摄取/读取的 GB）计价。
• 适合流量模式不可预测的应用。

应如何选择？

• 选择预置型 MSK → 适用于工作负载可预测且需控制实例规格的场景。
• 选择无服务器 MSK → 适用于负载波动较大且不想管理 broker 的场景。

使用 AWS 定价计算器，基于您的工作负载估算成本。

AWS MSK 与其他流式工具对比

在为项目选型时，我们通常需要评估多个选项。以下是 AWS MSK 的常见替代方案及其对比方式。 

AWS MSK vs 在 EC2 上部署 Apache Kafka

MSK 与在 EC2 上自建方案之间的主要权衡在于便利性与可控性：

• AWS MSK：
  • 全托管服务，降低运维复杂度。
  • 自动化资源供应与配置——无前期基础设施成本。
  • 与 AWS 服务无缝集成。
  • 稳健的安全特性。
  • 与自建方案相比灵活性较低。
• 在 EC2 上的 Kafka：
  • 需要手动搭建、配置与维护。
  • 对基础设施与定制化拥有完全控制权。
  • 潜在运维成本更高。
  • 需要更多专业知识与持续管理。

AWS MSK vs. Kinesis

在 AWS MSK 与 Kinesis 之间进行选择取决于您的侧重点：

• 在以下情况使用 Kinesis：
  • 您需要完全无服务器的架构。
  • AWS 托管、运维开销极低。
  • 使用分片进行数据流处理，但存在数据保留限制。
  • 更适合简单的数据流需求。
• 在以下情况使用 AWS MSK：
  • 您需要 Kafka 的主题与分区模型。
  • 几乎无限的数据保留（取决于存储）。
  • 更灵活且可定制。
  • 如有需要，可从 AWS 迁移出去。

如果您不熟悉 Kinesis，我们提供了一门课程，带您实践 使用 AWS Kinesis 与 Lambda 进行流数据处理。

AWS MSK vs. Confluent

在 AWS MSK 与 Confluent 之间进行选择，取决于功能需求与云战略：

• 在以下情况使用 Confluent：
  • 您需要功能完备且内置连接器的方案。
  • 您倾向于更简化的部署流程。
  • 您需要应对尖峰负载并进行动态扩展。
  • 成本较高，但提供功能受限的免费层。
• 在以下情况使用 AWS MSK：
  • 您希望在稳定工作负载下更具性价比。
  • 您已深度融入 AWS 生态。
  • 您具备内部的 Kafka 专业能力。
  • 您可以接受通过集成额外的 AWS 服务来扩展功能。

下表对 AWS MSK 与其替代方案进行了比较：

结语

在需要大规模、可靠、不能容忍数据丢失，并需连接多数据源或构建复杂数据管道的场景中，Apache Kafka 是首选方案。AWS MSK 免去了设置与配置 Kafka 集群的诸多烦恼，使开发者能将更多精力投入到应用的构建与改进，而非基础设施。

获取 AWS 认证 是开启 AWS 职业生涯的绝佳方式。您可以查看我们的 课程目录 并通过项目获得实战经验！