数据专业人士的 Kafka 认证指南

Apache Kafka 是一个用于处理流式数据的开源平台。可以把它想象成一个高速消息系统，用于在各类系统之间发送与接收消息和事件。大型企业（如 LinkedIn 和 Netflix）甚至依赖 Kafka 来管理其实时数据流。

本文将概述 Apache Kafka，并引导您完成获取 Kafka 认证的流程，这很可能为您的职业带来巨大的正向助益。如果您对 Apache Kafka 完全陌生，可先阅读我们的博文 《Apache Kafka 入门：完整指南》，涵盖从基础到高级特性的全部内容。

Kafka 认证的重要性

Apache Kafka 认证极其重要，因为其技术高度相关且应用广泛。让我们快速了解不同行业中的具体用例。

实时数据处理的用例

• 日志聚合：日志聚合是将来自服务器、数据库、设备等各种来源的日志收集到一个中心位置，以便分析、监控和排障。Kafka 支持实时收集与处理这些日志，从而可立即发现问题并迅速响应。
• 数据聚合：凭借 Kafka 的架构，实时数据得以摄取与聚合。这让应用能够立刻使用数据，同时将数据生产者与消费者解耦，确保数据处理流程的灵活性。
• 流处理：随着数据持续被摄取和处理，Kafka 的副本机制可确保即便部分 broker 故障，流也依然可用且持久。它还能与多种流处理框架无缝集成，构建复杂流应用的生态系统。

Kafka 在各行业的角色

• 银行机构如 ING Bank 使用 Apache Kafka 进行实时欺诈检测、网络安全与合规。它也应用于股票交易、投行业务平台以及获取证券价格洞察。
• Walmart 使用 Kafka 为客户推荐商品，并管理库存、配送与供应链；同时获取客户流量的实时洞察。
• Apache Kafka 应用于医疗领域，持续监测患者生命体征，并通过系统告警促使对关键问题的及时响应。
• Uber 利用 Kafka 在大规模场景中匹配司机与乘客，并提供实时定位以优化顺风车与打车预订。
• Twitter 使用 Apache Kafka 为数以百万计的用户提供内容推荐，并依据用户偏好定制个性化信息流。
• Netflix 也借助 Kafka 基于观看历史提供影片推荐，从而优化用户体验。

Kafka 认证项目概览

在逐一介绍认证前，先聊聊 Confluent 的角色。Confluent 是在 Apache Kafka 之上构建的云平台，提供额外工具与服务，使 Kafka 更易用且更强大。该平台包含以下功能：

• Confluent Control Center：用于监控与管理 Kafka
• Confluent Schema Registry：用于管理数据模式
• Confluent KSQL：使用类 SQL 查询进行流处理。

由于 Confluent 是在 Kafka 之上构建的企业级解决方案，它为使用 Apache Kafka 和 Confluent 的开发者与组织提供多种培训资料与认证。值得了解 Confluent，因为有许多公司在使用 Confluent。

根据您在 Kafka 上的角色与经验不同，认证也有所区分。Confluent Certified Developer for Apache Kafka（CCDAK）认证侧重于开发可与 Kafka 协同工作的应用所需的平台知识。而Confluent Certified Administrator for Apache Kafka（CCAAK）认证则聚焦管理员对 Kafka 集群的管理。

Confluent Certified Developer for Apache Kafka（CCDAK）

CCDAK 认证开发者使用 Kafka 进行应用设计与实现的技能，涵盖应用设计、开发与部署/测试。考生需具备 6–12 个月的 Confluent 产品使用经验，以及 Java、Python 或 RESTful 接口的基础知识。考试费用为 150 美元，共 55 道题，证书有效期两年。

CCDAK 徽章与认证。来源：Credential

Confluent Certified Administrator for Apache Kafka（CCAAK）

CCAAK 徽章与认证。来源：Credential

Confluent Kafka 认证对比：CCDAK vs. CCAAK

获得 Kafka 认证的好处

取得 Kafka 认证能带来诸多益处，并显著影响您的职业发展与专业地位。让我们来看一看。

职业发展

随着企业处理的数据体量不断增长，亟需能够使用 Kafka 等流式平台来处理数据的开发者。这导致对经过认证的 Kafka 开发者的迫切需求。例如，在英国，提及 Kafka 的职位约有 1,196 个，Kafka 从业者的年薪中位数为 75,000 英镑，最高可达 120,250 英镑。

技能验证

获得 Confluent 的 Kafka 认证可验证您对 Apache Kafka 的理解，以及构建支持实时分析、应对复杂分布式系统的稳健架构的能力。Kafka 认证展示了您对持续学习的投入，也表明您了解行业标准与实践。获得认证能提升雇主对您的信任与认可，增强他们对您能力的信心。

行业认可

Netflix、Spotify 和 Uber 等科技巨头由于每天要处理海量数据而采用 Kafka；作为最受欢迎的分布式流式平台之一，它也因此成为紧俏技能。来自 Apache Kafka 原创建者 Confluent 的认证，意味着您在 Kafka 方面具备高水平专业能力。许多系统已构建在 Kafka 之上，因此需要能够维护这些系统的开发者。

人脉拓展

在 LinkedIn 等社交平台展示您的 Kafka 徽章，可提升您在 Kafka 社区的可见度，吸引志同道合的专业人士与雇主或客户。获得 Kafka 认证也意味着您可以加入或组织各类 Kafka 用户组与线下交流会，分享知识并开展协作。它还可能带来在大会与网络研讨会上发言的机会，进一步提高您在社区中的影响力。

如何准备 Kafka 认证

现在我们来看看如何备考。

步骤 1：为考试做好准备

Confluent 提供了 Confluent Fundamentals Accredited 考试，用于验证您对流处理基础概念的掌握。此考试免费，时长一小时。通过考试后，您将获得一个可在 LinkedIn 分享的数字徽章。在考虑任何 Confluent Kafka 认证前，您可以通过该考试来检验自己对 Confluent 与 Kafka 的基础认识。

Confluent Fundamentals 认可徽章。来源：Credential

注册 Confluent 的培训平台后，您可获取学习资源。该平台提供讲师直播课、自主进度学习以及私教直播课，可按您的学习风格选择。平台为每个认证项目提供学习指南与学习资料。

同时请确保具备 Kafka 的实操经验。这将有助于解答考试中的实践场景题。也可考虑参加模拟考试，以了解题目形式并识别自身知识盲点。

联系已参加过考试的 Kafka 专业人士，获取备考建议与指导；您可以加入各类 Kafka 线下聚会或群组以获取更多资源。若幸运，或许还能遇到同样备考的人，一起结对学习。

Confluent 培训平台。来源：Confluent

步骤 2：报名考试

在 Confluent 培训平台上注册登录后，可前往菜单中的Certification 购买目标认证，并按照这些步骤兑换许可密钥并安排考试。

您需在购买之日起 12 个月内完成考试；若在预约考试日期前 5 天内取消考试，将不予退款。

如果远程考试，请在开始前通过 System Readiness Check 确保电脑状态良好；同时确认您在 Confluent 培训门户注册的姓名与您的政府签发身份证件一致。

如果线下考试，请提前熟悉考点位置，并须携带与培训门户信息一致的政府签发身份证件。

Confluent 学习平台的认证页面。来源：Confluent

步骤 3：获取成绩

成功提交后，您的成绩会立即显示在考试界面上。您还将收到包含访问 Confluent 数字徽章与认证凭据步骤的电子邮件。

通过 Kafka 认证考试的技巧

时间管理

高效的时间管理有助于您顺利通过 Confluent 认证考试。先回答简短且容易的问题，再处理较难的题目。若提前完成，利用剩余时间再次检查，捕捉可能遗漏或误答的问题。

理解概念

不要只背诵概念。要扎实理解 Kafka 各工具如何工作、如何彼此通信。您应清楚某个 Kafka 工具在什么场景、为何使用。

实践应用

Apache Kafka 与 Confluent 的使用离不开实践经验。即使考试是选择题，也会有考查实践理解的内容。请务必动手构建 Kafka 项目，并与专家协作以积累实操。还需熟悉 Confluent 与 Kafka 的用例，理解各类设计与架构。

Kafka 认证带来的职业机会

需要 Kafka 的岗位角色

作为 Kafka 从业者，您将每天与流式数据打交道，但如何使用 Kafka 处理数据取决于具体角色。需要掌握 Kafka 的角色包括：

• 数据工程师：数据工程师是专门负责设计、构建与维护数据采集、生成、存储与处理基础设施的专业人士。数据工程师使用 Kafka 从 Web 应用、移动应用或日志等来源获取实时数据并进行实时处理；他们还利用 Kafka 构建数据管道，并将数据馈送给分析与监控系统以获得实时洞察与告警。
• 大数据架构师：大数据架构师负责设计、构建与管理大规模数据处理系统。他们使用 Kafka 等工具设计大数据解决方案的蓝图，以处理数据存储、处理与分析。
• DevOps 工程师：DevOps 工程师的职责是优化软件开发与 IT 运维之间的流程，确保软件交付与基础设施管理的效率、可靠性与可扩展性。他们还将 Kafka 用作微服务、应用与系统之间事件流的核心组件，并搭建监控与告警系统来跟踪 Kafka 集群。

下表总结了开发与管理岗位分别适合的 Kafka 认证。

亟需 Kafka 认证人才的行业

Kafka 被超过80% 的财富 100 强公司采用，如高盛、阿迪达斯、Airbnb、Spotify、Shopify 等。多数此类公司处理的是只有分布式流式平台才能承载的大数据。这些组织在招聘启事中会寻求拥有 Confluent Kafka 认证的人才。下方是 Uber 招聘 Staff Software Engineer 的示例，Kafka 知识为必备条件之一。

Uber 招聘 Staff Software Engineer 岗位的任职资格示例。来源：Uber Careers

总结与更多资源

在人工智能与机器学习的时代，需要对实时数据立即采取行动。认证越来越多地成为求职申请的重要组成部分。我鼓励您获取 Kafka 认证，因为这是一项长期回报的投资。

推荐阅读

• Apache Kafka 文档
• Confluent 文档
• Apache Kafka 入门：完整指南
• Kafka 分区：可扩展性与性能的核心概念
• Flink vs. Spark：全面对比

Kafka 社区与论坛

• Confluent 社区论坛与 Slack
• Facebook Apache Kafka 社区