联邦学习提供了一种在分布式数据集上协作开发 AI 模型且不牺牲数据隐私的方式。它可应对数据安全、合规要求与数据本地化等挑战。借助联邦学习，组织既能最大化大数据价值，又能遵循隐私监管。
在本指南中，我们将探讨联邦学习的核心原理、实施方式及其在各行业的潜在应用。从医疗与金融到移动应用与物联网，我们将审视这种协作式 AI 方法如何在模型性能与数据保护之间取得平衡。若您完全是入门者，可学习我们的Understanding Machine Learning课程，无需编程。
阅读我们的白皮书The Learning Leader's Guide to AI Literacy，了解 AI 将如何影响您的组织并如何实施成功的 AI 战略。
什么是联邦学习？
联邦学习是一种前沿的机器学习范式，支持在去中心化的设备或服务器网络上训练 AI 模型。此方法允许每个节点使用其本地数据为模型学习作出贡献，而无需交换或集中这些数据样本。该方式在保留原始数据于其来源的同时实现协同学习，从而解决隐私与安全方面的担忧。
联邦学习的优势
联邦学习不同于传统的集中式机器学习方法。传统方法会将所有训练数据聚合至中心位置进行模型训练；而联邦学习将模型带到数据所在处，而非相反。其去中心化特性带来多项关键优势：
- 更强的隐私保护：原始数据从不离开其原始位置，显著降低数据泄露或未经授权访问的风险。
- 更高的安全性：通过保持数据本地化，联邦学习将潜在攻击者的攻击面降至最低。
- 合规性：该方法有助于组织遵守诸如GDPR之类限制跨境数据流动的数据保护法规。
- 减少数据传输：尽量减少大数据集的迁移可节省带宽并降低模型训练的时延。
联邦学习 vs. 数据联邦
尽管联邦学习侧重分布式的模型训练，但它与数据联邦这一处理分布式数据的方式在概念上有一些相似之处。两种技术都旨在不集中原始数据的前提下，从去中心化的数据源中获得洞见。
基本而言，联邦学习专注于在各设备间协作训练机器学习模型，而不共享原始数据，随后再对各模型的输出进行聚合；而数据联邦则为分布式数据提供集中化的访问。若想了解分布式数据处理的更广泛背景，您可阅读我们的文章 What Is a Data Federation?
联邦学习如何运作？
联邦学习通过一系列协同步骤实现在保护数据隐私的同时进行协作式模型训练。该过程可分为三个关键阶段：初始化、本地 训练，以及更新的聚合。下面分别说明：
初始化阶段
联邦学习流程始于初始化阶段：
- 中心服务器构建一个初始全局模型。该模型作为联邦学习过程的起点。
- 服务器将此全局模型分发给选定的参与客户端设备或服务器。这些客户端可能是智能手机、物联网设备，或不同组织中的本地服务器。
- 与此同时，服务器还会发送训练指令，包括超参数、需执行的本地轮数（epochs）以及其他相关配置细节。
- 客户端接收全局模型，并准备在其本地数据上开展训练。
本地训练
客户端收到全局模型后，进入本地训练阶段：
- 每个客户端设备仅使用其本地数据训练模型。这是联邦学习的显著特征——原始数据从不离开设备。
- 各设备上的训练过程类似传统机器学习，可能包括前向传播、损失计算与反向传播以更新模型参数。
- 客户端按照初始化阶段定义的要求，执行指定数量的训练轮次或迭代。
- 完成本地训练后，每个客户端会计算更新后模型参数与原始全局模型参数之间的差异。该差异即为本地更新。
更新的聚合
最后阶段通过聚合本地更新来改进全局模型：
- 客户端将其更新后的模型参数发送回中心服务器。需强调的是，仅传输模型更新，而非原始数据或完整的本地训练模型。
- 中心服务器从多个客户端接收更新并进行聚合，以生成新的全局模型。聚合通常通过称为联邦平均（federated averaging）的过程完成，即服务器计算所有客户端更新的加权平均。
- 为进一步增强隐私，可在此步骤应用安全聚合或差分隐私等技术。这些方法增加了额外的保护层，使得几乎不可能从聚合更新中逆推出单个贡献。
- 服务器将聚合后的变化更新到全局模型中，生成一个改进版本，该版本在未直接访问任何本地数据的情况下从多样化数据源中完成了学习。
- 随后，这一新的全局模型会再次分发给客户端，流程回到初始化阶段，进入下一轮训练。
通过多轮本地训练与全局聚合的迭代，联邦学习模型将不断改进。
联邦学习的类型
联邦学习包含多种方法，旨在应对分布式机器学习中的特定场景与挑战。尽管在去中心化数据上训练模型这一核心原则保持不变，但具体实现各有不同。下面介绍四种主要类型：
中心化联邦学习
中心化联邦学习（也称基于服务器的联邦学习）是最常见的方法。我们上文介绍的方法即为中心化联邦学习的典型方式。在中心化联邦学习中，中心服务器协调整个学习过程。服务器分发全局模型以启动训练，客户端在本地训练并将更新回传服务器，最后服务器聚合这些更新以改进全局模型。
该方法适用于由可信中央实体管理过程的场景，例如科技公司在用户设备间改进其服务，或医疗联盟在多家医院间协调研究。
去中心化联邦学习
去中心化联邦学习不需要中心服务器。在该模式下，客户端在点对点网络中直接通信，每个客户端既是学习者也是聚合者。客户端之间共享模型或更新，常借助区块链或其他分布式账本技术，全局模型由所有客户端的集体交互中逐步形成。
当不存在单一可信中央权威，或需要增强对单点故障的抗性与隐私时，该方法尤为有用。
异构联邦学习
异构联邦学习针对跨多样化设备与数据分布进行训练的挑战，能够容纳计算能力与资源各异的设备。其通过自适应算法来处理各客户端数据质量与数量的差异。
该类型适用于真实世界中数据与设备天然多样的应用场景，例如物联网网络或跨组织的模型训练。
跨孤岛联邦学习
跨孤岛联邦学习侧重于不同组织或数据孤岛之间的协作。其参与方数量较少但可信度高，通常是组织而非单个设备。与跨设备场景相比，参与者通常拥有更大的数据集与更稳定的连接。此类协作可能涉及关于数据共享与模型所有权的复杂法律与组织协议，常用于机构间的协作研究或银行间的反欺诈系统。
这种方法使组织在保持对敏感数据控制的同时，受益于群体智能。
联邦学习的应用
联邦学习正在改变各行业处理机器学习的方式，特别是在数据隐私与安全至关重要的场景。通过在不集中敏感数据的前提下实现协作学习，联邦学习正被应用于多个领域。
医疗健康
联邦学习让医院与研究机构在不牺牲患者隐私的情况下进行协作，从而变革医学研究与患者护理：
- 癌症研究：MELLODDY 项目汇聚十家制药公司，利用联邦学习改进癌症治疗的药物研发，同时不共享专有数据。
- 预测性医疗：医院可协作训练模型，以利用多家机构的数据预测患者结局、再入院风险或罕见疾病诊断。
- 医学影像：联邦学习通过跨不同医疗服务提供者学习多样化数据集，助力开发更健壮的 X 光、MRI 与 CT 影像解读 AI 模型。
- 疫情应对：在新冠疫情期间，联邦学习促进全球医院快速协作，开发用于患者结局与资源分配的预测模型。
金融
金融机构在严格的数据隐私与合规要求下，利用联邦学习提升服务质量：
- 欺诈检测：银行可在不共享敏感交易数据的情况下协作训练更有效的欺诈检测模型，如中国微众银行牵头的项目所示。
- 信用评分：放贷机构可在不集中个人金融数据的前提下，基于多家机构的多样化客户群训练出更准确的信用风险评估模型。
- 反洗钱（AML）：金融机构通过联邦学习，基于多家银行的模式协作训练 AML 检测系统，同时不暴露单笔交易细节。
- 个性化金融服务：银行可基于跨多样客户群训练的模型提供产品推荐与投顾建议，同时保持客户个人数据的私密性。
物联网与移动设备
联邦学习正在增强边缘设备的能力，在保护隐私的同时提升用户体验：
- 智能手机键盘预测：Google 的 Gboard 使用联邦学习来改进下一词预测与自动更正功能，而无需将个人打字数据发送至中心服务器。
- 智能家居设备：联邦学习使物联网设备可从用户群体行为中学习，以优化能耗、安全特性与自动化，而无需共享单个家庭的数据。
- 自动驾驶车辆：汽车制造商正探索利用联邦学习，通过来自多辆车的多样驾驶场景改进自动驾驶系统，同时不集中敏感的位置与驾驶数据。
- 可穿戴健康设备：健身追踪器与智能手表通过联邦学习改进健康监测算法，从多样用户数据中学习而不泄露个人健康信息。
这些应用表明，联邦学习不仅是理论概念，更是解决各行业实际挑战的务实方案。
联邦学习中的高级隐私与安全考量
尽管联邦学习通过保持原始数据本地化天生增强隐私，但仍需采用其他技术进一步加强数据保护。这些方法确保即便在学习过程中共享的模型更新也不会无意中泄露敏感信息。
差分隐私
差分隐私是一种在数据或模型更新中添加受控噪声的数学框架，使几乎不可能逆推出单个数据点：
- 噪声注入：在将模型更新发送至中心服务器前添加随机噪声。该噪声在保留整体统计模式的同时，掩蔽个体贡献。
- 隐私预算（ε）：以 ε（epsilon）表示的隐私预算量化系统允许的最大隐私损失——ε 越小，引入的噪声越多，隐私保障越强，但可能降低模型精度。
- 自适应裁剪：为平衡隐私与效用，采用自适应裁剪技术，根据数据敏感度确定应添加的最优噪声量。
- 本地 vs. 全局差分隐私：在本地差分隐私中，噪声在客户端设备上添加；在全局差分隐私中，噪声在服务器端聚合过程中添加。
安全聚合
安全聚合是一种密码学技术，允许服务器在看不到个体更新的情况下计算来自多个客户端的模型更新总和：
- 两两掩蔽：客户端生成在所有参与者求和时可相互抵消的随机掩码，并在共享前将其应用于模型更新。
- 门限加密：将聚合过程拆分至多个服务器，需达到一定数量的服务器协同才能解密最终结果。
- 掉线处理：安全聚合协议可处理客户端掉线，确保即便部分客户端不可用，流程仍可完成。
- 计算效率：近期进展显著降低了安全聚合的计算开销，使其在大规模联邦学习系统中切实可行。
同态加密
同态加密是一种允许在密文上进行计算的高级技术：它使服务器无需解密即可对加密的模型更新执行运算，从而提供额外的安全与隐私保护层。
联邦学习的挑战
尽管联邦学习优势明显，但也面临多项挑战。下面我们来探讨主要挑战及若干潜在解决方案。
通信成本
联邦学习系统常涉及中心服务器与众多客户端设备之间的频繁交互，导致显著的通信开销。
挑战：
- 带宽受限：传输模型更新（尤其大型神经网络）可能消耗大量带宽。
- 可扩展性问题：随着参与设备数量增加，通信成本可能呈指数增长。
持续的解决方案与研究：
- 梯度压缩：量化与稀疏化等技术可缩小模型更新的体量。
- 本地 SGD：随机梯度下降是联邦学习中客户端用于在本地数据上训练模型的优化算法。本地 SGD 指在与中心服务器通信前先在本地执行多次 SGD 迭代。
设备异构性
联邦学习往往涉及计算与存储能力各不相同的多类设备。
挑战：
- 算力差异：部分设备可能难以承担复杂的模型训练任务。
- 能耗限制：电池供电设备需在模型训练与能耗之间保持平衡。
持续的解决方案与研究：
- 自适应本地训练：根据设备能力调整本地计算的复杂度。
- 模型压缩：采用剪枝与知识蒸馏等技术构建更小且高效的模型。
数据安全风险
尽管联邦学习提升了隐私，但也引入了新的安全问题。
挑战：
- 模型投毒：恶意行为者可能试图注入不良数据或模型更新，从而破坏全局模型。
- 推理攻击：复杂技术可能被用来从模型更新中推断训练数据的信息。
持续的解决方案与研究：
- 稳健聚合：采用中值聚合与拜占庭容错算法等技术来检测与缓解恶意更新。
- 差分隐私：在模型更新中添加受控噪声以防止推理攻击。
尽管存在这些挑战，该领域正迅速发展，研究者与实践者正积极探索创新解决方案。这些持续努力不仅在解决当前局限，也在开辟新的可能性。
结语
联邦学习代表了机器学习领域的一项重要进展，为协作式 AI 开发提供了隐私友好的方法。通过在去中心化数据上进行模型训练，它在利用多样数据集力量的同时，解决了数据隐私与安全方面的顾虑。
尽管存在通信成本、设备异构性与潜在安全风险等挑战，但持续的研究与技术进步正不断提升联邦学习系统的效率。随着隐私法规趋严与数据隐私价值日益提升，联邦学习很可能在 AI 与机器学习的未来中扮演愈发重要的角色。
若您希望加深对机器学习的理解，并将联邦学习纳入您的技能体系，推荐以下资源：
- Introduction to Machine Learning in Python 教程：如果您是机器学习新手，该教程是极佳的起点。它通过 Python 介绍主要概念与技术，为联邦学习等更高级主题打下基础。
- End-to-End Machine Learning 课程：若您对完整课程感兴趣，此课程将为您夯实机器学习原理与实践，提供理解与实现联邦学习等高级技术所需的背景。
- Machine Learning Scientist with Python 职业路径：如果您希望在该领域发展职业，此职业路径将深入讲解基于 Python 的机器学习，涵盖众多必备主题与技术。这些技能将有助于您实施联邦学习系统。
通过系统学习这些机器学习基础技能，您将为探索并贡献于联邦学习等新兴领域做好充分准备，站在隐私保护型 AI 开发的前沿。
联邦学习提供了一种在分布式数据集上协作开发 AI 模型且不牺牲数据隐私的方式。它可应对数据安全、合规要求与数据本地化等挑战。借助联邦学习，组织既能最大化大数据价值，又能遵循隐私监管。
在本指南中，我们将探讨联邦学习的核心原理、实施方式及其在各行业的潜在应用。从医疗与金融到移动应用与物联网，我们将审视这种协作式 AI 方法如何在模型性能与数据保护之间取得平衡。若您完全是入门者，可学习我们的Understanding Machine Learning课程，无需编程。
阅读我们的白皮书The Learning Leader's Guide to AI Literacy，了解 AI 将如何影响您的组织并如何实施成功的 AI 战略。
什么是联邦学习？
联邦学习是一种前沿的机器学习范式，支持在去中心化的设备或服务器网络上训练 AI 模型。此方法允许每个节点使用其本地数据为模型学习作出贡献，而无需交换或集中这些数据样本。该方式在保留原始数据于其来源的同时实现协同学习，从而解决隐私与安全方面的担忧。
联邦学习的优势
联邦学习不同于传统的集中式机器学习方法。传统方法会将所有训练数据聚合至中心位置进行模型训练；而联邦学习将模型带到数据所在处，而非相反。其去中心化特性带来多项关键优势：
联邦学习 vs. 数据联邦
尽管联邦学习侧重分布式的模型训练，但它与数据联邦这一处理分布式数据的方式在概念上有一些相似之处。两种技术都旨在不集中原始数据的前提下，从去中心化的数据源中获得洞见。
基本而言，联邦学习专注于在各设备间协作训练机器学习模型，而不共享原始数据，随后再对各模型的输出进行聚合；而数据联邦则为分布式数据提供集中化的访问。若想了解分布式数据处理的更广泛背景，您可阅读我们的文章 What Is a Data Federation?
联邦学习如何运作？
联邦学习通过一系列协同步骤实现在保护数据隐私的同时进行协作式模型训练。该过程可分为三个关键阶段：初始化、本地 训练，以及更新的聚合。下面分别说明：
初始化阶段
联邦学习流程始于初始化阶段：
本地训练
客户端收到全局模型后，进入本地训练阶段：
更新的聚合
最后阶段通过聚合本地更新来改进全局模型：
通过多轮本地训练与全局聚合的迭代，联邦学习模型将不断改进。
联邦学习的类型
联邦学习包含多种方法，旨在应对分布式机器学习中的特定场景与挑战。尽管在去中心化数据上训练模型这一核心原则保持不变，但具体实现各有不同。下面介绍四种主要类型：
中心化联邦学习
中心化联邦学习（也称基于服务器的联邦学习）是最常见的方法。我们上文介绍的方法即为中心化联邦学习的典型方式。在中心化联邦学习中，中心服务器协调整个学习过程。服务器分发全局模型以启动训练，客户端在本地训练并将更新回传服务器，最后服务器聚合这些更新以改进全局模型。
该方法适用于由可信中央实体管理过程的场景，例如科技公司在用户设备间改进其服务，或医疗联盟在多家医院间协调研究。
去中心化联邦学习
去中心化联邦学习不需要中心服务器。在该模式下，客户端在点对点网络中直接通信，每个客户端既是学习者也是聚合者。客户端之间共享模型或更新，常借助区块链或其他分布式账本技术，全局模型由所有客户端的集体交互中逐步形成。
当不存在单一可信中央权威，或需要增强对单点故障的抗性与隐私时，该方法尤为有用。
异构联邦学习
异构联邦学习针对跨多样化设备与数据分布进行训练的挑战，能够容纳计算能力与资源各异的设备。其通过自适应算法来处理各客户端数据质量与数量的差异。
该类型适用于真实世界中数据与设备天然多样的应用场景，例如物联网网络或跨组织的模型训练。
跨孤岛联邦学习
跨孤岛联邦学习侧重于不同组织或数据孤岛之间的协作。其参与方数量较少但可信度高，通常是组织而非单个设备。与跨设备场景相比，参与者通常拥有更大的数据集与更稳定的连接。此类协作可能涉及关于数据共享与模型所有权的复杂法律与组织协议，常用于机构间的协作研究或银行间的反欺诈系统。
这种方法使组织在保持对敏感数据控制的同时，受益于群体智能。
联邦学习的应用
联邦学习正在改变各行业处理机器学习的方式，特别是在数据隐私与安全至关重要的场景。通过在不集中敏感数据的前提下实现协作学习，联邦学习正被应用于多个领域。
医疗健康
联邦学习让医院与研究机构在不牺牲患者隐私的情况下进行协作，从而变革医学研究与患者护理：
金融
金融机构在严格的数据隐私与合规要求下，利用联邦学习提升服务质量：
物联网与移动设备
联邦学习正在增强边缘设备的能力，在保护隐私的同时提升用户体验：
这些应用表明，联邦学习不仅是理论概念，更是解决各行业实际挑战的务实方案。
联邦学习中的高级隐私与安全考量
尽管联邦学习通过保持原始数据本地化天生增强隐私，但仍需采用其他技术进一步加强数据保护。这些方法确保即便在学习过程中共享的模型更新也不会无意中泄露敏感信息。
差分隐私
差分隐私是一种在数据或模型更新中添加受控噪声的数学框架，使几乎不可能逆推出单个数据点：
安全聚合
安全聚合是一种密码学技术，允许服务器在看不到个体更新的情况下计算来自多个客户端的模型更新总和：
同态加密
同态加密是一种允许在密文上进行计算的高级技术：它使服务器无需解密即可对加密的模型更新执行运算，从而提供额外的安全与隐私保护层。
联邦学习的挑战
尽管联邦学习优势明显，但也面临多项挑战。下面我们来探讨主要挑战及若干潜在解决方案。
通信成本
联邦学习系统常涉及中心服务器与众多客户端设备之间的频繁交互，导致显著的通信开销。
挑战：
持续的解决方案与研究：
设备异构性
联邦学习往往涉及计算与存储能力各不相同的多类设备。
挑战：
持续的解决方案与研究：
数据安全风险
尽管联邦学习提升了隐私，但也引入了新的安全问题。
挑战：
持续的解决方案与研究：
尽管存在这些挑战，该领域正迅速发展，研究者与实践者正积极探索创新解决方案。这些持续努力不仅在解决当前局限，也在开辟新的可能性。
结语
联邦学习代表了机器学习领域的一项重要进展，为协作式 AI 开发提供了隐私友好的方法。通过在去中心化数据上进行模型训练，它在利用多样数据集力量的同时，解决了数据隐私与安全方面的顾虑。
尽管存在通信成本、设备异构性与潜在安全风险等挑战，但持续的研究与技术进步正不断提升联邦学习系统的效率。随着隐私法规趋严与数据隐私价值日益提升，联邦学习很可能在 AI 与机器学习的未来中扮演愈发重要的角色。
若您希望加深对机器学习的理解，并将联邦学习纳入您的技能体系，推荐以下资源：
通过系统学习这些机器学习基础技能，您将为探索并贡献于联邦学习等新兴领域做好充分准备，站在隐私保护型 AI 开发的前沿。