理解超级对齐：让 AI 与人类价值观保持一致

实现超级对齐的技术

本节将介绍实现超级对齐的一些方法与技术。这些方法背后的核心理念是应具备可扩展性。

对抗式训练

与任何训练一样，在对齐中，开发者必须测试系统是否学会了期望的行为。测试超级对齐的一种方式是向 AI 提供反例。大型 AI 系统必须接受训练，能识别哪些请求并非出于善意，并作出恰当处理。

一种常见做法是让两个人工智能相互对抗。这类似安全研究中常见的红队与蓝队方式：红队试图突破蓝队的安全与防线。

在用于超级对齐的对抗式训练中，每个 AI 都尝试找出会让另一个 AI 困惑的输入。例如，设想一个被对齐为不回应脏话的 AI（蓝队）。在对抗训练中，对手 AI（红队）的目标是寻找提示词，诱发蓝队 AI 给出不当回应。其目的在于确保即便在红队 AI 的测试下，蓝队 AI 仍能生成可接受的回复。

对抗式训练概念示意图。图像由 DALL·E 生成

鲁棒性训练

鲁棒性指能够区分表面相似但本质不同的输入。模型应能识别角落情形与边界情形。例如，一个识别视频片段中人类行为的系统，应能区分真实街头斗殴与电影中的编排打斗。混淆二者可能导致不良后果。

因此，大模型应特别暴露于表面相似的场景，以学习识别细微差别与微妙特征。

可扩展监督

随着 AI 模型拥有更多用户并被应用于更多场景，其监督也需同步扩展。人类参与是监督与对齐 AI 的关键。扩大人类监督比扩展技术方案更困难。为维持对 AI 的可扩展监督，需要新方法：

• 自动化实时监控： 自动化系统可持续跟踪 AI 的响应并监控其行为，以核查其是否符合人类价值观。显著偏离预期标准的情况可标记为需人类干预。
• 程序化审查： 人工审阅与审核所有 AI 输出具有可行性。可通过开发新程序与算法来检查 AI 是否与人类伦理一致。可疑案例可标记由人工版主进行裁量。

人类反馈强化学习（RLHF）

正如强化学习（RL）文章所述，在传统 RL 实现中，AI 系统通过观察人类并采用试错过程来最大化奖励。RLHF 将 RL 与人类输入结合，在训练期间引导 AI 的行为。

RLHF 从一个预训练模型开始。人工评审为模型指定一组任务，并对其输出提供反馈，如对模型的回答进行评分或纠正。

模型据此微调其行为，使之与人类反馈对齐并最大化奖励（正向人类反馈）。该过程反复进行，直至模型输出被认为相关、恰当且准确。

逆向强化学习（IRL）

在传统强化学习（RL）中，模型开发者会显式设定奖励函数（也称效用函数）。模型的目标是根据该奖励函数最大化收益。

在逆向 RL 中，模型根据训练好的模型或人类的行为来推断奖励函数。例如，基于 RL 的自动驾驶汽车可能会因保持在车道内、红灯停车等获得正向激励；而基于 IRL 的自动驾驶系统则通过密切观察并模仿经验丰富的人类驾驶员或已训练 AI 的动作，自己归纳出激励机制。

人类价值无法在所有情境中被显式枚举，这使传统 RL 难以处理对齐问题。

更有效的方法是让 AI 在不同情境中观察并复现人类行为。通过观察人类，AI 学会在众多可能回应（或行动路径）中，哪些更接近人在该情景下的做法，从而帮助其与人类价值对齐。

逆向强化学习概念示意图。图像由 DALL·E 生成

辩论

许多对齐方法涉及人类训练 AI 何为可接受行为、何为不可接受，但人类并非总是理想的评判者。

对于许多复杂问题，如全国铁路系统的最优排班，可能无人能判断某个方案是否最佳。一个解决之道是借助 AI 自身来实现超级对齐。在辩论方法中：

• 一个 AI 提出解决方案，并对每一步给出详细解释。
• 随后由同一或另一个 AI 对每个解释进行批评（提出反对论点）。
• 人类判断哪一方论点更正确。由于每个论点范围有限，人类更易评估其有效性。

逻辑推理过程被游戏化，最有力的论点获胜。通过一系列辩论，AI 学会哪些推理路径可取、哪些不可取。未来任务中的输出将更符合人类价值。

迭代扩增

在传统机器学习与深度学习系统中，训练依据是模型输出是否匹配期望输出。

随着 AI 能力增长，将被用于愈加复杂的任务。对许多此类任务，人类并不预先知道期望输出。唯一的可选方案可能都是 AI 生成的。此时，基于最终输出进行对齐较难，因为人类无法判断最终结果。

例如在设计运输时刻表时，系统需在财务可行性与公共服务效用之间权衡。诸多考量使得难以判定哪种最终设计更符合人类价值。

在这种情况下，更易做法是利用人类监督确保较小子任务的对齐。随后在流程更后阶段，将稍大的任务再拆分为小子任务，并在人工监督下完成对齐。该过程反复迭代，直至任务大到人类无法直接评判。

迭代扩增的假设是：既然更小、更简单的子任务已通过人类验证实现对齐，那么更大的主任务也将对齐。这称为迭代扩增。迭代扩增也常与辩论等技术结合使用。

价值学习

人类互动复杂而细腻。很多情况下，单独看人类行为会有歧义——只有在恰当语境下才有意义。因此，传统效用函数与强化学习不足以让 AI 内化人类价值。

一个备选方案是让模型访问一组效用函数，而非单一效用函数。根据情境不同选择不同的效用函数。模型通过观察人在不同情境中的行为来学习如何选择合适的效用函数。这称为价值学习。

价值学习是一种让 AI 在不同场景中直接观察人类行为，并学习对应情境下正确行为的技术。这需要让 AI 接触到丰富多样的真实交互中的人类行为。

价值学习概念示意图。图像由 DALL·E 生成

参与对齐训练的人类应表现出被认为可接受的行为。例如，在为 AI 对齐驾驶行为时，人类驾驶者不应陷入路怒，但在遇到慢车时，应尝试安全超越。

大型语言模型（LLM）的超级对齐

LLM 是当前最流行的大规模 AI 模型，应用广泛。鉴于其庞大的用户群与用例，LLM 语境下的超级对齐值得深入探讨。

LLM 与对齐挑战

大型语言模型如 GPT-4、Gemini 与 Meta AI 已开始用于日常生活。鉴于其规模与范围，LLM 带来了新的对齐挑战，例如：

• 偏见延续：这些模型在来自开放互联网与其他库的大量数据上训练。训练数据中的任何偏见都会直接反映到模型输出中。由输入数据缺陷导致的偏见被视为算法偏见。
• 复杂系统： 这些模型规模庞大、训练数据广博、用例多样，导致难以预测系统行为，也难以确保在所有用例中，输出都与人类价值保持一致。
• 规模问题：鉴于其庞大用户群与巨量查询：

• 即便不对齐的回应比例很小，绝对数量仍会很大。
• 很难确保 AI 的行为在所有用户中始终与人类价值与伦理保持一致。

因此必须采用新方法来测试这些模型的对齐程度，并持续微调，确保其与人类价值与伦理标准保持一致。

评估 LLM 输出

为确保与人类价值对齐，人们提出并尝试了多种评估 LLM 输出的方法。这些方法需要可扩展。例如：

• 过滤不良输出： 一种务实做法是在语言模型上加一层过滤器，以剔除不当回复。将文本生成与过滤任务分由不同系统训练更高效。过滤器本身可以是另一个 AI，用于扫描生成式 LLM 的输出，查找不当语言与敏感话题。
• 偏见检测： 训练数据集难免含有偏见，导致模型产生偏见。检测 LLM 输出偏见的一些方法包括：
• 模型开发者对模型进行偏见输出审计。偏见审计涉及用多样化输入测试模型，并比较各情形的响应。
• 有时使用专门的偏见检测算法，系统性地查找并识别不同类型的偏见。
• 事实核查：自诞生以来，幻觉一直困扰着 LLM。LLM 只会基于训练数据预测下一串词汇，并无事实概念。对 LLM 而言，“Dell 生产个人电脑”与“Dell 生产薯片”同样“合理”。因此，当用 LLM 生成基于事实的文本时，务必核查生成文本是否事实正确。
• 可解释性： 传统 IT 系统与程序是基于规则的，您可以通过调试定位产生特定输出的规则。相比之下，LLM 拥有数十亿参数，不可能追溯是哪些权重促成了输出的不同部分。

幸而，推理是大型语言模型的一种涌现特性。涌现特性是复杂系统的一种属性，不能简单视为其各部分之和。

人们常观察到 LLM 能解释其回答并对多步问题展开推理。让 LLM 讲解复杂解法，并由人类逐步评估，可帮助验证其回应。

LLM 与人类交互

用于交互的 LLM 必须理解人类对话的细微之处，能够基于对话语境作出回应。

语气、意图、讽刺和情绪线索难以用数学方式表示。然而，AI 模型必须考虑这些因素，才能有效与人类交流。只有对齐为具备同理心的 LLM，才能高效与人互动，建立信任并促进富有成效的交流，而实现这一点的唯一方式是应用各种超级对齐技术。

超级对齐中的伦理考量

超级对齐的终极目标，是让强大 AI 符合人类社会的伦理标准。

本节解释伦理在超级对齐中的作用，以及确保大型模型伦理行为所面临的挑战。

确保伦理行为

与人类价值不一致的 AI 永远不可能是安全可用的。失衡系统可能产生有害内容，被不良行为者滥用；也可能延续社会不平等并放大既有偏见。

最糟情况下，失衡系统可能滥用其能力，导致操纵性行为。因此，伦理关切是所有超级对齐工作的核心。唯有确保在各种情境下的伦理行为，AI 工具方可被视为可靠可信，并广泛、长期使用。

在效用与安全间求得平衡

将伦理行为注入 AI 系统代价不菲。为实现超级对齐，模型开发者需要：

• 人工审计响应并向 AI 提供反馈
• 在发布模型前投入额外时间确保超级对齐
• 用于微调与对齐模型的额外算力资源

此外，在推理阶段，模型还需执行额外计算，以确保其响应与人类价值一致。有时，将对齐作为约束会限制模型能力，因此超级对齐的模型可能性能更低。

因此，需要在模型的技术性能与对齐考量之间取得平衡。若将对齐与安全置于传统性能指标之上，可能导致模型在实践中不够有用。

公平与偏见

大规模 AI 模型拥有大量用户与多样用例。输出中的任何偏见都可能带来深远影响。因此，开发者应尽量降低模型中的偏见。

消除 LLM 的偏见充满挑战，因为这些模型通常基于海量文本数据进行无监督训练，AI 会吸收训练文本中存在的各种偏见与成见，进而导致输出不公平、带歧视。开发者可采用多种方法应对：

• 偏见检测： 在采取对策前，必须先识别偏见行为。对模型输出样本进行定期审计与公平性评估，有助于识别模型呈现的偏见类型和触发这些偏见的情境。
• 偏见消除： 消除偏见主要有三种路径：
• 对模型进行编程，纠正输出中的特定偏见。
• 用合成数据补充训练集以增强训练数据。例如，若图像识别系统的训练集中某物种图像极少，将降低识别该动物的边际概率。通常通过为该物种合成更多图像进行数据增强，和/或在训练中提高其权重来应对。
• 更新训练数据中代表性不足子集的权重。即调整训练数据不同子集的权重，使训练集中样本较少的类别与其他类别拥有相同权重。
• 持续监控： 模型会定期在新数据集上重训；同时，未来版本的行为也会受模型过去与用户交互的影响。用户行为也会因长期接触与使用 AI 而改变。因此，偏见检测与消除不是一次性任务，需纳入模型开发周期。

实现超级对齐的挑战

如前文所述，实现超级对齐并不容易。主要困难包括：

• 模型的复杂性与规模： 现代 AI 模型拥有数十亿参数，难以从第一性原理预测其响应或理解其决策过程。因此，确保模型始终与人类价值对齐具有挑战性。对参数的小幅更新也可能扰乱其对齐状态。
• 对齐技术的可扩展性： 人类监督是对齐过程的核心。随着模型适用范围与可用性扩大，需要在更多情境下进行对齐。这引发了人类如何高效、经济地监督对齐工作的疑问。
• 泛化与鲁棒性： AI 模型经常要应对新场景与新输入，而训练与对齐基于的只是大但有限的数据与场景。模型需要将对齐扩展至训练中未明确覆盖的情境，能区分边界情形，并在新环境中保持伦理行为。
• 价值误对齐： AI 并不天生理解人类价值，只能依据训练学习。人类价值复杂且有时相互矛盾，在一个情境中完全可接受的行为，在另一个情境可能完全不当。当模型对价值的理解与预期不一致时，就会发生误对齐，导致不当回应和潜在的不伦理行为。
• 监管合规： 国家与超国家机构正开始制定监管与法律标准，以确保强大 AI 模型不损害公共利益。遵守这些新规将需要模型开发者付出额外努力。
• 与其他 IT 系统的集成： 大多数对齐工作集中在直接的人机交互。当 AI 与其他系统集成时，会出现新挑战。在此类集成系统中，AI 的输入与输出不再基于人类语言，因而更难解释其响应。确保包含 AI 的复杂 IT 系统实现超级对齐会带来意想不到的挑战。一种可能性是将整个集成系统交由另一套 AI 协助人类理解与监控。
• 监控与更新： 持续监控模型响应是确保其在实践中合乎伦理的必要手段，通常通过对真实输入的模型输出进行随机抽样完成。更新模型参数也可能扰乱其对齐，因此需要将对齐的维护与更新纳入模型开发生命周期。

结论

未与人类价值与伦理对齐的 AI 系统不适合公开使用，甚至可能带来不良后果。

本文讨论了超级对齐——一组用于对齐大型、强大 AI 系统的方法与路径；并在 LLM 语境下进一步探讨了超级对齐。最后，鉴于超级对齐仍在演进，我们梳理了其落地实施面临的主要挑战。