The Enterprise AI Paradox: Scaling Agents Without Losing Control

新的企业级AI悖论在于：我们越是把行动委派给AI代理，自身的能动性就越容易丧失。在代理时代，瓶颈不在于生成，而在于评估与信任。

我们已经习惯了主要用于支撑人类判断的AI系统。在很多情况下，我们也逐渐习惯这些系统会确认我们的判断与偏见，而不会提出实质性的挑战。它们会生成文本、概括信息，或给出建议。 

然而，人类依旧是决策者与批准者。

AI代理改变了这一点。代理式系统不止是给出建议，它们被设计为可在复杂的组织生态中进行规划、决策并采取行动。 

它们会触发工作流、调用API、转移资金、更新记录。它们会在不必等待人工确认的情况下启动流程。这改变了企业的风险版图。

问题在于，一旦代理式系统采取行动，其后果可能代价高昂。当代理犯下30万美元的采购错误时，“工具做了决定”不再是可行的辩解。企业的损失是真实的，总要有人承担责任。仅仅因为代理采取了行动，您的责任并不会消失。

企业希望获得自治代理带来的速度、规模与效率，但问责制不可能被自动化消除。将行动委派给代理，并不等于将责任也一并委派。

核心问题是：如何在不放弃能动性的前提下，规模化使用代理式AI？

从辅助式AI到代理式AI

要回答这个问题，我们需要区分辅助式AI与代理式AI。

• 辅助式AI默认有人在环。它提供一个提案，您点击“接受”。人类仍是主要的所有者。
• 代理式AI接管从规划到执行工作流并自主部署的全过程。代理会在数据库间穿梭、对接API，并自主做出决策以实现目标。

区别在于控制权程度。在辅助式系统中，能动性显然属于人类。权力与问责更可能保持一致：由人类决策、系统支持。但在代理式系统中，系统采取行动，而最终问责仍在于人类。 

这正是悖论加剧之处。

随着自治程度提升，持续的人为监督（人类在环）变得不切实际。但降低监督会增加风险暴露，例如政策违规、错误与意外后果。而若把代理限制得过紧，自治就沦为空谈，我们也将失去规模与效率的收益。

真正的瓶颈：评估

承诺实现大规模自动化的供应商并不缺。代理能产出计划、做出决策并以快于任何人类团队的速度行动。

但当代理行动时，企业会面临一个新问题：我们如何确认这些行动是正确、安全，并且符合我们的政策？

当代理机会遭遇负责任AI使用的约束，会发生什么

常见的直觉反应是增加审批环节：安排审阅者签字，并对异常进行升级。然而，传统的“人类在环”在规模化时会失效。

一个持续运行的代理每天可能会做出数百甚至上千个决策。 如果每个行动都需要人工评估，最终的“验证工作”将抵消最初的时间节省。我们把执行自动化了，却在评估环节重新引入了瓶颈。

还有另一层复杂性。我们会评估代理采取的行动是否正确、安全、可靠。那么，拒绝行动呢？系统是否知道在何时不该行动？

这也许是代理式AI最大的问题之一：一个有用的代理需要能够检测政策冲突，并说出“我不能这么做”或“我需要转交给人类”。缺少这种能力，代理就会变成输出机器——不论应不应该，都在生成结果。 

在规模化场景中，这种行为会变成一种负担。

这将我们再次带回悖论。

如果人类无法事事复核，而代理又无法可靠地自我设限，那么评估就不能再是部署后的临时附加层。它必须被设计进系统本身。

把评估当作基础设施，而非事后手工补救

问题不在于评估是否必要，而在于如何实施。  

在KNIME，我们在实践中见证了这一点。某次我们构建了一个基于数据洞见来生成行动的代理。它极大地加快了我们的工作，但我们发现自己几乎在质疑每一条洞见。我们不应对代理盲目信任，但若想实现规模化，信任又不可或缺。 

转折点出现在我们把反馈整合进工作流之时。通过标注与识别每一次“失败”，代理从我们这些在环的人类那里学习并改进。随着时间推移，代理表现提升，信任也随之增长。

我们的体会是：把信任构建进系统。评估与反馈必须成为系统的一部分，而非额外附加的流程。

目标是“受治理的自治”

目标不是不受限制的自治，也不是永久的人为监督，而是“受治理的自治”——在清晰边界内系统可独立行动。

我们的平台需要能回答这样的情境：若代理出错会怎样、可接受的错误数量是多少、失败的成本与自动化的收益如何权衡。

“受治理的自治”要求组织预先定义：

代理可以在高于定义置信度时自主运行；低于阈值时，必须提交人为复核。随着信任与绩效提升、错误率下降，这些阈值可以调整，但升级机制需始终保留。

至关重要的是，人类的强制干预能力必须始终可用。自治应当减少日常介入，而非将其彻底消除。

这种方法重塑了悖论：能动性并不会因委派而丧失，而是通过护栏框架来加以行使。

设计护栏框架

我认为，对代理式系统的信任并非源自更好的模型，而是更好的框架。

企业需要一个作为系统基础设施组成部分的护栏框架。它既赋能代理，又将其约束在确定性的逻辑之内。

一个健壮的企业级框架应包括：

1. 将显式护栏集成进工作流

代理不应仅靠数据来决定下一步行动。它们应在预设的规则与约束内运行，并与企业的监管、财务与组织政策保持一致。

这些规则与约束需要被集成到工作流中。如此，政策才能得到可执行的落实。

2. 对代理构建过程的全程可见与可审计

企业需要可追溯性，了解决策是如何被构建与执行的。

仅看到代理的结果并不够；组织必须能够检查其“思考”过程——包括推理路径、工具使用与数据来源。

这使得审计追踪成为可能，解释为何做出某个决策，从而形成问责、支持合规并实现事后分析。

3. 确定性工具

在已有确定性逻辑的领域，代理不应临场发挥。

与其让代理每次都去“猜”如何计算复杂的税率边际，不如给它一个固定、经过验证的工具（一个“节点”或子任务）来执行该特定计算。

这样，代理就会成为可靠工具的编排者，而非在高风险语境下生成不确定推理的生产者。

4. 对数据访问的控制

深度数据访问并非总是必要。

代理应当遵循“知情即所需”的原则访问数据。支持代理需要会话历史与知识库，但很可能并不需要客户的社会安全号码才能高效工作。

5. 反馈回路与持续维护

代理式系统不应从试点一步跳到完全自治。

早期阶段可能需要更高水平的人为审查与主动监控。但随着性能稳定、失效模式被理解，可以逐步扩大自治范围。

持续维护至关重要。代理需要被持续维护与优化。数据可能漂移、过时，法规也会变化。若不监控与重校，代理就会基于不准确或陈旧的信息做决定。

架构至关重要

要在规模上实现“受治理的自治”，组织的治理层应当置于具体模型与供应商之上，以避免被厂商锁定。

治理应作为一个架构层存在，使您在更换底层AI时，依然能保持护栏不变。

在此背景下，兼具编排、确定性逻辑与透明执行的平台具有战略意义。它们让组织得以决定代理如何与企业数据和流程交互。

一个误解是：更好的模型会自动带来更好的决策。最具破坏性的事件往往并非源自模型错误，而是人类在未设计清楚责任的前提下就委派了责任。控制力存在于系统之中，而非模型之内。

KNIME 遵循构建代理的最佳实践，并确保代理从不直接接触数据

化解悖论

企业级AI的悖论不会自行消失：组织会希望获得更高的自治性以换取效率与规模，但监管审查与风险也会随之增加。

关键洞见是：能动性需要通过设计来确保。

代理时代最重大的失败，往往并非源自技术本身，而是来自拙劣的治理设计。能够成功的组织，是那些有意为之地设计自治并在结构上嵌入监督的组织。

更锦上添花的是，当您的AI平台提供集成治理能力时，组织便能同时实现自动化与评估的规模化。您可通过这场 DataCamp 网络研讨会了解更多制定AI治理行动手册的内容。