Google 的 Jarvis AI 几乎可以肯定是基于 Web 的 AI 代理

What Is Jarvis AI?

我们唯一知道的是，11 月初曾短暂上线过一款名为 Jarvis 的 Google Chrome 扩展。尽管露面时间很短，但其商店页面上的描述称其为“为您浏览网页的贴心助手”。这一描述与 Jarvis 作为AI 代理的既定功能相符——用于自动化基于 Web 的任务。

在今年早些时候的主题演讲中，Google 展示了尚未发布的 AI 代理，能够控制浏览器来执行各类任务。我推测，Jarvis AI 可能就是这场演示背后的实际产品。

在演示中，他们举了一个退鞋子的例子。借助 AI 代理，我们只需表达想要退鞋，代理就会自主完成所有步骤。

与浏览器及 Gmail 等其他 Google 产品集成后，代理可按以下步骤完成退货流程：

1. 在收件箱中搜索收据。
2. 在邮件中找到订单号。
3. 填写退货表单。
4. 预约上门取件。

How Does Jarvis AI Work?

Jarvis AI 能为用户自动化日常的 Web 端任务，例如开展研究、在线购物、预订机票或餐位。

Jarvis 可能使用了 Google Gemini 系列大型语言模型的特制版本。这意味着 Jarvis 使用了具备“思考”或推理能力的模型，从而能够处理复杂任务并提供更个性化的响应。此外，它预计会与 Gmail、地图和搜索等现有 Google 服务深度集成。

这种集成可通过访问用户数据并简化多种流程来增强 Jarvis 的能力，例如从 Gmail 获取在线退货的收据，或利用地图的位置信息进行行程规划。

Gemini 模型是多模态的，能够处理多种类型的数据（文本、图像、视频、音频等），并在其间建立联系。代理很可能可以访问浏览器内容，得以查看、理解并与屏幕上显示的元素交互。

需要说明的是，关于其内部工作原理及所依赖技术的相关信息均基于推测。

Jarvis AI 与其他 AI 代理对比

如前所述，我认为 Jarvis 的设计目标是自动化日常的 Web 端任务。Jarvis 的差异化在于与 Google Chrome 浏览器的深度集成。不过，它并非此领域的唯一参与者。

Anthropic 的 computer use

推出 Claude 的公司 Anthropic 也在其自有 AI 代理上取得进展，称为 computer use。该代理可与浏览器之外的各类应用交互。Anthropic 的代理于 2024 年 10 月进入公开测试，展示了其移动光标、点击按钮和输入文本的能力，与人类用户类似。

尽管两者在开发阶段和操作范围上有所不同，Jarvis 与 Anthropic 的 computer use 拥有共同目标：通过模拟类人的电脑交互来自动化任务。两者很可能都依赖精巧的屏幕捕获与解析机制，以理解用户请求的上下文并执行相应操作。

OpenAI 的 Operator

OpenAI 即将推出“Operator”，这是一款可代表用户执行任务的自主 AI 代理，如编写代码和预订行程。根据彭博社报道，Operator 计划于 2025 年 1 月推出研究预览版。

Sam Altman 回答一次 Reddit AMA

Meta 的 Toolformer

Meta AI Research 推出了 Toolformer，这是一种能够自主调用外部工具以提升在各类任务上表现的语言模型。详细内容见论文“Toolformer: Language Models Can Teach Themselves to Use Tools”。该模型经过训练，能够决定调用哪些 API、何时调用、传入哪些参数，并将结果纳入后续的令牌预测中。

这种自监督方法每个 API 只需少量示例，即可有效使用计算器、问答系统、搜索引擎、翻译系统和日历等工具。

AI 代理的挑战

总体而言，AI 代理带来了一系列挑战与考量，尤其涉及隐私、准确性与伦理影响。

隐私顾虑

虽然把枯燥耗时的任务自动化听起来很诱人，但这种便利也伴随着不安。我是否愿意让 Google 或任何其他公司完全访问我的电脑？这种想法令我深感不适。

隐私问题至关重要。Google 需要向用户保证其数据将得到安全、负责任的处理。他们需要实施稳健的安全措施和透明的数据处理实践，以降低可能的数据泄露或滥用风险。就数据访问、存储和使用制定清晰规范，并为用户提供细粒度的数据共享偏好控制，将是建立信任并促进采纳的关键。

准确性与可靠性

当我的 AI 代理出错会怎样？当 AI 聊天机器人犯错时，可能给出错误信息，但并不会直接采取行动。如果我请聊天机器人帮我规划行程，它会提供一份文本计划，但我仍需负责预订、支付等操作。这里有人为把关来避免不良后果。然而，当 AI 代理在现实世界中采取行动时，这些行动可能带来真实且不想要的后果。

当 AI 代理订错机票或退错鞋时，谁来负责？我想这些代理会在每次行动前提示用户，但我不确定这是否足以在更复杂的场景中避免错误。

像 Google 这样的公司必须优先进行严格的测试与验证流程，以尽量减少此类不准确。引入事实核查、信息交叉验证机制，并向用户清晰告知可能存在的错误风险，都是必不可少的。

伦理影响

Jarvis 以及更广泛的 AI 代理在伦理层面的影响不仅限于隐私与准确性。企业还必须考虑这些代理对社会的更广泛影响，包括潜在的岗位替代，以及对 AI 系统新型依赖的形成。

Conclusion

关于 Jarvis AI 的一切目前都带有推测性。在其正式发布之前，我们无法确定它的具体功能。然而可以肯定的是：AI 代理正在到来，它们代表着 AI 革命的下一步。

尽管我承认自动化任务极其有用，并有潜力大幅节省时间，但让我把电脑的控制权交给一个 AI（或任何人）这一想法，仍让我感到不安。

近年来，关于 AI 潜在危险的讨论很多。我认为，只要 AI 仍局限于聊天机器人，无法在现实世界执行行动，风险就相对可控。没错，AI 可能会指导某人如何制造有害之物，但那个人仍需亲自去做。如果有人真的想学，给他足够时间也能学到。有了 AI 代理，我们失去了这层保护，而随着我们赋予这些代理越来越多的能力，这听起来确实很危险。

我觉得迈向 AI 代理是必然趋势，但必须极其谨慎地推进。