Anthropic 电脑操控：用 Claude 3.5 自动化您的桌面

电脑操控目前处于实验阶段，Anthropic 正在向开发者开放试用并收集问题反馈。随着时间推移，这项技术会不断完善，并有潜力在各类岗位中高效处理任务，从开发者到行政岗位皆然。

Canva、DoorDash 和 Replit 等组织已经开始尝试使用电脑操控来自动化那些需要几十步、甚至上百步才能完成的任务。

这一新能力得益于全新升级的Claude 3.5 Sonnet 模型，面向所有用户开放。您可以通过 Anthropic API、Amazon Bedrock 和 Google Cloud 的 Vertex AI 进行访问。

电脑操控的工作原理

Anthropic 的电脑操控在后台执行四个步骤。首先，它接收用户的 API 请求。随后，Claude 会根据提示词选择要使用的工具。之后，它对桌面进行截图并评估任务是否完成。如果未完成，它会持续调用工具直至达成目标。让我们更详细地了解一下。

1. API 请求

我们将从使用 Python API 访问最新的 Claude 3.5 Sonnet 模型开始，并调用两种工具：text_editor 和 bash。目前，我们只能访问三种由 Anthropic 定义的工具：

• { "type": "computer_20241022", "name": "computer" }
• { "type": "text_editor_20241022", "name": "str_replace_editor" }
• { "type": "bash_20241022", "name": "bash" }

“type” 字段用于标识工具，“name” 字段会暴露给模型。然后，我们会提供用户提示词和电脑操控参数。

import anthropic

client = anthropic.Anthropic()

response = client.beta.messages.create(
    model="claude-3-5-sonnet-20241022",
    max_tokens=1024,
    tools=[
        {
          "type": "computer_20241022",
          "name": "computer",
          "display_width_px": 1024,
          "display_height_px": 768,
          "display_number": 1,
        },
        {
          "type": "text_editor_20241022",
          "name": "str_replace_editor"
        },
        {
          "type": "bash_20241022",
          "name": "bash"
        }
    ],
    messages=[{"role": "user", "content": "Download a picture of a sports car to my desktop."}],
    betas=["computer-use-2024-10-22"],
)
print(response)技术支持

2. Claude 选择要使用的工具

Claude 会检查工具定义和可用权限，以确定用户请求可使用哪些工具。选定工具后，Claude 将发起工具请求。

3. 提取、评估与结果

电脑操控会提取工具输入，基于输入在计算机上执行流程，并以截图形式返回结果。随后，它会在新的用户消息中继续对话，该消息包含工具的输出结果。

4. 重复调用电脑操控工具直至完成任务

Claude 会处理并解读工具结果，以判断任务是否完成或是否需要更多工具。如果决定使用其他工具，它将再次重复第 3 步。无用户干预地重复第 3 和第 4 步，被称为“智能体循环”。这是一个循环过程，Claude 通过工具与您的桌面环境交互并评估结果。

电脑操控上手指南

电脑操控处于测试阶段，因此存在多种风险。如果计算机尝试通过浏览器访问互联网，这些风险会进一步放大。这就是我们使用权限最小化的 Docker 容器的原因，以防范直接的系统攻击或意外。

我们将使用一个参考实现，其中包含通过 Docker 启动电脑操控的命令。该 Docker 镜像包含 Claude 使用计算机所需的全部组件。

前提条件：

• 在您的系统上安装最新版 Docker。
• 获取 Anthropic API 密钥，并确保有足够额度使用此功能。

在终端或 bash 中输入以下命令。将 %your_api_key% 替换为您在控制台获取的 Anthropic API 密钥。

export ANTHROPIC_API_KEY=%your_api_key%
docker run \
    -e ANTHROPIC_API_KEY=$ANTHROPIC_API_KEY \
    -v $HOME/.anthropic:/home/computeruse/.anthropic \
    -p 5900:5900 \
    -p 8501:8501 \
    -p 6080:6080 \
    -p 8080:8080 \
    -it ghcr.io/anthropics/anthropic-quickstarts:computer-use-demo-latest技术支持

它将下载所有必要的包并在 Docker 容器中运行。

容器运行后，我们可在浏览器中输入本地地址 http://localhost:8080 访问 Claude 电脑操控。

开始输入提示词，电脑操控将执行完成任务所需的全部步骤。

提升模型表现

为电脑操控编写提示词与将 Claude 3.5 Sonnet 用于聊天或通用生成完全不同。您需要遵循一些简单规则才能获得准确结果。

1. 为每个步骤提供简单且详细的指令。
2. 在提示词中要求 Claude 每一步后截图并评估结果是否正确。
3. 在提示词中加入反思过程。若未达到期望结果，指示 Claude 重试。
4. 对于复杂的 UI 元素，要求 Claude 使用键盘快捷键而非鼠标。
5. 附上您期望结果的截图，以引导 Claude 生成相似结果。

电脑操控的应用

电脑操控在日常生活和工作中有数百种用例。它可以为您自动化处理各种复杂任务。比如，您可以让电脑为您与朋友在金门大桥安排一次见面。

如视频所示，它可以执行 Google 搜索、打开地图查找距离、查看日落时间，并将事件添加到日历。对于日常中通常需要花费数小时调查与组织的任务，这非常高效。借助 AI，只需几分钟、极少监督即可完成。

在另一个示例中，Alex 要求电脑启动 Chrome 浏览器，并使用名为 claude.ai 的网站创建一个 90 年代风格的个人网站。之后，他让它下载文件、在 VS Code 中打开并在本地运行。几分钟内，他就搭建了一个完整的网站。

电脑操控的限制

在开始使用 Claude 的电脑进行 AI 试验前，请注意其限制与警示，例如：

1. 时延：与人类直接操作电脑相比，电脑操控的时延可能偏高。
2. 滚动可靠性：在当前配置下，滚动不够可靠。可改为要求 Claude 使用键盘快捷键。
3. 表格交互：通过鼠标点击与电子表格交互不够稳定。您可以要求 Claude 使用方向键来规避。
4. 漏洞：越狱或提示注入是常见的 AI 模型问题，在电脑操控中同样存在。
5. 非法行为：禁止使用电脑操控从事违法行为。
6. 社交与通讯平台问题：Claude 在创建账户和发布社交媒体内容时存在困难。
7. 计算机视觉准确性：Claude 在生成操作时，可能会误判或误解具体坐标。
8. 工具选择准确性：Claude 在选择工具并生成操作时，可能出现错误或幻觉。

电脑操控的定价

电脑操控的成本与调用 Claude 模型 API 类似。但会因使用特殊系统提示词以及额外输入 Token 而产生附加成本。您可以在 Anthropic 的定价页面查看各模型的定价详情。

特殊系统提示词的 Token 用量

该特殊系统提示词在自动工具选择时需额外 466 个 Token，在使用任意工具时需 499 个 Token。上述数据适用于全新的 Claude 3.5 Sonnet 模型，该模型的定价为每百万输入 Token 3 美元、每百万输出 Token 15 美元。

额外输入 Token

如使用 Anthropic 定义的工具，需额外消耗以下输入 Token：

• computer_20241022：683 个 Token
• text_editor_20241022：700 个 Token
• bash_20241022：245 个 Token

总结

电脑操控拥有无数应用场景，企业可以将大量手工工作自动化，从而提升生产力。对于普通电脑用户，它也能在点咖啡、订机票等日常事务上节省时间。

电脑操控有潜力处理各种任务，您只需进行监督。给出指令并评估其产出即可；如果不准确，您可以要求其迭代改进。该工具潜力巨大，影响力或将超过OpenAI o1 模型的推出。

我们已经了解了 Anthropic 的新功能，以及它如何借助 Claude AI 与桌面环境交互并进行修改。我们还了解了其工作原理，构建了 Docker 镜像并在本地使用，学习了用例、限制和定价。简言之，现在您需要做的就是亲自尝试，体验这些强大功能。如果您刚接触 Anthropic 和 Claude，请查看以下资源：

• Claude 入门网络研讨会
• 什么是 Claude 3.5 Sonnet？工作原理、用例与 Artifacts
• Claude 3 与 Claude 3 API 入门教程