Anthropic Computer Use: Tự động hóa máy tính của bạn với Claude 3.5

Computer use hiện đang ở giai đoạn thử nghiệm, và Anthropic cho phép nhà phát triển dùng thử và báo lỗi. Theo thời gian, công nghệ sẽ được cải thiện và có tiềm năng cực kỳ hiệu quả, xử lý tác vụ trên đủ loại vai trò, từ nhà phát triển đến hành chính. 

Các tổ chức như Canva, DoorDash và Replit đã bắt đầu thử nghiệm computer use để tự động hóa các tác vụ đòi hỏi hàng chục, thậm chí hàng trăm bước để hoàn thành.

Khả năng mới này khả thi nhờ mô hình Claude 3.5 Sonnet mới và cải tiến, hiện có cho tất cả người dùng. Bạn có thể truy cập qua Anthropic API, Amazon Bedrock và Vertex AI của Google Cloud.

Computer Use hoạt động như thế nào?

Anthropic computer use thực hiện bốn bước ở hậu trường. Đầu tiên, nó nhận yêu cầu API từ người dùng. Dựa trên lời nhắc, Claude sẽ chọn công cụ để dùng. Sau đó, nó chụp ảnh màn hình máy tính và đánh giá xem tác vụ đã hoàn thành chưa. Nếu chưa, nó sẽ tiếp tục dùng các công cụ cho đến khi đạt mục tiêu. Hãy khám phá chi tiết hơn. 

1. Yêu cầu API

Chúng ta sẽ bắt đầu bằng cách sử dụng Python API để truy cập mô hình Claude 3.5 Sonnet mới nhất và dùng hai công cụ: text_editor và bash. Hiện tại, chúng ta chỉ có quyền truy cập vào ba công cụ do Anthropic định nghĩa:

• { "type": "computer_20241022", "name": "computer" }
• { "type": "text_editor_20241022", "name": "str_replace_editor" }
• { "type": "bash_20241022", "name": "bash" }

Trường "type" được dùng để nhận diện công cụ, và trường "name" được lộ ra cho mô hình. Sau đó, chúng ta sẽ cung cấp lời nhắc của người dùng và tham số computer use.

import anthropic

client = anthropic.Anthropic()

response = client.beta.messages.create(
    model="claude-3-5-sonnet-20241022",
    max_tokens=1024,
    tools=[
        {
          "type": "computer_20241022",
          "name": "computer",
          "display_width_px": 1024,
          "display_height_px": 768,
          "display_number": 1,
        },
        {
          "type": "text_editor_20241022",
          "name": "str_replace_editor"
        },
        {
          "type": "bash_20241022",
          "name": "bash"
        }
    ],
    messages=[{"role": "user", "content": "Download a picture of a sports car to my desktop."}],
    betas=["computer-use-2024-10-22"],
)
print(response)

2. Claude chọn công cụ để dùng 

Claude kiểm tra định nghĩa và quyền truy cập công cụ để xem công cụ nào có thể dùng với truy vấn của người dùng. Khi công cụ được chọn, Claude sẽ thực hiện một yêu cầu công cụ.

3. Trích xuất, đánh giá và trả kết quả

Computer use sẽ trích xuất đầu vào của công cụ, dùng đầu vào đó để thực hiện quy trình trên máy tính, rồi trả về kết quả dưới dạng ảnh chụp màn hình. Sau đó, nó sẽ tiếp tục cuộc hội thoại với một tin nhắn người dùng mới chứa kết quả của công cụ. 

4. Gọi các công cụ computer use cho đến khi hoàn thành tác vụ

Claude xử lý và diễn giải kết quả của công cụ để xác định xem tác vụ đã hoàn thành hay cần thêm công cụ khác. Nếu quyết định dùng công cụ khác, nó sẽ lặp lại bước ba. Việc lặp lại bước ba và bốn mà không có đầu vào từ người dùng được gọi là “agent loop.” Đây là quá trình lặp, nơi Claude tương tác với môi trường desktop của bạn bằng các công cụ và đánh giá kết quả. 

Bắt đầu với Computer Use

Computer use đang ở giai đoạn beta và do đó tiềm ẩn nhiều rủi ro. Các rủi ro này tăng lên nếu máy tính cố truy cập internet qua trình duyệt. Đó là lý do chúng ta sẽ dùng container Docker với đặc quyền tối thiểu để ngăn tấn công trực tiếp vào hệ thống hoặc sự cố ngoài ý muốn.

Chúng ta sẽ dùng một triển khai tham chiếu chứa các lệnh để khởi động computer use với Docker. Ảnh Docker chứa mọi thành phần cần thiết để Claude sử dụng máy tính. 

Điều kiện tiên quyết: 

• Cài đặt phiên bản Docker mới nhất trên hệ thống của bạn.
• Lấy khóa API Anthropic và đảm bảo bạn có đủ tín dụng để dùng tính năng này. 

Gõ lệnh sau trong terminal hoặc bash. Thay %your_api_key% bằng khóa API Anthropic bạn có thể lấy từ bảng điều khiển. 

export ANTHROPIC_API_KEY=%your_api_key%
docker run \
    -e ANTHROPIC_API_KEY=$ANTHROPIC_API_KEY \
    -v $HOME/.anthropic:/home/computeruse/.anthropic \
    -p 5900:5900 \
    -p 8501:8501 \
    -p 6080:6080 \
    -p 8080:8080 \
    -it ghcr.io/anthropics/anthropic-quickstarts:computer-use-demo-latest

Lệnh sẽ tải xuống mọi gói cần thiết và chạy chúng trong container Docker. 

Khi container chạy, chúng ta có thể truy cập Claude computer use bằng cách gõ URL cục bộ http://localhost:8080 trong trình duyệt. 

Bắt đầu gõ lời nhắc, và computer use sẽ thực hiện mọi bước cần thiết để hoàn thành tác vụ. 

Cải thiện hiệu suất của mô hình

Viết lời nhắc cho computer use hoàn toàn khác với dùng Claude 3.5 Sonnet để trò chuyện hoặc tạo phản hồi chung. Bạn cần tuân theo một vài quy tắc đơn giản để đạt kết quả chính xác.

1. Chỉ định hướng dẫn đơn giản và chi tiết cho từng bước.
2. Viết lời nhắc yêu cầu Claude chụp ảnh màn hình sau mỗi bước và đánh giá kết quả đúng.
3. Thêm quy trình phản tư vào lời nhắc. Chỉ dẫn Claude thử lại nếu chưa đạt kết quả mong muốn.
4. Với các phần tử UI phức tạp, yêu cầu Claude dùng phím tắt thay vì chuột.
5. Đính kèm ảnh chụp kết quả bạn muốn đạt để định hướng Claude tạo ra kết quả tương tự.

Ứng dụng của Computer Use

Computer use có hàng trăm trường hợp sử dụng trong đời sống hàng ngày và nơi làm việc. Nó có thể tự động hóa nhiều tác vụ phức tạp cho bạn. Ví dụ, bạn có thể yêu cầu máy tính lên kế hoạch gặp gỡ bạn bè tại Cầu Cổng Vàng. 

Như trong video, nó có thể tìm kiếm Google, mở bản đồ để tìm khoảng cách, kiểm tra giờ hoàng hôn và thêm sự kiện vào lịch. Điều này thật tuyệt vời cho các tác vụ thường ngày vốn đòi hỏi hàng giờ nghiên cứu và sắp xếp. AI có thể làm chỉ trong vài phút với giám sát tối thiểu.

Trong một ví dụ khác, Alex yêu cầu máy tính khởi chạy trình duyệt Chrome và dùng một trang web tên claude.ai để tạo trang web cá nhân với chủ đề thập niên 90. Sau đó, anh ấy yêu cầu tải tệp xuống, mở trong VS Code và chạy cục bộ. Chỉ trong vài phút, anh ấy đã tạo được một trang web hoàn chỉnh.

Hạn chế của Computer Use

Trước khi bạn bắt đầu dùng máy tính của Claude để thử nghiệm AI, hãy lưu ý các hạn chế và cảnh báo như:

1. Độ trễ: Độ trễ khi dùng computer use có thể chậm hơn đáng kể so với thao tác máy tính do con người điều khiển.
2. Độ tin cậy khi cuộn: Tính năng cuộn không ổn định với thiết lập hiện tại. Thay vào đó, hãy yêu cầu Claude dùng phím tắt.
3. Tương tác với bảng tính: Nhấp chuột để tương tác bảng tính không ổn định. Bạn có thể khắc phục bằng cách yêu cầu Claude dùng phím mũi tên.
4. Lỗ hổng: Jailbreaking hoặc prompt injection là các vấn đề phổ biến của mô hình AI và cũng tồn tại trong computer use.
5. Hành vi bất hợp pháp: Bạn không được phép dùng computer use để vi phạm pháp luật.
6. Vấn đề với nền tảng mạng xã hội và liên lạc: Claude gặp khó khăn trong việc tạo tài khoản và đăng bài trên các nền tảng mạng xã hội.
7. Độ chính xác của thị giác máy tính: Claude có thể nhầm lẫn và diễn giải sai các tọa độ cụ thể khi tạo hành động.
8. Độ chính xác khi chọn công cụ: Claude có thể mắc lỗi hoặc ảo giác khi chọn công cụ trong quá trình tạo hành động.

Giá của Computer Use

Chi phí dùng computer use tương tự việc gọi API tới các mô hình Claude. Tuy nhiên, có thêm chi phí liên quan đến một system prompt đặc biệt, cũng như các token đầu vào bổ sung. Bạn có thể xem chi tiết giá cho các mô hình tại trang giá của Anthropic.

Mức sử dụng token cho system prompt đặc biệt

System prompt đặc biệt yêu cầu thêm 466 token cho lựa chọn công cụ tự động và 499 token cho bất kỳ công cụ nào. Các con số này áp dụng cho mô hình Claude 3.5 Sonnet (mới), có giá $3 cho mỗi triệu token đầu vào và $15 cho mỗi triệu token đầu ra.

Token đầu vào bổ sung

Khi dùng các công cụ do Anthropic định nghĩa, cần các token đầu vào bổ sung sau:

• computer_20241022: 683 token
• text_editor_20241022: 700 token
• bash_20241022: 245 token

Kết luận

Có vô số ứng dụng cho computer use, và doanh nghiệp có thể tự động hóa phần lớn công việc thủ công để tăng năng suất. Nó cũng có thể tiết kiệm thời gian cho người dùng máy tính phổ thông ở các tác vụ thường nhật như gọi cà phê hoặc đặt chuyến bay. 

Computer use có tiềm năng xử lý đủ loại tác vụ, và việc của bạn chỉ là giám sát. Bạn chỉ cần đưa ra lệnh và đánh giá kết quả. Nếu chưa chính xác, bạn có thể yêu cầu lặp lại và cải thiện. Công cụ này có thể trở thành bước ngoặt và còn có tác động lớn hơn cả việc giới thiệu mô hình OpenAI o1.

Chúng ta đã tìm hiểu về tính năng mới của Anthropic và cách nó có thể tương tác, chỉnh sửa môi trường desktop với sự hỗ trợ của Claude AI. Chúng ta cũng đã học cách nó hoạt động, dựng ảnh Docker và dùng cục bộ, tìm hiểu các trường hợp sử dụng, hạn chế và giá. Tóm lại, giờ đây bạn chỉ cần tự mình thử để trải nghiệm những tính năng tuyệt vời. Nếu bạn mới làm quen với Anthropic và Claude, hãy xem các tài nguyên sau: 

• Hội thảo giới thiệu về Claude
• Claude 3.5 Sonnet là gì? Cách hoạt động, trường hợp sử dụng và Artifacts
• Hướng dẫn bắt đầu với Claude 3 và Claude 3 API