Cách giảm mức dùng token trong tác nhân AI hỗ trợ viết mã: 4 công cụ hữu ích

Nếu bạn từng chạm ngưỡng giới hạn token trong gói AI hỗ trợ viết mã chỉ sau vài yêu cầu, hẳn bạn sẽ tự hỏi tất cả token đó đã đi đâu. 

Bạn nhờ tác nhân sửa lỗi, refactor một tính năng, hoặc kiểm tra một kho mã, và bỗng nhiên phần lớn hạn mức viết mã của bạn biến mất.

Đây không nhất thiết là vấn đề của nhà cung cấp hay gói đăng ký của bạn. 

Tác nhân AI hỗ trợ viết mã đơn giản là ngốn token nhiều hơn chatbot thông thường. Chúng không chỉ trả lời prompt của bạn. Chúng có thể đọc nhiều tệp, tìm kiếm trong codebase, kiểm tra log, chạy test, gọi công cụ, sinh mã, tự rà soát thay đổi và lặp lại quy trình này vài lần trước khi hoàn tất một tác vụ.

Tin tốt là bạn có thể cắt giảm đáng kể phần token không cần thiết này.

Có những công cụ giúp tác nhân bớt dài dòng, tránh over-engineering cho các nhiệm vụ đơn giản, nén đầu ra ồn ào của terminal và ngăn phản hồi lớn từ công cụ chiếm chỗ cửa sổ ngữ cảnh.

Trong hướng dẫn này, chúng ta sẽ xem bốn công cụ để giảm mức dùng token trong tác nhân AI viết mã: Caveman, Ponytail, RTK và Context Mode. 

Chúng ta sẽ xem từng công cụ làm gì, cách thiết lập và cách kết hợp chúng để làm được nhiều việc hơn với các gói như Claude Code và Codex trước khi đụng ngưỡng sử dụng.

Vì sao quy trình tác nhân dùng nhiều token đến vậy?

Một chatbot thông thường có thể nhận một prompt và trả về một câu trả lời. Tác nhân thường làm nhiều hơn thế.

Chúng có thể đọc tệp, gọi công cụ, kiểm tra log, truy xuất tài liệu, viết mã và lặp lại quá trình này vài lần trước khi xong. 

Mỗi bước lại thêm thông tin vào ngữ cảnh, và phần lớn ngữ cảnh đó có thể được gửi lại cho mô hình ở các lần gọi sau.

Vòng lặp tác nhân đơn giản hoá trông như sau:

Yêu cầu được gửi đến mô hình, mô hình gọi công cụ, công cụ trả về đầu ra và đầu ra đó được đưa trở lại ngữ cảnh trước bước tiếp theo. Mũi tên phản hồi là nơi phát sinh chi phí: mỗi lượt đều mang theo kết quả trước đó, nên một tác vụ cần sáu lần gọi công cụ sẽ gửi phần lớn lịch sử đó cho mô hình đến sáu lần.

Điều này tạo ra vài nguồn lãng phí token phổ biến:

• Phản hồi dài dòng: Tác nhân giải thích quá nhiều khi một câu trả lời ngắn là đủ.
• Code over-engineered: Nhiệm vụ nhỏ biến thành thêm tệp, trừu tượng hoá và phụ thuộc.
• Đầu ra công cụ lớn: Log, test, diff Git và lệnh terminal có thể trả về hàng nghìn token.
• Quá nhiều ngữ cảnh: Tài liệu truy xuất, định nghĩa công cụ và kết quả trước đó nhanh chóng lấp đầy cửa sổ ngữ cảnh.
• Phiên làm việc dài: Tác nhân làm việc càng lâu, càng phải mang theo nhiều lịch sử và kết quả trung gian.

Vậy thách thức thực sự không chỉ là tác nhân tạo ra bao nhiêu token, mà là nó đọc, mang theo và xử lý lại bao nhiêu khi quy trình tiếp diễn.

Đó chính là điều các công cụ như Caveman, Ponytail, RTK và Context Mode được thiết kế để giảm, mỗi công cụ nhắm vào một nguồn lãng phí token khác nhau.

1. Caveman: Khiến tác nhân nói ít hơn

Caveman là cách đơn giản để khiến tác nhân viết mã súc tích hơn. 

Thay vì để tác nhân tường thuật từng bước, lặp lại điều hiển nhiên hay thêm câu chữ thừa, nó hướng phản hồi vào đúng phần thông tin thực sự quan trọng.

Nó đặc biệt hữu ích cho các phiên viết mã dài, nơi phản hồi dài dòng không chỉ làm tăng token đầu ra. 

Những phản hồi đó còn trở thành một phần lịch sử hội thoại và được mang vào các lượt sau.

Caveman hoạt động thế nào

Caveman có hai phần riêng biệt.

Phần kỹ năng Caveman thay đổi cách tác nhân viết. 

Nó loại bỏ câu chữ đệm, xã giao, rào trước đón sau và tường thuật không cần thiết, đồng thời giữ nguyên các chi tiết quan trọng như khối mã, lệnh, tên API và thông báo lỗi chính xác. 

Nó cũng nới lỏng phong cách cô đọng khi cần sự rõ ràng, như với cảnh báo bảo mật hoặc thao tác không thể đảo ngược. 

Ngoài ra còn có proxy cục bộ tuỳ chọn xử lý mặt còn lại của vấn đề: những gì tác nhân đọc. 

Nó nằm giữa tác nhân viết mã và nhà cung cấp mô hình, nén phần ngữ cảnh đủ điều kiện trước khi gửi yêu cầu. 

Kỹ năng và proxy hoạt động độc lập, vì vậy bạn có thể bắt đầu với kỹ năng gọn nhẹ và thêm proxy sau nếu cần giảm ngữ cảnh mạnh tay hơn. 

Một cách hình dung đơn giản được minh hoạ trong sơ đồ sau:

Bên trái, tác nhân bọc mã của mình bằng phần mở đầu rồi lại giải thích cùng đoạn mã một lần nữa ở cuối. Bên phải, bạn nhận được câu trả lời hữu ích và mã, chỉ vậy thôi. Cùng lượng việc, ít token lãng phí cho phần tường thuật hơn nhiều.

Bắt đầu với Caveman

Cách dễ nhất để cài kỹ năng là:

npx skills add JuliusBrussee/caveman

Sau đó kích hoạt trong tác nhân viết mã của bạn bằng:

/caveman

Bạn có thể chuyển về phản hồi bình thường bằng:

/caveman off

Caveman cũng cung cấp tuỳ chọn cài đặt gốc cho các công cụ như Claude Code, Codex, Gemini CLI, Cursor và OpenCode.

Nếu bạn cũng muốn giảm ngữ cảnh gửi lên mô hình, hãy cài CLI:

npm install -g @caveman-ai/cli
caveman setup --install

Sau đó khởi chạy một tác nhân được hỗ trợ qua nó, ví dụ:

caveman claude

Lệnh này khởi động proxy cục bộ của Caveman và định tuyến tác nhân qua lớp nén ngữ cảnh của nó. 

Với đa số người dùng, tôi khuyên nên bắt đầu với kỹ năng trước. 

Dễ thêm, không đổi quy trình viết mã thường ngày của bạn và trực tiếp xử lý một nguồn lãng phí token đơn giản: tác nhân nói nhiều hơn mức cần thiết.

2. Ponytail: Ngăn tác nhân over-engineering

Ponytail được thiết kế cho một kiểu lãng phí token khác: tác nhân viết mã tạo ra nhiều code hơn mức nhiệm vụ thực sự cần.

Một yêu cầu đơn giản đôi khi biến thành phụ thuộc mới, lớp helper, component bọc và cấu hình bổ sung. 

Ponytail cố ngăn điều đó bằng cách hướng tác nhân tới giải pháp nhỏ nhất hợp lý trước tiên.

Ponytail hoạt động thế nào

Trước khi viết mã, Ponytail khiến tác nhân đi qua một “thang quyết định” đơn giản:

Mỗi bậc cho tác nhân cơ hội dừng lại trước khi viết thêm bất cứ thứ gì. Chỉ khi thư viện chuẩn, tính năng nền tảng gốc và phụ thuộc hiện có đều bị loại trừ, nó mới đi đến bước cuối: viết lượng code tối thiểu cần thiết để chạy được.

Ví dụ, thay vì cài thư viện date-picker và xây một component bọc, Ponytail có thể quyết định rằng trình duyệt đã có sẵn:

<input type="date">

Mục tiêu không phải là cắt ngắn mọi thứ một cách mù quáng. 

Ponytail chủ động giữ lại các phần như kiểm tra hợp lệ, bảo mật, khả năng truy cập và bảo vệ tránh mất dữ liệu, không đưa vào diện cắt giảm. 

Nó được thiết kế để “lười” trong triển khai nhưng không cẩu thả về tính đúng đắn.

Trong benchmark tác nhân của chính Ponytail, nó tạo ra khoảng ít hơn 54% số dòng code và ít hơn 22% token trên 12 tác vụ lập trình so với cùng tác nhân nhưng không bật kỹ năng. 

Một benchmark độc lập cũng ghi nhận các triển khai gọn hơn đáng kể, dù lưu ý rằng thiết lập quá mạnh tay đôi khi có thể đánh đổi độ vững trên các edge case không nêu rõ.

Bắt đầu với Ponytail

Với Claude Code, thêm marketplace:

/plugin marketplace add DietrichGebert/ponytail

Sau đó cài Ponytail:

/plugin install ponytail@ponytail

Gửi hai lệnh đó riêng biệt.

Khi đã cài, bạn có thể điều chỉnh mức độ đơn giản hoá của Ponytail:

/ponytail lite
/ponytail full
/ponytail ultra
/ponytail off

full là mặc định và có lẽ là điểm khởi đầu tốt. lite vẫn xây đúng thứ bạn yêu cầu nhưng chỉ ra phương án đơn giản hơn, trong khi ultra áp dụng YAGNI quyết liệt hơn. 

Bạn cũng có thể rà soát một thay đổi hiện có để tìm độ phức tạp không cần thiết:

/ponytail-review

Hoặc quét một codebase lớn hơn:

/ponytail-audit

Ponytail đặc biệt hiệu quả cho tác nhân viết mã vì cắt giảm code không cần thiết tạo hiệu ứng dây chuyền: tác nhân viết ít token hơn lúc này, tạo diff nhỏ hơn và để lại ít code hơn cho chính nó phải đọc lại sau này.

3. RTK: Cắt giảm đầu ra ồn ào từ công cụ

RTK, viết tắt của Rust Token Killer, tập trung vào một nguồn lãng phí token khác: mọi thứ tác nhân viết mã nhận về từ terminal.

Các lệnh như git status, chạy test, log, tìm kiếm và đầu ra của trình quản lý gói có thể trả về hàng trăm hay hàng nghìn dòng. 

Phần lớn thông tin đó hữu ích cho con người khi nhìn vào terminal, nhưng tác nhân thường chỉ cần các phần quan trọng.

RTK nằm giữa lệnh và tác nhân và nén đầu ra trước khi mô hình nhìn thấy. 

RTK hoạt động thế nào

RTK dùng lọc theo lệnh, nhóm, cắt bớt và khử trùng lặp để loại nhiễu trong khi giữ lại thông tin hữu ích như lỗi, bài test hỏng, tệp thay đổi và tóm tắt. 

Ví dụ:

Trong luồng bình thường, tác nhân chạy pytest và đọc lại mọi dòng được in ra, phần lớn là bài test pass mà nó không cần xem. Với RTK ở giữa, cùng lượt chạy đó được trả về dưới dạng các lỗi cùng tóm tắt, nên tác nhân chỉ đọc vài chục dòng thay vì vài trăm.

Với các tác nhân viết mã được hỗ trợ, RTK có thể móc tự động vào các lệnh shell. Một lệnh như:

git status

có thể được viết lại phía sau hậu trường thành:

rtk git status

Khi đó tác nhân nhận được đầu ra đã rút gọn mà không cần yêu cầu RTK một cách tường minh mỗi lần. 

RTK báo cáo khoảng giảm 60–90% token cho đầu ra lệnh với các lệnh phát triển phổ biến. Điều đó không có nghĩa tổng hoá đơn LLM của bạn giảm 60–90%; nó chỉ áp dụng cho đầu ra terminal được RTK nén. 

Bắt đầu với RTK

Trên macOS hoặc Linux, bạn có thể cài bằng Homebrew:

brew install rtk-ai/tap/rtk

Hoặc dùng script cài đặt:

curl -fsSL https://raw.githubusercontent.com/rtk-ai/rtk/master/install.sh | sh

Sau đó xác minh bạn đã cài đúng RTK:

rtk --versionrtk gain

Lệnh rtk gain hiển thị bảng điều khiển tiết kiệm token. Bước kiểm tra này hữu ích vì có một dự án khác không liên quan cũng dùng tên rtk. 

Với Claude Code, khởi tạo RTK toàn cục bằng:

rtk init -g

Với Codex:

rtk init -g --codex

Và với Gemini CLI:

rtk init -g --gemini

RTK cũng hỗ trợ Cursor, OpenCode, Copilot, Cline, Windsurf và nhiều tác nhân viết mã khác. 

Sau khi cấu hình, bạn có thể tiếp tục dùng các lệnh terminal bình thường. 

RTK xử lý nén ở chế độ nền, nên đặc biệt hữu ích với các tác nhân dành nhiều thời gian chạy test, tìm kiếm mã, kiểm tra thay đổi Git và đọc log.

4. Context Mode: Giữ đầu ra công cụ lớn ngoài ngữ cảnh

Context Mode tập trung vào những gì xảy ra sau khi tác nhân bắt đầu dùng công cụ.

Ảnh chụp trình duyệt, danh sách issue trên GitHub, tìm kiếm tệp hoặc đầu ra lệnh lớn có thể đổ một lượng thông tin khổng lồ trực tiếp vào cửa sổ ngữ cảnh. 

Tệ hơn, thông tin đó sau đó có thể được mang qua các lượt tiếp theo.

Context Mode cố tránh điều này bằng cách giữ dữ liệu thô cồng kềnh bên ngoài ngữ cảnh LLM đang hoạt động và chỉ đưa lại những phần tác nhân thực sự cần.

Context Mode hoạt động thế nào

Context Mode chạy như một máy chủ MCP và cung cấp các công cụ sandbox cho các thao tác vốn hay tạo đầu ra lớn.

Thông tin thô có thể được lưu cục bộ trong chỉ mục tìm kiếm dùng FTS5, để tác nhân có thể tìm lại sau mà không cần đổ toàn bộ kết quả vào cuộc hội thoại. 

Trong một ví dụ từ dự án, 315 KB đầu ra thô của công cụ được giảm còn 5,4 KB ngữ cảnh, tức giảm 98% theo báo cáo. 

Đây là ví dụ từ khối công việc của chính dự án chứ không phải đảm bảo cho mọi lần gọi công cụ. 

Bắt đầu với Context Mode

Với Claude Code, thiết lập dễ nhất là qua plugin marketplace:

/plugin marketplace add mksglu/context-mode
/plugin install context-mode@context-mode

Khởi động lại Claude Code, sau đó xác minh thiết lập bằng:

/context-mode:ctx-doctor

“Bác sĩ” sẽ kiểm tra plugin, hook, runtime và các thành phần tìm kiếm cục bộ đang hoạt động đúng. 

Bạn cũng có thể cài Context Mode toàn cục:

npm install -g context-mode

và đăng ký nó như một máy chủ MCP trong các client được hỗ trợ như Cursor, Gemini CLI, GitHub Copilot CLI, JetBrains và các công cụ khác. 

Khi chạy, bạn có thể kiểm tra mức tiết kiệm ngữ cảnh bằng công cụ thống kê của nó.

Context Mode hữu ích nhất cho các tác nhân chạy lâu và dùng nhiều công cụ, nơi kết quả từ trình duyệt, log, đọc tệp, phản hồi MCP và dữ liệu trung gian khác có thể liên tục lấp đầy cửa sổ ngữ cảnh.

So sánh bốn công cụ tiết kiệm token

Bốn công cụ này nhắm vào các phần khác nhau trong quy trình của tác nhân viết mã, từ những gì tác nhân viết ra đến lượng đầu ra công cụ mà nó mang trong ngữ cảnh.

Cách dễ hình dung sự khác biệt là: 

• Caveman giảm những gì tác nhân nói
• Ponytail giảm những gì nó xây dựng
• RTK giảm những gì terminal gửi lại
• Context Mode giảm phần kết quả công cụ lưu lại trong ngữ cảnh.

Có thể dùng các công cụ này cùng nhau không?

Có, nhưng tôi sẽ không xếp chồng tất cả ngay từ đầu.

Cách hay hơn là bắt đầu với Ponytail. 

Nó dễ thêm vào tác nhân viết mã và, với nhiều quy trình, giảm code không cần thiết là đã đủ. Tôi dùng nó với các công cụ như Zcode, Claude Code và Codex, và tôi hài lòng với mức giảm đạt được.

Nếu muốn đi xa hơn, thử Ponytail + Caveman. Ponytail giảm code không cần thiết, còn Caveman giảm lời giải thích không cần thiết, nên chúng bổ trợ tốt cho nhau.

Nếu quy trình của bạn vẫn tạo nhiều đầu ra nặng token từ test, log, Git hoặc lệnh terminal, hãy thử Ponytail + Caveman + RTK.

Nếu RTK không phù hợp với quy trình của bạn, đặc biệt khi bạn dùng nhiều công cụ MCP, công cụ trình duyệt, API hoặc đầu ra công cụ lớn khác, hãy thử Ponytail + Caveman + Context Mode thay thế.

Không có tổ hợp “chuẩn” cho mọi người. 

Mục tiêu là thử nghiệm và tìm ra thiết lập cho bạn mức dùng token thấp hơn mà không làm giảm hiệu năng của tác nhân viết mã. Với một số người, chỉ Ponytail là đủ. Với người khác, kết hợp hai hoặc ba công cụ sẽ hiệu quả hơn.

Cách khác để giảm mức dùng token và chi phí

Bạn không phải lúc nào cũng cần thêm công cụ. 

Claude Code đã bao gồm một số tính năng giúp bạn giữ ngữ cảnh nhỏ hơn và giảm chi tiêu không cần thiết.

Tắt memory khi không cần

Claude Code có thể tự động lưu và nạp lại memory từ các phiên trước. Với các tác vụ ngắn hoặc độc lập, điều này có thể thêm ngữ cảnh bạn không cần.

Chạy:

/memory

Từ đó, bạn có thể tắt auto-memory hoặc xoá thông tin không còn hữu ích.

Nén các phiên dài

Khi một phiên dài ra, Claude mang theo lịch sử hội thoại, nội dung tệp và đầu ra công cụ. Claude Code tự động nén, nhưng bạn có thể kích hoạt sớm hơn:

/compact

Bạn cũng có thể chỉ ra những gì quan trọng:

/compact keep the implementation plan and latest test results

Điều này đặc biệt hữu ích khi bạn đã xong một phần nhiệm vụ nhưng muốn tiếp tục trong cùng phiên. 

Bắt đầu mới khi nhiệm vụ thay đổi

Đôi khi nén không đáng. Nếu bạn chuyển sang một nhiệm vụ hoàn toàn khác, hãy chạy:

/clear

Lệnh này bắt đầu với ngữ cảnh hội thoại trống thay vì mang theo công việc không liên quan. Anthropic cũng lưu ý rằng bắt đầu mới đôi khi tốt hơn là liên tục nén một phiên chạy lâu.

Tắt các máy chủ MCP bạn không dùng

Công cụ MCP cũng tiêu thụ ngữ cảnh. Claude Code giờ hoãn nạp đầy đủ schema công cụ MCP theo mặc định, nhưng các máy chủ không dùng vẫn có thể thêm overhead.

Dùng: /mcp để xem các máy chủ đã kết nối và tắt những máy chủ bạn chưa cần. 

Bạn cũng có thể chạy /context để xem từng phần của phiên đang chiếm bao nhiêu không gian.

Giữ CLAUDE.md gọn nhẹ

CLAUDE.md được nạp vào ngữ cảnh của Claude, nên tránh biến nó thành một sổ tay dự án khổng lồ. 

Chỉ giữ các hướng dẫn Claude thực sự cần xuyên suốt các tác vụ, như quy ước quan trọng, lệnh và quy tắc dự án.

Dùng /context để kiểm tra memory và tệp hướng dẫn đang chiếm bao nhiêu chỗ. Với các hướng dẫn chỉ liên quan tới một số thư mục, Claude Code hỗ trợ quy tắc nhắm mục tiêu hơn thay vì dồn hết vào CLAUDE.md chính. 

Dùng mô hình rẻ hơn cho tác vụ đơn giản

Bạn có lẽ không cần mô hình đắt nhất cho mọi lần chỉnh sửa. 

Tài liệu của Claude Code khuyến nghị Sonnet cho hầu hết tác vụ viết mã và dành Opus cho công việc kiến trúc khó hoặc nặng suy luận hơn.

Bạn có thể chuyển bằng:

/model

Với các tác vụ subagent đơn giản, bạn cũng có thể cấu hình dùng Haiku. 

Lời kết

Một trong những điểm hay nhất của các công cụ này là nỗ lực tối thiểu sau khi thiết lập. 

Tuỳ công cụ, bạn có thể không cần nhớ slash command hay kích hoạt thủ công cho mọi tác vụ. 

Ponytail có thể hướng tác nhân đến triển khai đơn giản hơn, Caveman giúp phản hồi cô đọng, RTK nén đầu ra terminal và Context Mode giữ cho kết quả công cụ lớn khỏi tràn vào ngữ cảnh đang hoạt động. 

Sau khi cấu hình, phần lớn tối ưu này diễn ra như một phần của quy trình viết mã bình thường của bạn.

Bạn thường có thể thấy hiệu ứng trong tóm tắt lượt chạy của tác nhân, mã sinh ra, đầu ra terminal hoặc thống kê ngữ cảnh. 

Tác nhân có thể làm cùng một công việc, nhưng với ít code không cần thiết hơn, ít tường thuật hơn, phản hồi công cụ nhỏ hơn hoặc ít thông tin phải mang từ bước này sang bước khác hơn.

Điều tốt nhất là bạn cũng có thể kết hợp các công cụ này. 

Tuy nhiên, xếp chồng cả bốn không tự động đồng nghĩa với mức dùng token thấp nhất. Chúng nhắm vào các phần khác nhau của quy trình viết mã theo hướng tác nhân, và hiệu quả phụ thuộc nhiều vào tác nhân, mô hình, kho mã và loại tác vụ bạn chạy.

Tôi khuyên bạn thử nghiệm trên bộ công cụ lập trình của riêng mình. Bắt đầu với một công cụ, đo lường khác biệt, rồi thêm công cụ khác nếu bạn vẫn thấy những nguồn lãng phí token rõ ràng. 

Bạn có thể thấy một công cụ là đủ cho quy trình của mình, trong khi thiết lập khác hưởng lợi khi hai hoặc ba công cụ cùng hoạt động.

Về cá nhân, tôi dùng Ponytail trong hầu hết quy trình viết mã vì nó dễ thiết lập và tác nhân nhanh chóng hiểu cách làm việc cùng nó. 

Tôi chủ yếu dùng nó với Zcode của Z.ai, nơi nó giúp giữ cho triển khai tập trung mà không đòi hỏi tôi phải thay đổi cách prompt tác nhân thường ngày.

Suy cho cùng, giảm mức dùng token không phải ép tác nhân làm ít việc hữu ích hơn. Đó là loại bỏ phần lãng phí xung quanh công việc đó. 

Hãy thử Caveman, Ponytail, RTK và Context Mode riêng lẻ và theo các tổ hợp khác nhau, đo xem điều gì thay đổi trong quy trình của chính bạn, và giữ lại thiết lập cho cân bằng tốt nhất giữa mức dùng token, chất lượng mã và hiệu năng tác nhân.

Để tìm hiểu thêm về cách tác nhân AI hoạt động, tôi khuyên bạn xem lộ trình kỹ năng AI Agent Fundamentals.