HeronKiểm soát chi phí AI agent: quota, chọn model và theo dõi usage
Vì sao chi phí AI agent dễ vượt dự kiến và cách kiểm soát: đặt quota theo tài khoản và model, chọn model theo loại việc, cắt ngữ cảnh thừa, không tự đổi model khi chưa đồng ý và đo chi phí trên từng kết quả.
Vì sao chi phí agent khó đoán
Agent chạy vòng lặp: mỗi bước lại gửi ngữ cảnh, kết quả công cụ và lịch sử cho model. Một task lỗi có thể lặp nhiều lần, ngữ cảnh lớn dần và số token tăng nhanh hơn nhiều so với một câu hỏi chat.
Năm cách kiểm soát
- Quota theo tài khoản và model: dừng hoặc hỏi lại khi chạm ngưỡng.
- Chọn model theo loại việc: model mạnh cho phân tích và thiết kế, model rẻ cho việc lặp lại.
- Giữ ngữ cảnh gọn: chỉ đưa file và lịch sử liên quan tới task.
- Task nhỏ, có tiêu chí xong: agent dừng sớm thay vì loay hoay.
- Không tự đổi model hay tài khoản: mọi thay đổi ảnh hưởng chi phí cần người dùng đồng ý.
Đo đúng thứ cần đo
Đừng chỉ nhìn tổng hóa đơn. Hãy đo chi phí trên mỗi kết quả được chấp nhận (một bug đã sửa, một tính năng qua QA). Một model đắt hơn nhưng ít phải làm lại có thể rẻ hơn tính trên kết quả.
Heron hỗ trợ thế nào
Heron theo dõi usage theo tài khoản và model, cho đặt quota, và không tự chuyển sang model khác khi bạn chưa đồng ý — kể cả khi tài khoản hiện tại hết hạn mức.
Câu hỏi thường gặp
Làm sao biết agent đang tốn bao nhiêu?
Theo dõi usage theo từng tài khoản và model, và so với số kết quả được chấp nhận trong cùng khoảng thời gian.
Có nên luôn dùng model rẻ nhất?
Không. Model rẻ có thể phải làm lại nhiều lần. Hãy chọn theo loại việc và đo chi phí trên kết quả.
Hết quota thì agent làm gì?
Trong Heron, agent dừng và chờ bạn quyết định; Heron không tự đổi sang model hay tài khoản khác.