跳到正文
DEV Community· Tin Tức AI·· 4 小時前AI 評分49

Gemini API 的 Tool Retrieval 如何削減 AI Agent 的 Context 和 Schema 開銷

Tối ưu hóa kiến trúc AI Agent với Tool Retrieval trên Gemini API: Cắt giảm 90% chi phí Context và Schema Bloat

AI 導讀

Google 宣佈 Gemini API 的 Interactions API 中,Tool Retrieval 已推出預覽版,透過延遲載入工具的 JSON Schema,減少 AI Agent 的上下文開銷。模型先讀取工具名稱及簡短描述,確定需要使用某項工具後,才載入完整參數結構。此方法可減少 80-90% 的初始提示詞容量。

正文

Cover image for Tối ưu hóa kiến trúc AI Agent với Tool Retrieval trên Gemini API: Cắt giảm 90% chi phí Context và Schema Bloat

Tin Tức AI

Google Gemini API Tool Retrieval

Khi thiết kế các hệ sinh thái AI Agent quy mô doanh nghiệp, thách thức lớn nhất của các kỹ sư không nằm ở khả năng reasoning của mô hình, mà nằm ở bài toán quản lý tài nguyên ngữ cảnh (Context Window Management). Việc tích hợp hàng chục microservice hay các endpoint MCP (Model Context Protocol) khiến mảng tools phình to một cách mất kiểm soát. Để giải quyết triệt để nút thắt cổ chai này, Google vừa công bố bản xem trước của Tool Retrieval nằm trong bộ Interactions API trên Gemini API.

Nút thắt Context Bloat trong kiến trúc Function Calling

Trong mô hình Function Calling truyền thống, mỗi HTTP request gửi tới LLM đều phải mang theo toàn bộ JSON Schema chi tiết của tất cả các hàm khả dụng. Nếu tác tử của bạn kết nối với 30 đến 50 công cụ nội bộ—từ tra cứu cơ sở dữ liệu SQL, đẩy event lên Kafka, tới tương tác webhook CRM—lượng schema này dễ dàng chiếm dụng từ 10.000 đến hơn 30.000 input token cố định.

Sự lãng phí này gây ra ba rào cản kỹ thuật nghiêm trọng:

  • Bùng nổ chi phí suy luận (Inference Cost): Chi phí nạp token đầu vào tăng tuyến tính theo số lượng công cụ, dù trong phiên trò chuyện mô hình có thể không bao giờ dùng tới chúng.
  • Độ trễ TTFT (Time To First Token) kéo dài: Payload request kích thước lớn làm tăng đáng kể thời gian truyền tải mạng và tính toán ma trận attention ban đầu.
  • Suy thoái độ chú ý (Attention Degradation): Khi context bị bão hòa bởi các đặc tả kỹ thuật vụn vặt, LLM dễ mất tập trung vào chỉ dẫn cốt lõi, dẫn đến tình trạng gọi sai tool hoặc sinh tham số giả (hallucination).

Dữ liệu thực nghiệm và sơ đồ kỹ thuật: Cơ chế Deferred Loading: Tối ưu hóa chu trình nạp công cụ

Cơ chế Deferred Loading: Phân tách hai tầng thông tin

Điểm tinh hoa của tính năng Tool Retrieval nằm ở cơ chế nạp trễ (Deferred Loading). Thay vì ép buộc LLM 'tiêu hóa' toàn bộ cấu trúc tham số ngay từ đầu, Google tách vòng đời công cụ thành hai tầng riêng biệt:

  • Tầng nhận diện (Tool Indexing): Ban đầu, mô hình chỉ lưu trữ chỉ mục gọn nhẹ bao gồm định danh (name) và phần mô tả tóm lược tính năng (short_description).
  • Tầng nạp tham số (Parameter On-demand): Chỉ khi mô hình lập luận và xác định chắc chắn nghiệp vụ cần tới công cụ tương ứng, hệ thống mới tự động kéo (retrieve) toàn bộ JSON Schema chi tiết vào ngữ cảnh để sinh tham số thực thi.

Cách tiếp cận này giúp giảm tải tới 80-90% dung lượng prompt mở đầu, giải phóng không gian bộ nhớ cho dữ liệu nghiệp vụ thực tế.

Khảo sát bối cảnh triển khai: Bàn cờ chiến lược AI Agent và tác động thực tế tới kỹ sư Việt Nam

Giá trị thực tiễn cho kỹ sư backend và AI

Đối với các kỹ sư phần mềm đang xây dựng agentic workflows phức tạp, Tool Retrieval mở ra khả năng mở rộng không giới hạn cho kho công cụ nghiệp vụ:

  • Scale hàng trăm công cụ dễ dàng: Bạn có thể kết nối thoải mái hàng loạt máy chủ MCP mà không còn nỗi lo chạm trần giới hạn token hay trả phí ngoài ý muốn.
  • Cải thiện độ chính xác phân luồng: Bằng cách giảm nhiễu ngữ cảnh, mô hình tập trung tốt hơn vào mục tiêu của người dùng, nâng cao tỷ lệ gọi hàm chính xác ngay lần đầu tiên.
  • Tối ưu hóa chi phí vận hành: Tiết kiệm hàng chục nghìn token đầu vào trên mỗi turn hội thoại, giúp hạ thấp chi phí vận hành sản phẩm AI ở quy mô thương mại lớn.

🔗 Nguồn bài viết & Thảo luận đa nền tảng:

來源:DEV Community · dev.to