跳到正文
熱點事件持續更新

模型呼叫帳本按提示詞路由請求

1 篇報道1 個報道來源2 小時前更新

先了解這件事

AI 綜述

2026年10月18日,DEV Community 作者介紹一套以約60行 Python 和 JSONL 檔建立的模型呼叫帳本。系統先記錄每次模型呼叫,再按提示詞估算 token 數量及是否需要嚴格 JSON,據此選擇免費路徑或固定模型路徑。帳本會記錄路由、實測延遲和提示詞雜湊;作者以免費路徑流量的 token 中位數及 p95 調整路由門檻。雜湊可用來識別重複提示詞,而不必保存提示詞原文。不過,字符數估算對壓縮程式碼及非拉丁文字的誤差較大;這套路由設計亦不會評估回答質素。

AI 根據報道生成 · 2 小時前更新

報道時間線

沿着報道,瞭解事件的不同側面。

10月18日
  1. DEV Community
    Token 帳本決定每次請求由哪個模型處理

    作者用約 60 行 Python 和 JSONL 檔建立模型呼叫帳本,先記錄每次呼叫,再按提示詞估算 token 數及是否需要嚴格 JSON,選擇免費路徑或固定模型路徑。帳本記錄路由、實測延遲和提示詞雜湊,並以免費路徑流量的 token 中位數與 p95 調整門檻;雜湊可識別重複提示詞而不保存原文。字符數估算對壓縮程式碼及非拉丁文字誤差較大,而且這套路由設計不評估回答質素。

本事件熱度走勢

還沒有足夠的連續觀測數據,暫不繪製趨勢。