跳到正文
熱點事件持續更新

Node.js 雙 token bucket 限制 LLM API 流量

1 篇報道1 個報道來源5 小時前更新

先了解這件事

AI 綜述

2026 年 11 月 19 日,DEV Community 刊出 Ali Ahmed 的 Node.js 實作,介紹以兩個 token bucket 分別限制 LLM API 的每分鐘請求數(RPM)及 token 數(TPM)。程式按請求到達次序排隊,發送前先預留估算用量,再根據 API 回報的實際用量校正。報道指出,這套限流器已在 Node.js 24 通過測試,但只會在單一進程內管理流量;若使用多個 worker,則須分配限額或使用共用儲存。

AI 根據報道生成 · 5 小時前更新

報道時間線

沿着報道,瞭解事件的不同側面。

11月19日
  1. DEV Community
    Node.js 如何用雙 token bucket 限制 LLM API 的每分鐘請求數與 token 數

    Ali Ahmed 提供一套 Node.js 實作,以兩個 token bucket 分別限制 LLM API 的每分鐘請求數(RPM)和 token 數(TPM)。程式按到達次序排隊,發送前預留估算用量,再按 API 回報的實際用量校正;測試在 Node.js 24 通過。此限流器只在單一進程內管理流量,多個 worker 需要分配限額或使用共用儲存。

本事件熱度走勢

當前熱度 9·可比範圍峯值 10(11月19日 23:00)·近 24 小時可比範圍變化 –

02.557.51011月19日23:0011月20日00:0011月20日02:0011月20日03:00

趨勢僅比較持續完整觀測到的相同主體,範圍可能小於當前熱度統計。移動指針或點擊圖表查看每小時熱度;鍵盤可用左右方向鍵切換。