熱點事件持續更新
Baseten提升Qwen3-ASR批次轉錄效能
1 篇報道1 個報道來源1 小時前更新
先了解這件事
AI 綜述
2026年10月29日，Baseten 工程博客公佈 Qwen3-ASR 1.7B 批次轉錄部署的優化結果，並以原版 vLLM 作比較。在單張 RTX PRO 6000、64 路併發下，優化後吞吐量提升逾 7 倍。方案採用 torchcodec 原生音訊解碼及 FP8 KV cache，並減少 CPU 與 GPU 同步、調整請求處理。報道另列出 5 分鐘音檔的測試數據：同為 64 路併發時，中位延遲由 50.4 秒降至 7.3 秒。報道所述進展是批次轉錄部署效能優化及相關測試結果。
AI 根據報道生成 · 1 小時前更新
最新進展10月29日 02:02
Baseten 公佈優化結果：64 路併發下吞吐量較原版 vLLM 提升逾 7 倍。報道時間線
沿着報道，瞭解事件的不同側面。
10月29日
- Baseten 工程博客Baseten 優化 Qwen3-ASR 1.7B 批次轉錄，吞吐量提升逾 7 倍
Baseten 優化 Qwen3-ASR 1.7B 批次轉錄部署，在單張 RTX PRO 6000、64 路併發下，吞吐量較原版 vLLM 提升逾 7 倍。方案改用 torchcodec 原生音訊解碼、FP8 KV cache，並減少 CPU 與 GPU 同步及調整請求處理；5 分鐘音檔在 64 路併發時，中位延遲由 50.4 秒降至 7.3 秒。
本事件熱度走勢
還沒有足夠的連續觀測數據，暫不繪製趨勢。