nRouter 分享 LLM 呼叫重試規則

2026年10月27日，nRouter 在 DEV Community 分享大型語言模型（LLM）呼叫的重試與停止重試規則。報道指出，逾時、429 及 5xx 錯誤應採用退避及 jitter，並以伺服器提供的 Retry-After 為準；400、401、403 則不應重試，應立即回報並修正請求。重試須受任務總預算限制。若生成內容在串流中途停止，應重新開始該訊息，而非接續未完成的內容。至於高峯期服務商回傳 529 或過載錯誤，作者仍未決定應原位重試，還是立即切換模型並接受品質變化。

AI 根據報道生成 · 3 小時前更新

還沒有足夠的連續觀測數據，暫不繪製趨勢。