Amazon SageMaker AI 上如何以實測設定 TTS 自動擴縮容目標
AWS 示範在 Amazon SageMaker AI 即時端點部署 Kokoro-82M,並以實測取代 TTS 自動擴縮容目標的猜測。在 ml.g5.xlarge 上,Q_max 為 50;實際擴容耗時為 260.2 秒,另計入按政策設定界定、未經本次測量的 60 秒偵測延遲,規劃 T_total 為 320.2 秒。
推薦理由:文章以單機可承受併發量和實際擴容耗時兩項測量,推導 TTS 端點的擴縮門檻與冷卻時間,並展示 Kokoro-82M 的部署流程。