AWS SageMaker AI 正式推出 Serverless Training Sessions，支援自訂模型後訓練迴圈

真正從 AI 取得成果的公司，不會只使用現成的基礎模型（FM）。他們會運用強化學習等後訓練技術，自訂開放權重模型。使用你的業務背景、產品目錄或臨牀詞彙訓練模型，能讓模型更準確地完成指定任務，而且執行成本更低。建置 Agent 時，你的數據、工作流程、評估方式和成功準則，也會影響模型的行為。

不過，自訂模型並不容易。你必須選擇合適的技術、設定及管理 GPU 基礎設施；如要建置 Agent，還要為多輪強化學習建置環境。我們推出了 Amazon SageMaker AI 無伺服器模型自訂功能，應對這些挑戰。今天，我們進一步推出訓練工作階段，並正式全面提供這項功能。

使用訓練工作階段，你可以掌控後訓練邏輯，而無須管理底層基礎設施。你可以編寫及協調訓練迴圈，包括自訂損失函數或獎勵訊號。SageMaker AI 會處理 GPU 資源分配、分散式執行、故障復原及檢查點儲存。

自訂模型，無須煩惱基礎設施管理

使用 SageMaker AI 無伺服器模型自訂功能，你無須選擇執行個體類型、管理叢集或編寫分散式訓練設定。

我們不想限制你。你可以採用 SFT、DPO、RLVR、RLAIF 或多輪 RL 等技術。你可以選擇透過低秩適配（LoRA）更新模型的部分參數，或進行全參數微調；也可以透過持續自訂，串連使用不同技術。

我們不想讓你浪費時間。SageMaker AI 訓練工作階段指南提供範例和使用情境，以及模型自訂 Agent 技能。你只需描述使用情境，Agent 便會處理數據準備、技術選擇、訓練、評估和部署。無論你在 SageMaker Studio、Kiro、Claude Code、Codex 還是 GitHub Copilot 工作，Agent 都能配合你的工作環境。

「我們採用 SageMaker AI Serverless Training Sessions，建置醫療保險索償拒賠分流模型；這項體驗從第一天起便驗證了這個平台。低階 API 介面、對正向及反向傳播、取樣和最佳化器更新步驟的直接控制，讓我們的科學家能夠精細地掌控模型，以應對這項對準確度要求極高的挑戰性應用，並探索強化學習。Training Sessions 提供了合適的基礎構件，助我們朝生產級效能邁進。」

— Rob Gontarek，ImagineSoftware 資深副總裁、數據科學

編寫自己的後訓練迴圈

Agent 訓練的一個重要轉變，是轉向多輪強化學習。舉例來説，負責預訂旅程、分流客戶支援票務，或執行多步驟研究任務的 Agent，需要經過多輪互動，才能判斷是否達到正確結果。

不過，訓練迴圈很快就會變得複雜。你可能要在一套基礎設施上訓練模型，再用另一套基礎設施執行推理以產生回應、為回應評分，並把結果送入下一輪更新。每個階段需要不同的運算資源，而要透過不同工具和叢集把它們連接起來，亦會增加工作量。

SageMaker AI 已提供多輪 RL，作為受管理的無伺服器技術。不過，我們聽取了客戶的意見：他們希望能在同一個迴圈中自行定義損失函數、調整獎勵訊號或設定 RL 階段。訓練工作階段讓你能靈活處理這些工作。

“透過 SageMaker AI Serverless Training Sessions，我們針對 Amazon Neptune 知識圖譜中的 Agent 多輪工具呼叫，微調了 gpt-oss-20b，平台則為我們處理基礎設施。設定過程一切順利，無須手動調校，也不用費力處理記憶體不足問題。檢查點與續訓功能尤其出色：從指定步驟恢復訓練完全可靠。這讓開發人員享有所需的靈活性，同時減輕了他們的營運負擔。”

— Nitin Wagh，Karini AI 行政總裁

運作方式

你的程式碼會在你的環境中執行訓練迴圈和獎勵函數，並將 Agent 連接至其工具或模擬器。訓練工作階段會負責 GPU 密集型工作：取樣器會生成回應，訓練器則會計算梯度並更新模型權重。具體流程取決於你編寫的演算法。

以 Group Relative Policy Optimization (GRPO) 的實作為例。GRPO 是一種強化學習方法，會針對同一提示詞生成多個回應，為它們評分，並根據相對表現更新模型。訓練迴圈的一輪流程如下：

取樣回應 – 你的迴圈會要求取樣器使用目前的模型，為每個提示詞生成多個回應。
評分 – 你的獎勵函數會在你的環境中，使用驗證器、獎勵模型或測試框架為每個回應評分。
更新模型 – 你的迴圈會將評分傳回訓練器。forward_backward() 會使用評分計算梯度，而 optim_step() 會將更新套用至模型權重。
更新並重複 – 你的迴圈會要求工作階段以更新後的權重重新整理取樣器，然後開始下一批次。你的程式碼會重複這些步驟，直至訓練完成。

你只需為 SageMaker AI 處理的 token 付費。獎勵函數在你的環境中為一批資料評分時，計費會暫停，而且無須預留容量。

掌控你的資料和模型

每個工作階段都會使用你建立的 AWS Identity and Access Management (IAM) 執行角色，你亦可加入自己的 AWS Key Management Service (AWS KMS) 金鑰和虛擬私有雲 (VPC) 設定。你的資料會保留在你所選 AWS 區域內的 Amazon Simple Storage Service (Amazon S3) 儲存貯體，檢查點也會存放在同一位置。

我們不會使用你的資料或自訂權重來訓練其他模型。部署前，你可以評估模型的準確度、偏差和安全性。部署後，你可以套用護欄，並使用 Amazon CloudWatch 監察模型。

你可以繼續沿用團隊現有的管治流程。

立即開始

使用 SageMaker AI 無伺服器模型自訂訓練工作階段編寫自己的訓練迴圈。此功能現已推出，支援 gpt-oss-20b、gemma-4-31B-it、Qwen3.6-27B 和 Qwen3.8-27B。

開始使用有兩種方法：

在你的 IDE 中：安裝 SageMaker Python SDK（適用於使用 Python 3.10 至 3.12 的 Linux 或 macOS），複製 cookbook，然後開始開發。
在 SageMaker Studio 中：不到 20 秒即可啟動可即時使用的 AI 開發環境。登入、開啟筆記簿、連接你的編碼 Agent（Kiro、Claude Code、Codex 或 Copilot），下載 Agent 技能和 cookbook，即可開始。

資源

作者簡介

Pooja Karadgi

Pooja 是 AWS SageMaker AI 團隊的資深產品經理，負責開發者體驗和模型自訂，包括強化學習。她專注於令開發者能實際應用進階微調技術，並讓這些技術更易使用。

Sumedha Swamy

Sumedha 是 Amazon Web Services (AWS) 的產品管理資深經理，負責 Amazon SageMaker 的多個範疇，包括 SageMaker Studio——業界領先的機器學習整合式開發環境、開發者和管理員體驗、AI 基礎設施，以及 SageMaker SDK。

Jason Berkowitz

Jason 是 Amazon Web Services (AWS) 負責模型訓練和推理產品市場推廣的主管，帶領 SageMaker AI 的市場定位、訊息傳遞和市場推廣工作。他在分析及 AI 領域擁有超過 25 年經驗，涵蓋 AI 產品的開發、部署及推向市場。