Amazon SageMaker HyperPod 新增工作負載復原及擴展基礎設施檢查
Introducing workload recovery and expanded infrastructure checks on Amazon SageMaker HyperPod
AWS 為 Amazon SageMaker HyperPod 推出工作負載復原及擴展的基礎設施檢查,加入 MultiNodeTrainingValidation、HyperPod Kubernetes Resource Monitoring Agent,以及 Slurm 叢集的 hung job detection。
文章把訓練故障拆分為數值錯誤、Kubernetes 基礎設施問題與作業停滯,並對應介紹偵測及處理方式,方便理解各能力的適用範圍。
大型訓練工作即使每個節點看起來都正常,仍可能失敗。出現細微故障的 GPU 可能通過壓力測試,但仍會傳回錯誤數值。工作因 NCCL 逾時而停滯時,仍會佔用 GPU,而 Slurm 也仍會將它顯示為正在執行。如果某個節點上的裝置外掛程式當機,工作會因錯誤而失敗,但錯誤訊息不會提及該外掛程式。團隊通常要等到損失值發散或工作失敗後,才會發現這些問題;到那時,運算資源已經耗用。每一種故障都會降低有效訓練比例,也就是叢集時間中用於有效訓練的佔比。今天,我們宣佈在 Amazon SageMaker HyperPod 推出工作負載復原和基礎架構檢查,及早偵測這些故障,提升訓練工作負載的有效訓練比例。
SageMaker HyperPod 已能處理回報硬件故障的節點。健康監控代理程式(HMA)會監察每個節點的 GPU 錯誤;深度健康檢查會在配置期間測試節點;自動節點復原則會重新啟動或更換故障硬件。這些功能一次只檢查一個節點的硬件,無法判斷 GPU 是否能正確訓練、工作是否仍有進展,或工作所依賴的 Kubernetes 元件是否正常運作。
本文會介紹三項用於偵測這些故障的新功能。以下會逐一説明如何設定,以及功能發現問題時會回報哪些資訊:
MultiNodeTrainingValidation是一項全新的深度健康檢查,適用於由 Amazon Elastic Kubernetes Service(Amazon EKS)編排的 HyperPod 叢集。HyperPod 配置執行個體時,或你按需要執行檢查時,這項功能會先在該執行個體上訓練小型模型,然後在相同類型的多個執行個體上進行訓練。如果損失值變成 NaN 或無限值,或訓練未能在時限內完成,該執行個體便會被判定為失敗。- HyperPod Kubernetes 資源監控代理程式會監察 EKS 叢集的 Kubernetes 層,偵測當機重啟循環中的裝置外掛程式、缺少 DaemonSet,以及帶有污點的節點等問題。工作失敗時,它會以 Kubernetes 事件和 Amazon CloudWatch 日誌回報涉及的 Pod 和節點。
- 卡住工作偵測功能會找出已停止進展的 Slurm 工作。每個節點上的代理程式會監察工作的輸出和 GPU 活動,或你定義的日誌模式。它會在 CloudWatch 寫入事件,並可取消工作,讓 Slurm 將工作重新排入佇列。
為何單靠節點健康狀況並不足夠
HyperPod 現有的復原功能一次只檢查一個節點。健康監控代理程式(HMA)會監察每個節點的 GPU 錯誤,例如 Xid 和 NVLink 故障、Elastic Fabric Adapter(EFA)錯誤,以及核心錯誤。InstanceStress 深度健康檢查會執行 DCGM 第 4 級診斷,測試每個執行個體的 GPU、GPU 記憶體、NVLink 和 EFA 裝置。InstanceConnectivity 檢查會在 GPU 執行個體之間執行 NCCL 測試,或在 AWS Trainium 上執行 NCCOM 測試。這些檢查合起來可確認每個節點的硬件運作正常,但無法顯示 GPU 是否能正確運算、工作是否仍有進展,或叢集的 Kubernetes 元件是否健康。以下三類故障仍可能漏過這些檢查:
- 數值故障 – GPU 即使通過所有硬件測試,仍可能計算出錯誤結果。生產環境執行時,NaN 或無限損失值往往是首個跡象。Meta 將其 Llama 3 405B 為期 54 天的預訓練工作中,419 次意外中斷裡的 6 次歸因於靜默資料損毀(Llama 3 模型羣)。
- 卡住的作業 – NCCL 逾時、資料管道停滯或死鎖,都可能令作業停止,卻不會結束。作業會繼續佔用 GPU 及其記憶體,而 Slurm 會一直將它顯示為執行中,直至有人查看損失曲線或記錄檔。
- 叢集層級故障 – 有些故障發生在 Kubernetes,而非節點硬件上。裝置外掛程式不斷崩潰並重新啟動、必要的 DaemonSet 始終未能在新節點上啟動,或不同節點上的 rank 在 NCCL 集體通信操作中失去同步。HMA 會逐一檢查每個節點,因此無法發現這些問題。作業失敗時,錯誤訊息通常不會指出是哪個 pod 或節點導致問題。
解決方案概覽
每項功能涵蓋訓練流程中的不同階段。MultiNodeTrainingValidation會在配置執行個體時或按需執行,確認其 GPU 能正確進行訓練。卡住作業偵測會與每個 Slurm 作業一同執行,並找出停止取得進展的作業。HyperPod Kubernetes Resource Monitoring Agent 會持續監察叢集,並在作業失敗時回報涉及的 pod 和節點。下表概述這三項功能。
| 功能 | 偵測的問題 | 執行時機 | 適用平台 |
MultiNodeTrainingValidation 深度健康檢查 |
在通過硬件檢查的 GPU 上出現 NaN 或無限損失,或訓練未能在時限內完成 | 建立或更新執行個體時,或按需執行 | EKS 叢集,適用於支援 EFA 的 NVIDIA GPU 執行個體 |
| HyperPod Kubernetes Resource Monitoring Agent | 節點狀況變更、pod 和 DaemonSet 故障,以及訓練作業失敗,並列出涉及的 pod 和節點。亦會監察選擇啟用此功能的作業之 NCCL 通信狀態 | 持續執行 | EKS 叢集 |
| 卡住作業偵測 | 停止取得進展但未結束的作業 | 每個作業執行期間 | Slurm 叢集 |
卡住作業偵測是 Slurm 叢集的新功能。在 EKS 叢集上,HyperPod 已會偵測透過 HyperPod training operator 執行的卡住作業,而 Ray Train 作業則預設啟用卡住偵測。我們會在「卡住作業偵測」一節介紹這兩種選項。
每項功能針對有效吞吐量損失的不同來源。排程有效吞吐量是作業所需的所有資源皆可用的時間比例。執行階段有效吞吐量是這段時間內作業能持續推進的時間比例。程式有效吞吐量是作業取得的硬件峯值效能比例。下表列出各項功能的影響。
| 功能 | 排程有效吞吐量 | 執行階段有效吞吐量 | 程式有效吞吐量 |
MultiNodeTrainingValidation |
未能通過訓練測試的執行個體會被標記;若啟用自動節點復原,這些執行個體會被替換,避免作業在會產生無效輸出的硬件上啟動 | 減少正式訓練作業因故障 GPU 產生 NaN 或無限損失而失敗的情況 | 標記訓練未能在時限內完成的執行個體 |
| HyperPod Kubernetes Resource Monitoring Agent | 回報失去 GPU 或 EFA 裝置、缺少裝置外掛程式或帶有污點的節點,讓你能更快恢復容量 | 指出導致作業失敗的 pod 和節點,讓你更快找出原因並重新啟動作業 | 沒有直接影響 |
| 卡住作業偵測 | 沒有直接影響 | 數分鐘內即可標記卡住的作業,而非等待數小時;亦可取消作業,讓 Slurm 將其重新排入佇列 | 沒有直接影響 |
假設有一項預訓練工作在 32 個 ml.p5.48xlarge 執行個體上執行(共 256 個 NVIDIA H100 GPU)。如果工作在凌晨 1:00 停滯,直到上午 9:00 才有人察覺,便會浪費 256 個執行個體小時或 2,048 個 GPU 小時。按美國東部(北維珍尼亞)SageMaker HyperPod 隨需價格每個執行個體小時約 $66 計算,這次停滯的成本約為 $16,900。設定 15 分鐘工作停滯偵測規則後,HyperPod 會取消停滯的工作,並由 Slurm 重新排入佇列。這次停滯的成本便約為 $530,節省約 $16,400。
透過 MultiNodeTrainingValidation 深度健康檢查驗證訓練是否正確
MultiNodeTrainingValidation 深度健康檢查會執行固定且已知運作正常的工作負載,先在每個執行個體上執行,再跨執行個體執行。它能找出通過 InstanceStress 和 InstanceConnectivity 檢查,但在協同訓練時產生 NaN 或無限訓練損失的 GPU。如果執行個體未能通過檢查,HyperPod 會將其標記為失敗;如果已啟用自動節點復原功能,便會重新啟動或取代該執行個體。如果在佈建期間執行檢查,這些處理會在工作可以使用該執行個體之前完成。
運作方式
MultiNodeTrainingValidation 在深度健康檢查中加入兩項測試:
- Tiny Megatron 測試:在每個執行個體的所有 GPU 上執行簡短的 Megatron-LM 訓練。
- Megatron 測試:在相同類型的多個執行個體上執行相同工作負載,並透過 EFA 通訊。
如果訓練損失變成 NaN 或無限值,或訓練未能在時限內完成,任一項測試都會判定執行個體失敗。工作負載固定不變,因此測試失敗表示問題出在硬件,而非模型或程式碼變更。
下表説明這些檢查如何與其他深度健康檢查配合。
| 檢查 | 執行項目 | 可找出的問題 |
InstanceStress |
GPU 和 NVLink 數量、DCGM 等級 4 診斷,以及 EFA 延遲和頻寬測試(Trainium 上則執行 Neuron 測試) | 硬件缺失、故障或不穩定 |
InstanceConnectivity |
跨 GPU 執行個體的 NCCL 測試(Trainium 上則執行 NCCOM) | 執行個體之間的通訊緩慢或故障 |
MultiNodeTrainingValidation |
在每個執行個體上執行 Tiny Megatron 測試,並跨執行個體執行 Megatron 測試 | GPU 雖能運作,但訓練不正確:訓練損失為 NaN 或無限值,或訓練未能及時完成 |
先決條件
你需要具備以下條件:
- 由 Amazon EKS 編排的 Amazon SageMaker HyperPod 叢集。
- 一個採用支援的 EFA 啟用型 NVIDIA GPU 執行個體類型的執行個體羣組,例如 ml.p5.48xlarge。Megatron 測試會跨相同類型的執行個體執行。
為執行個體羣組啟用 MultiNodeTrainingValidation
HyperPod 在建立或更新執行個體時會執行深度健康檢查。如要加入 MultiNodeTrainingValidation,請在傳入 create-cluster 或 update-cluster 的執行個體羣組設定中的 OnStartDeepHealthChecks 加入該項目。我們已啟用全部三項檢查:
{
"InstanceGroupName": "<instance-group>",
"InstanceType": "ml.p5.48xlarge",
"InstanceCount": 2,
"LifeCycleConfig": {
"SourceS3Uri": "s3://<bucket>/<prefix>",
"OnCreate": "on_create.sh"
},
"ExecutionRole": "arn:aws:iam::<account-id>:role/<hyperpod-execution-role>",
"OnStartDeepHealthChecks": [
"InstanceStress",
"InstanceConnectivity",
"MultiNodeTrainingValidation"
]
}如要確認設定,請執行以下命令:
aws sagemaker describe-cluster \
--cluster-name <cluster-name> \
--query "InstanceGroups[?InstanceGroupName=='<instance-group>'].OnStartDeepHealthChecks"輸出會列出三項檢查:
[
[
"InstanceStress",
"InstanceConnectivity",
"MultiNodeTrainingValidation"
]
]按需執行 MultiNodeTrainingValidation
你也可以檢查叢集中已有的執行個體,例如在進行長時間預訓練之前。請使用 StartClusterHealthCheck API:
aws sagemaker start-cluster-health-check \
--cluster-name <cluster-name> \
--deep-health-check-configurations \
'[{"InstanceGroupName": "<instance-group>", "DeepHealthChecks": ["MultiNodeTrainingValidation"]}]'如要檢查指定的執行個體而非整個羣組,請在設定中加入 "InstanceIds": [...]。
檢查結果
HyperPod 會在叢集的 CloudWatch 日誌羣組 /aws/sagemaker/Clusters/<cluster-name>/<cluster-id> 中,將每項測試的結果各寫入一行至 DeepHealthCheckResults/<id> 日誌串流。以下是我們在兩個 ml.p5.48xlarge 執行個體上執行測試時的日誌串流。TINY_MEGATRON 和 MEGATRON 是兩項 MultiNodeTrainingValidation 測試:
2026-11-11T10:58:33Z Deep health check configuration validation passed
2026-11-11T11:01:41Z 2 out of 2 nodes succeeded HARDWARE_CHECK test. Instance IDs: [i-0a1b2c3d4e5f60001 i-0a1b2c3d4e5f60002]
2026-11-11T12:16:07Z 2 out of 2 nodes succeeded DCGM test. Instance IDs: [i-0a1b2c3d4e5f60001 i-0a1b2c3d4e5f60002]
2026-11-11T12:17:14Z 2 out of 2 nodes succeeded EFA test. Instance IDs: [i-0a1b2c3d4e5f60001 i-0a1b2c3d4e5f60002]
2026-11-11T12:21:16Z 2 out of 2 nodes succeeded TINY_MEGATRON test. Instance IDs: [i-0a1b2c3d4e5f60001 i-0a1b2c3d4e5f60002]
2026-11-11T12:22:25Z 0 nodes failed NCCL test at batch size 2. Instance IDs: []
2026-11-11T12:22:29Z 2 out of 2 nodes succeeded NCCL test. Instance IDs: [i-0a1b2c3d4e5f60001 i-0a1b2c3d4e5f60002]
2026-11-11T12:26:31Z 0 nodes failed MEGATRON test at batch size 2. Instance IDs: []
2026-11-11T12:26:31Z 2 out of 2 nodes succeeded MEGATRON test. Instance IDs: [i-0a1b2c3d4e5f60001 i-0a1b2c3d4e5f60002]執行完成後,每個執行個體都會以節點標籤記錄結果:
kubectl get nodes \
-l sagemaker.amazonaws.com/instance-group-name=<instance-group> \
-L sagemaker.amazonaws.com/deep-health-check-status
NAME STATUS ROLES AGE VERSION DEEP-HEALTH-CHECK-STATUS
hyperpod-i-0a1b2c3d4e5f60001 Ready <none> 120m v1.34.2-eks-ecaa3a6 Passed
hyperpod-i-0a1b2c3d4e5f60002 Ready <none> 120m v1.34.2-eks-ecaa3a6 Passed如要查看訓練詳情,請閲讀執行個體上的 /var/log/aws/clusters/sagemaker-deep-health-check.log,例如透過 AWS Systems Manager 工作階段查看。在執行 rank 0 的執行個體上,日誌結尾會列出 Megatron 測試的摘要:
CONVERGENCE TEST PASSED
Completed 300 training iterations in 161.5s
Training forward steps: 300
Evaluation forward steps: 20
Total forward steps: 320
Final training loss: 3.6213
Initial training loss: 11.5671
Loss reduction: 7.9458
Training iterations per second: 1.86另一個執行個體的記錄檔每次迭代都有一行,列出損失值及累計的 NaN 迭代次數:
iteration 300/ 300 | consumed samples: 9600 | elapsed time per iteration (ms): 509.5 |
learning rate: 1.000E-04 | global batch size: 32 | lm loss: 3.397480E+00 | loss scale: 1.0 |
grad norm: 1.386 | number of skipped iterations: 0 | number of nan iterations: 0 |在我們的測試中,損失值在 300 次迭代內由 11.57 降至 3.62,沒有出現 NaN 或跳過迭代的情況;使用 16 張 H100 GPU 時,每次迭代約需 507 毫秒。
MultiNodeTrainingValidation 所需時間
在我們的雙節點叢集中,執行個體完成生命週期指令碼後,完整的深度健康檢查耗時 1 小時 28 分鐘。當中大部分時間用於 DCGM 第 4 級診斷。兩項 MultiNodeTrainingValidation 測試另外增加約 8 分鐘。檢查完成前,執行個體無法承接工作負載,因此新增容量時請預留這段額外時間。
| 測試 | 檢查 | 距離上次結果的時間 |
HARDWARE_CHECK |
InstanceStress |
3 分鐘 |
| DCGM(第 4 級) | InstanceStress |
74 分鐘 |
| EFA | InstanceStress |
1 分鐘 |
TINY_MEGATRON |
MultiNodeTrainingValidation |
4 分鐘 |
| NCCL | InstanceConnectivity |
1 分鐘 |
MEGATRON(2 個執行個體) |
MultiNodeTrainingValidation |
4 分鐘 |
請注意,MultiNodeTrainingValidation 會使用固定的參考工作負載測試硬件。測試通過表示執行個體能正確執行該工作負載,但不保證你自己的作業能收斂。我們建議在新容量、替換的執行個體,以及長時間預訓練作業開始前執行此測試。
使用 HyperPod Kubernetes Resource Monitoring Agent 捕捉叢集層級故障
HMA 會監察每個節點的硬件,但許多導致訓練作業停止的故障都發生在 Kubernetes 中。裝置外掛程式可能陷入反覆崩潰重啟,直到其節點不再向排程器提供 GPU;污點也可能令作業的 Pod 被驅逐。作業錯誤很少指出涉及的 Pod 或節點,因此工程師只能從 kubectl 輸出、各 rank 的記錄檔和時間戳記拼湊事發經過。
HyperPod Kubernetes Resource Monitoring Agent 會在叢集內集中監察這些資源。發生故障時,它會告知你哪些項目有所變更,以及哪些節點、Pod 和作業受到影響。它會透過 Kubernetes 事件和結構化的 CloudWatch 記錄檔回報。此 Agent 只會回報狀況,不會重新啟動節點或作業,因為問題可能出在工作負載本身。硬件故障仍由 HMA 和 HyperPod 節點復原機制處理,而 HyperPod training operator 則繼續負責重新啟動作業。
Agent 的運作方式
此 Agent 在 aws-hyperpod 命名空間中以每個叢集一個 Pod 的方式執行,並優先使用 CPU 節點,因此不會佔用 GPU 容量。它會監察以下項目:
- Nodes: The agent reports these changes:
- 狀況變更,例如
NotReady,或記憶體、磁碟或 PID 壓力。 - 可分配的 GPU 或 EFA 裝置數量減少。
- NVIDIA 功能標籤遺失。
- 新增、變更或移除的污點。
- HyperPod 標籤遺失。
- 狀況變更,例如
- 關鍵基礎設施 Pod:kube-system、aws-hyperpod 和 kubeflow 中的 DaemonSet Pod,以及訓練運算子的控制器。Agent 會回報反覆崩潰重啟、重新啟動、容器錯誤,以及持續處於未就緒狀態的 Pod。
- DaemonSet:缺少或沒有可用 Pod 的必要 DaemonSet、停滯的部署更新,以及在已不再允許其執行的節點上運行的 Pod。
- 訓練作業:HyperPodPyTorchJob、Kubeflow PyTorchJob (v1) 和 Kubeflow TrainJob (v2)。作業失敗時,Agent 會連同作業涉及的 Pod 和節點記錄失敗原因。
- NCCL 通訊:對於選擇啟用此功能的作業,Agent 會從 NCCL 內置的可靠性、可用性與可維修性(RAS)子系統讀取作業的 NCCL 通訊器狀態。
Agent 會在以下兩處回報偵測結果:
- Kubernetes 事件:在受影響的節點、Pod、DaemonSet 或作業上發佈事件。Warning 事件表示出現問題,Normal 事件表示問題已復原。你可以使用 kubectl get events 和 kubectl describe 查看。
- 叢集 CloudWatch 日誌羣組中的 結構化 JSON 日誌,可在 Kubernetes 事件過期後保留歷史記錄。
下表列出最常見的事件。
| 事件原因 | 觸發時機 |
| TrainingJobFailed | HyperPodPyTorchJob 或 Kubeflow 作業失敗。訊息會包含作業 operator 提供的失敗原因。 |
| CriticalPodCrashLoop, CriticalPodRestarted | 裝置外掛程式、HMA 或其他關鍵 Pod 反覆崩潰或重新啟動。 |
| NecessaryDaemonSetMissing | 你指定為必要的 DaemonSet 不存在,或沒有可用的 Pod。 |
| NodeResourceDegraded | 節點可分配的 GPU 或 EFA 裝置減少或消失。 |
| NodeConditionDegraded | 節點變成 NotReady,或回報記憶體、磁碟或 PID 壓力。 |
| NodeTaintAdded, NoExecuteTaintApplied | 節點被加上污點。若是 NoExecute 污點,日誌會列出可能被逐出的 Pod 和作業。 |
| DaemonSetMisscheduled | DaemonSet Pod 正在不再允許其執行的節點上運行。 |
| NodeRecovered, PodRecovered, DaemonSetRecovered | 先前回報的問題已解除。 |
完整事件清單請參閲文件。
先決條件
你需要具備以下條件:
- 由 Amazon EKS 編排的 SageMaker HyperPod 叢集。
- 如要使用現有叢集,你需要有權使用該叢集的 kubectl 和 Helm,並從 sagemaker-hyperpod-cli 儲存庫取得 HyperPod Helm chart。
- 如果要監察 NCCL 通訊,訓練容器須使用 NCCL 2.24 或更新版本。
安裝並驗證代理程式
如果叢集已使用 HyperPod Helm chart,請先套用代理程式的自訂資源定義(CRD),因為 Helm 在升級時不會安裝 CRD。然後啟用代理程式並升級 release:
git clone https://github.com/aws/sagemaker-hyperpod-cli.git
cd sagemaker-hyperpod-cli/helm_chart
helm dependencies update HyperPodHelmChart
kubectl apply \
-f HyperPodHelmChart/charts/hyperpod-kubernetes-resource-monitor/crds/
helm upgrade dependencies HyperPodHelmChart \
--namespace kube-system \
--reset-then-reuse-values \
--set hyperpod-kubernetes-resource-monitor.enabled=true \
--set hyperpod-kubernetes-resource-monitor.region=<region>升級亦會將 chart 中的其他 HyperPod 元件(例如 HMA 和裝置外掛程式)更新至 chart 的目前版本。若要先查看變更內容,請使用 --dry-run=server 執行相同指令。
確認代理程式正在運行,而且健康狀態報告已生成:
kubectl get deployment \
-n aws-hyperpod \
hyperpod-kubernetes-resource-monitoring-agent
kubectl get hyperpodkrmaconfigs default -o yaml健康狀態報告會列出代理程式追蹤的 HyperPod 元件(例如 HMA),以及各元件狀態上次變更的時間:
status:
components:
- name: DaemonSet/aws-hyperpod/health-monitoring-agent
since: "2026-11-10T16:47:57Z"
status: Healthy
instances: []
lastReportTime: "2026-11-10T17:19:36Z"預設情況下,只有 HMA 是必要的 DaemonSet。如果叢集使用 HyperPod Helm chart 中的裝置外掛程式,請將它們加入清單,讓代理程式在外掛程式缺失時發出報告。亦請加入訓練作業運行所在的命名空間,讓代理程式將 Pod 失敗與相關作業連結起來。每個清單都會取代預設清單,因此請保留預設項目。將以下內容儲存為 krma-values.yaml:
hyperpod-kubernetes-resource-monitor:
monitoring:
monitoredNamespaces:
- aws-hyperpod
- kube-system
- default
- kubeflow
- ml-team-a
necessaryDaemonsets:
- name: health-monitoring-agent
namespace: aws-hyperpod
- name: dependencies-nvidia-device-plugin
namespace: kube-system
- name: dependencies-aws-efa-k8s-device-plugin
namespace: kube-system然後套用:
helm upgrade dependencies HyperPodHelmChart \
--namespace kube-system \
--reset-then-reuse-values \
-f krma-values.yaml查看代理程式的報告
為了查看 HyperPod Kubernetes Resource Monitoring Agent 如何處理基礎設施故障,我們在 aws-hyperpod 中部署了一個小型 DaemonSet,將它指定到一個節點,並設定為啟動幾秒後退出。它的行為如同反覆崩潰的裝置外掛程式,但不會影響實際使用的外掛程式。幾秒內,代理程式便在該 Pod 和 DaemonSet 上觸發事件:
kubectl get events -A \
--field-selector source=hyperpod-kubernetes-resource-monitoring-agent
NAMESPACE TYPE REASON OBJECT MESSAGE
aws-hyperpod Warning CriticalPodRestarted pod/demo-plugin-4wsqw Critical infrastructure pod container crash restarted (count: 2)
aws-hyperpod Warning CriticalPodCrashLoop pod/demo-plugin-4wsqw Critical infrastructure pod container crash in CrashLoopBackOff
aws-hyperpod Warning DaemonSetMisscheduled daemonset/demo-plugin DaemonSet has 1 misscheduled pods接著,我們執行了一個雙節點 HyperPodPyTorchJob,並讓其中一個 rank 在訓練期間退出。代理程式在該作業上觸發了 TrainingJobFailed 事件:
NAMESPACE TYPE REASON OBJECT MESSAGE
ml-team-a Warning TrainingJobFailed hyperpodpytorchjob/llama-pretrain Training job HyperPod PyTorchJob failed:
Fault detected on training pod llama-pretrain-pod-7dc7c-nh5gb:
A training worker process has crashed: Local Rank 0 exited ...代理程式亦將失敗資訊連同相關 Pod 和節點寫入 CloudWatch,因此你無須從作業的 Pod 清單中查找這些資料:
{"level":"warn","msg":"=== Job Failure Detected ===","component":"HyperpodPyTorchJob",
"job":"llama-pretrain","namespace":"ml-team-a","type":"HyperPod PyTorchJob",
"reason":"Fault detected on training pod llama-pretrain-pod-7dc7c-nh5gb: A training worker process has crashed ..."}
{"level":"warn","msg":"Affected Pods","component":"HyperpodPyTorchJob",
"pods":["llama-pretrain-pod-7dc7c-nh5gb","llama-pretrain-pod-7dc7c-f9dmg"]}
{"level":"warn","msg":"Affected Nodes","component":"HyperpodPyTorchJob",
"nodes":["hyperpod-i-0a1b2c3d4e5f60001","hyperpod-i-0a1b2c3d4e5f60002"]}代理程式會將這些日誌寫入叢集日誌羣組 /aws/sagemaker/Clusters/<cluster-name>/<cluster-id>,並存放在名稱為 SageMakerClusterMonitoringAgent/<instance-group>/<instance-id> 的串流中。切換至另一個節點時,代理程式會建立新的串流,因此請按串流前綴篩選。範例查詢請參閲文件。
監察作業的 NCCL 通訊
NCCL 2.24 及之後版本包含可靠性、可用性及可維護性(RAS)子系統。這個子系統是在每個 NCCL 程序中執行的小型監聽器,負責回報作業通訊器的狀態。對選擇啟用此功能的作業,代理程式每 30 秒從每個 Pod 讀取這份報告。
預設情況下,NCCL 會將 RAS 監聽器繫結至 Pod 內的 localhost,代理程式無法連線至該位置。若要為作業啟用此功能,請改為將監聽器繫結至 Pod IP。這樣一來,Pod 網絡上的 28028 連接埠便可連線;NVIDIA 文件指出,這會帶來安全影響。啟用前,請套用 Kubernetes NetworkPolicy,只允許代理程式所在的 Pod 透過 TCP 連接埠 28028 連線,同時仍允許作業本身各 Pod 之間的流量。代理程式的 文件包含政策範例。然後在訓練容器中設定 NCCL_RAS_ADDR:
apiVersion: sagemaker.amazonaws.com/v1
kind: HyperPodPyTorchJob
...
containers:
- name: pytorch
env:
- name: POD_IP
valueFrom:
fieldRef: {fieldPath: status.podIP}
- name: NCCL_RAS_ADDR # set only after the NetworkPolicy is in place
value: "$(POD_IP):28028"若要確認設定,請使用 NCCL_DEBUG=INFO 和 NCCL_DEBUG_SUBSYS=INIT,RAS 啟用 NCCL 偵錯記錄。每個 rank 隨後都會記錄 RAS 監聽的位址:
[default3]:llama-pretrain-workers-6c7f5bb445-gxnsf:129:203 [3] NCCL INFO RAS client listening socket at 10.0.1.11<28028>如果位址是 ::1 或 127.0.0.1,即表示未設定 NCCL_RAS_ADDR,代理程式無法連線至監聽器。
對每個受監察的作業,代理程式會將各 Pod 的結果合併為作業層級的狀態。若每個 Pod 均傳回有效報告,作業狀態為健康;若只有部分 Pod 傳回,則為降級;若沒有任何 Pod 傳回,則為不健康。不健康通常表示訓練程序已停止。
代理程式每次輪詢後都會記錄摘要。在一項使用兩個 ml.p5.48xlarge 執行個體的測試中,每次輪詢均顯示兩個訓練 Pod 狀態正常,間隔 30 秒:
{"level":"info","timestamp":"2026-11-12T07:14:27.163Z","msg":"NCCL RAS monitoring cycle completed","component":"nccl-ras-informer-llama-pretrain","duration":4.00535305,"total_endpoints":2,"healthy":2,"failed":0,"overall_status":"healthy"}代理程式亦會將每份 RAS 報告寫入 CloudWatch,讓你在作業仍在執行時找出通訊器問題。在測試中,我們令一個雙節點作業中的其中一個 rank 停止呼叫 all_reduce。下一次輪詢的報告顯示通訊器進度不一致,並指出落後的 rank、GPU、程序及節點:
Group Comms Nodes Ranks Ranks Ranks Status Errors
# in group per comm per node per comm in group
0 1 2 1 2 2 RUNNING MISMATCH
#0-0 (2958ae23ccc57a88) MISMATCH
Communicator ranks have different AllReduce operation counts
Rank 0 has launched up to operation 3078 -- GPU 0 managed by process 473 on node 10.0.1.11
Rank 1 has launched up to operation 3077 -- GPU 0 managed by process 474 on node 10.0.2.22Rank 1 比 rank 0 落後一項操作,因此應先檢查節點 10.0.2.22 上 Rank 1 的 GPU。
在 HyperPod Slurm 叢集上偵測並復原卡住的作業
訓練作業可能會卡住,但不會結束。NCCL 逾時、資料管道停滯或死鎖,都可能令作業佔用 GPU,但 Slurm 仍顯示作業正在執行。直到有人發現損失值或記錄檔不再變動,作業都會維持這種狀態。使用 Slurm 的團隊通常會自行編寫監察程式指令碼及設定警示來偵測這類作業,之後還需要持續維護。
今日,我們推出適用於 SageMaker HyperPod Slurm 叢集的卡住作業偵測功能。它會找出這類作業,將事件寫入 CloudWatch,亦可取消卡住的作業,讓 Slurm 將作業重新放入佇列。你可以為每個作業設定一個指向小型規則檔案的環境變數,以啟用此功能。這項功能無需更改訓練指令碼或容器,並適用於 PyTorch、TensorFlow、JAX 及自訂指令碼。
卡住作業偵測的運作方式
卡住作業偵測功能會以代理程式形式在每個節點上執行,預設為關閉。代理程式只會監察將環境變數 HYPERPOD_HANG_RULES 設定為規則檔案路徑的作業。規則檔案會決定代理程式如何偵測卡住情況:
- 預設偵測 會監察作業的標準輸出和 GPU 活動。如果輸出在一段時間內停止,而 GPU 閒置但仍佔用記憶體,便會判定作業卡住。這正是 rendezvous 卡住的情況:一個節點失效,其他節點則在同步屏障處等待。無論 GPU 正在做甚麼,如果輸出停止的時間更長,也會判定作業卡住。在我們的測試中,第一種情況在作業最後一次輸出後 15 分鐘觸發。
- 自訂規則會按你指定的正規表示式監察日誌。若訓練步驟訊息等日誌行未在指定的逾時時間內出現,進度規則便會判定工作停滯。若出現 NCCL 錯誤等日誌行,錯誤規則便會立即判定工作停滯。自訂規則會取代該工作使用的預設偵測方式。
| 預設偵測 | 自訂規則 | |
| 使用以下設定啟用 | {“enabled”: true} | 一條或多條已啟用的 log_pattern 規則 |
| 判定工作停滯的條件 | GPU 閒置但仍佔用記憶體時輸出停止,或輸出停止的時間較長 | 進度模式未在指定的逾時時間內出現,或出現錯誤模式 |
| 無法偵測 | 持續佔用 GPU 但沒有進展的工作,例如陷入迴圈的工作 | 規則模式未涵蓋的停滯情況。如果某個模式持續符合,即使 GPU 閒置,也不會判定工作停滯。 |
代理程式判定工作停滯時,會將一則 HANG_DETECTED 事件寫入 CloudWatch。如果規則檔案將動作設為 cancel,代理程式亦會取消工作,並由 Slurm 將工作重新排入佇列。使用預設動作 notify 時,代理程式只會寫入事件,並讓工作繼續執行。
停滯工作偵測與自動恢復功能分開運作;自動恢復會在工作因硬件故障而結束後重新啟動工作。自動恢復處理發生崩潰的工作,而停滯工作偵測則處理持續執行但沒有進展的工作。
在由 Amazon EKS 編排的 HyperPod 叢集上,HyperPod 已會在兩種情況下偵測停滯工作。HyperPod 訓練運算子會按工作規格中的規則檢查每個 HyperPodPyTorchJob 的日誌,並在工作停滯時重新啟動工作。同一組規則亦可在工作吞吐量下降或損失值飆升時重新啟動工作。這項功能不需要 Ray。對於 Ray Train 工作,適用於 Ray 的 HyperPod 停滯工作偵測預設會監察每個工作節點,無須更改程式碼。
先決條件
你需要具備以下項目:
- 由 Slurm 編排的 SageMaker HyperPod 叢集。
- 於 November 10, 2026 或之後發佈的 HyperPod Slurm AMI,其中包含停滯工作偵測功能。在該日期或之後建立的叢集已具備此功能。若要在不更新現有叢集的情況下檢查叢集,請在叢集節點上執行
srun --help。如果輸出列出--no-hang-detection,即表示叢集支援停滯工作偵測。如果沒有,請先更新叢集軟件。更新會取代每個執行個體的根磁碟區,因此請在更新前備份儲存在其中的所有資料。 - 工作中的每個運算節點都能以相同路徑讀取的規則檔案。代理程式會在每個節點上從該路徑讀取檔案。Amazon FSx for Lustre 或 Amazon Elastic File System (Amazon EFS) 等共享儲存空間是直接簡便的選擇。如要將規則檔案存放在 Amazon Simple Storage Service (Amazon S3),請將檔案複製到每個節點的相同路徑,例如在生命週期指令碼中進行複製。如果打算使用
/opt/slurm等目錄,請先確認該目錄在各節點之間共享,而非每個節點各自的本機目錄。
啟用停滯工作偵測
在共享儲存空間建立規則檔案。最精簡的有效檔案即可啟用預設偵測:
echo '{"enabled": true}' > /fsx/my-project/rules.json
chmod 600 /fsx/my-project/rules.json代理程式會使用作業指定的規則檔,而且不會檢查檔案擁有者。任何能編輯該檔案,或在其所在目錄中替換該檔案的人,都可以更改所有使用該檔案的作業的偵測方式,甚至令代理程式取消這些作業。範例中的 chmod 600 可確保個人規則檔只有擁有者能存取。若團隊共用同一個檔案,請使用 chmod 644,讓團隊成員可以讀取,並只有維護者可以編輯。在這兩種情況下,上層目錄都應只允許擁有者寫入,以免其他人替換檔案。
提交作業時,請指定規則檔:
#!/bin/bash
#SBATCH --job-name=llama-pretrain
#SBATCH --nodes=4
#SBATCH --export=ALL,HYPERPOD_HANG_RULES=/fsx/my-project/rules.json
srun python train.py若要讓多個作業使用同一個規則檔,也可以在 shell 設定檔或全站設定檔指令碼中設定 HYPERPOD_HANG_RULES。
受監控的作業啟動時,輸出的首幾行會顯示代理程式已登記該作業:
[Auto Resume] Info: [hang_detection] Exported stdout path for job 1: /fsx/my-project/llama-pretrain-1.out
[Auto Resume] Info: [hang_detection] Registered job step: job=1 step=0 node=ip-10-1-40-47規則檔無效時也會出現這些行,因此請按照下一節所述,亦在 CloudWatch 中檢查 CONFIG_ERROR 事件。
加入自訂規則以追蹤訓練進度
預設偵測無法識別持續佔用 GPU、卻沒有取得進展的作業,因此我們建議至少設定一條規則,監察訓練步數或 epoch。以下規則檔會在 45 分鐘內沒有任何 epoch 完成時取消作業,或在出現 NCCL 錯誤時立即取消作業:
{
"enabled": true,
"rules": [
{
"name": "epoch_progress",
"type": "log_pattern",
"enabled": true,
"log_pattern": "Epoch \\d+/\\d+ complete",
"start_timeout_minutes": 30,
"timeout_minutes": 45,
"stop_pattern": "Training complete"
},
{
"name": "nccl_error",
"type": "log_pattern",
"enabled": true,
"log_pattern": "NCCL error",
"fault_on_match": true
}
],
"action_policy": {
"action": "cancel"
}
}各欄位的作用如下:
- 每條規則的 enabled 都要設為 true。規則預設為關閉。
start_timeout_minutes表示模式首次出現前,作業可以執行多久。設定的時間應長於作業載入模型、編譯及還原檢查點所需的時間。timeout_minutes表示模式首次出現後,可以持續多久不再出現。設定的時間應長於最長的正常間隔,包括儲存檢查點及評估所需的時間。stop_pattern會在規則符合時停用該規則,避免訓練結束後的工作被標記。fault_on_match用來標示錯誤模式。符合一次便表示作業已卡住。
代理程式預設會讀取作業的 Slurm 輸出檔。若要監察其他檔案,請設定 monitoring.log_file。若要減少誤報,可在規則中設定 metric_evaluation_data_points,要求連續數次 10 秒檢查都未通過,代理程式才會判定作業卡住。規則檔最多可包含 20 條規則,大小上限為 1 MB。
調校逾時時間及模式時,請先使用 "action": "notify";待事件能準確反映實際卡住的情況後,再切換至 cancel。
在 CloudWatch 查看作業卡住偵測事件
HyperPod 會從控制器節點將偵測事件寫入叢集的 CloudWatch 日誌羣組 /aws/sagemaker/Clusters/<cluster-name>/<cluster-id>,串流為 SageMakerHangJobDetectionEvents/<controller-instance-group>/<controller-instance-id>。所有作業的事件都會寫入此串流,不論作業在哪個節點執行。若要查找某個作業的事件,請按其作業 ID 篩選:
aws logs filter-log-events \
--log-group-name /aws/sagemaker/Clusters/<cluster-name>/<cluster-id> \
--log-stream-name-prefix SageMakerHangJobDetectionEvents/ \
--filter-pattern '{ $.job_id = "12345" }'我們在有兩個 ml.p5.48xlarge 執行個體的 HyperPod Slurm 叢集上測試了各種偵測方法。第一個測試作業分配 GPU 記憶體後,便停止輸出。預設偵測在作業最後一次輸出 15 分鐘後將其標記為卡住:
{
"time": "2026-11-12T16:49:36.39710952Z",
"level": "INFO",
"msg": "HANG_DETECTED",
"event_type": "HANG_DETECTED",
"job_id": "1",
"step_id": "0",
"node": "ip-10-1-40-47",
"evidence": "stdout stale for 15 min and GPU idle with memory allocated",
"layer": "signal_evaluator",
"detected_at": "2026-11-12T16:49:36.378940227Z",
"job_action": "notify",
"config_source": "per_job_env_var"
}layer 欄位會顯示觸發了哪種方法:signal_evaluator 代表預設偵測,pattern_evaluator 代表自訂規則。在第二次測試中,設有 2 分鐘逾時時間的進度規則,在作業完成最後一個步驟 2 分鐘後觸發。在第三次測試中,錯誤規則在作業輸出 NCCL 錯誤行後約一秒觸發。由於該規則檔使用了 cancel,代理程式亦寫入了 HANG_ACTION_TAKEN 事件,記錄 Slurm 採取的動作(我們省略了 time、level 和 msg 欄位):
{"event_type":"HANG_DETECTED","job_id":"3","step_id":"0","node":"ip-10-1-40-47","evidence":"rule \"nccl_error\": fault pattern matched immediately","layer":"pattern_evaluator","detected_at":"2026-11-12T16:34:41.870908329Z","job_action":"cancel","config_source":"per_job_env_var"}
{"event_type":"HANG_ACTION_TAKEN","job_id":"3","action":"requeue","node":"ip-10-1-40-47","instance_id":"i-0a1b2c3d4e5f60001"}Slurm 將作業重新排入佇列,重新排入佇列的作業約 2.5 分鐘後開始執行。sacct 顯示了兩次執行:
$ sacct --duplicates -X -j 3 --format=JobID,State,Restarts,Start,End
JobID State Restarts Start End
----------- --------- ------- ------------------- -------------------
3 REQUEUED 0 2026-11-12T16:34:25 2026-11-12T16:34:41
3 COMPLETED 1 2026-11-12T16:37:10 2026-11-12T16:37:26Slurm 會按叢集的 MaxBatchRequeue 上限重新排入作業,該上限在我們的叢集中是 5。使用 #SBATCH --no-requeue 提交的作業則回報 "action": "cancel",並維持已取消狀態。使用 notify 時,不會有 HANG_ACTION_TAKEN 事件。代理程式會在 HANG_DETECTED 後記錄一筆內容為 Hang notification sent, no automatic action taken 的記錄。
如果規則檔案遺失或無效,代理程式便不會監控作業,而會改為寫入 CONFIG_ERROR 事件。以下是規則檔案含有 JSON 語法錯誤時的事件:
{"event_type":"CONFIG_ERROR","job_id":"5","node":"ip-10-1-40-47","config_path":"/fsx/my-project/rules.json","error":"config file found but failed to load: load failed: invalid JSON in config file /fsx/my-project/rules.json: unexpected end of JSON input","message":"Hang detection rules file is invalid and will not be applied. Please fix the rules file and resubmit your job."}作業在沒有監控的情況下執行至完成,而 sbatch、squeue 和作業輸出中都沒有任何內容。使用短時間作業測試新的規則檔案,並在用於正式作業前,檢查是否出現此事件。
在 notify 模式下,作業會繼續執行,直至有人處理該事件。要接收警示,請建立 CloudWatch 指標篩選器以篩選 HANG_DETECTED 事件,並建立一個會向 Amazon Simple Notification Service (Amazon SNS) 主題發出通知的警示:
aws logs put-metric-filter \
--log-group-name /aws/sagemaker/Clusters/<cluster-name>/<cluster-id> \
--filter-name hung-jobs \
--filter-pattern '{ $.event_type = "HANG_DETECTED" }' \
--metric-transformations \
metricName=HungJobsDetected,metricNamespace=HyperPod/HungJobs,metricValue=1停用停滯作業偵測
要停用原本會繼承 HYPERPOD_HANG_RULES 的作業之偵測功能,請將 --no-hang-detection 加入 srun,或加入 sbatch,以涵蓋作業中的每個步驟。要為所有使用規則檔案的作業停用此功能,請在檔案中設定 "enabled": false。正在執行的作業會保留目前的設定,而變更只會套用於之後提交的作業。
srun --no-hang-detection python train.py結論
節點健康狀態對可靠的分散式訓練至關重要,但不足以全面反映工作負載的健康狀況。MultiNodeTrainingValidation 可偵測通過硬件診斷、但產生無效訓練結果的執行個體。HyperPod Kubernetes Resource Monitoring Agent 會將 Kubernetes 基礎設施故障與相關作業、Pod 及節點連繫起來。停滯作業偵測可識別停止取得進展後仍保持運行的 Slurm 作業,並可自動將其放回佇列。
這些功能相輔相成,有助更早偵測故障、縮短調查時間,並減少耗用於無法取得有效進展的工作負載的 GPU 時間,從而提升有效吞吐量。增加或重新驗證容量時,請使用 MultiNodeTrainingValidation;在受支援的 Amazon EKS 叢集上持續執行 HyperPod Kubernetes Resource Monitoring Agent;並先以 notify 模式開始使用停滯作業偵測,再切換至自動取消。請參閲 Amazon EKS 的 SageMaker HyperPod 韌性説明文件及 Slurm 的停滯作業偵測説明文件,瞭解如何開始使用。請瀏覽 Amazon SageMaker HyperPod 產品頁面,瞭解更多資訊。
作者簡介
Roy Allela
Roy 是 AWS 首席 AI/ML 專業解決方案架構師。他與 AWS 客戶合作,協助初創公司以至大型企業在 AWS 上高效訓練及部署基礎模型。他的專業背景是微處理器工程。他熱衷於計算最佳化問題,以及提升 AI 工作負載的效能。
Xin Wang
Xin 是 Amazon SageMaker HyperPod 的資深軟件工程師,負責韌性相關功能。
Kethan Gaddam
Kethan 是 AWS 的軟件開發工程師,負責 Amazon SageMaker HyperPod。Kethan 專注於 Slurm 和 Amazon EKS 大規模分散式訓練的叢集韌性,協助客戶偵測故障並從中恢復,同時盡量縮短停機時間。
Shreyas Adiyodi
Shreyas 是 AWS 的產品經理,常駐西雅圖。他專注於在 SageMaker HyperPod 上支援生成式 AI 模型開發,並與客戶合作,簡化叢集佈建、加快基礎模型訓練,以及加強安全性與合規性。工作以外,他喜歡下棋、MMA 和看電影。
Pradeep Cruz
Pradeep 是 AWS 資深軟件開發經理,負責企業級 AI、訓練、推理及模型自訂所需的 SageMaker HyperPod 基礎設施。他擁有逾 20 年經驗,曾在 AWS、T-Mobile 及 Ericsson 推動關鍵 AI/ML 平台從 0 到 1 發展。他是分散式系統及基礎設施專家,持有 Michigan Ross 的 MBA 學位。
Dhawal Parkar
Dhawal 是 AWS 軟件開發經理,負責 Amazon SageMaker HyperPod。他領導工程團隊,負責叢集韌性、健康管理及可觀測性,協助客戶在大型 GPU 及 Trainium 叢集上訓練基礎模型並提供模型服務,同時確保高可靠性及極短停機時間。
來源:AWS Machine Learning Blog · aws.amazon.com