跳到正文
AWS Machine Learning Blog· Roy Allela·· 21 小時前精選AI 評分64

Amazon SageMaker HyperPod 新增工作負載復原及擴展基礎設施檢查

Introducing workload recovery and expanded infrastructure checks on Amazon SageMaker HyperPod

AI 導讀

AWS 為 Amazon SageMaker HyperPod 推出工作負載復原及擴展的基礎設施檢查,加入 MultiNodeTrainingValidation、HyperPod Kubernetes Resource Monitoring Agent,以及 Slurm 叢集的 hung job detection。

推薦理由

文章把訓練故障拆分為數值錯誤、Kubernetes 基礎設施問題與作業停滯,並對應介紹偵測及處理方式,方便理解各能力的適用範圍。

正文 · 繁體中文

大型訓練工作即使每個節點看起來都正常,仍可能失敗。出現細微故障的 GPU 可能通過壓力測試,但仍會傳回錯誤數值。工作因 NCCL 逾時而停滯時,仍會佔用 GPU,而 Slurm 也仍會將它顯示為正在執行。如果某個節點上的裝置外掛程式當機,工作會因錯誤而失敗,但錯誤訊息不會提及該外掛程式。團隊通常要等到損失值發散或工作失敗後,才會發現這些問題;到那時,運算資源已經耗用。每一種故障都會降低有效訓練比例,也就是叢集時間中用於有效訓練的佔比。今天,我們宣佈在 Amazon SageMaker HyperPod 推出工作負載復原和基礎架構檢查,及早偵測這些故障,提升訓練工作負載的有效訓練比例。

SageMaker HyperPod 已能處理回報硬件故障的節點。健康監控代理程式(HMA)會監察每個節點的 GPU 錯誤;深度健康檢查會在配置期間測試節點;自動節點復原則會重新啟動或更換故障硬件。這些功能一次只檢查一個節點的硬件,無法判斷 GPU 是否能正確訓練、工作是否仍有進展,或工作所依賴的 Kubernetes 元件是否正常運作。

本文會介紹三項用於偵測這些故障的新功能。以下會逐一説明如何設定,以及功能發現問題時會回報哪些資訊:

  1. MultiNodeTrainingValidation 是一項全新的深度健康檢查,適用於由 Amazon Elastic Kubernetes Service(Amazon EKS)編排的 HyperPod 叢集。HyperPod 配置執行個體時,或你按需要執行檢查時,這項功能會先在該執行個體上訓練小型模型,然後在相同類型的多個執行個體上進行訓練。如果損失值變成 NaN 或無限值,或訓練未能在時限內完成,該執行個體便會被判定為失敗。
  2. HyperPod Kubernetes 資源監控代理程式會監察 EKS 叢集的 Kubernetes 層,偵測當機重啟循環中的裝置外掛程式、缺少 DaemonSet,以及帶有污點的節點等問題。工作失敗時,它會以 Kubernetes 事件和 Amazon CloudWatch 日誌回報涉及的 Pod 和節點。
  3. 卡住工作偵測功能會找出已停止進展的 Slurm 工作。每個節點上的代理程式會監察工作的輸出和 GPU 活動,或你定義的日誌模式。它會在 CloudWatch 寫入事件,並可取消工作,讓 Slurm 將工作重新排入佇列。

為何單靠節點健康狀況並不足夠

HyperPod 現有的復原功能一次只檢查一個節點。健康監控代理程式(HMA)會監察每個節點的 GPU 錯誤,例如 Xid 和 NVLink 故障、Elastic Fabric Adapter(EFA)錯誤,以及核心錯誤。InstanceStress 深度健康檢查會執行 DCGM 第 4 級診斷,測試每個執行個體的 GPU、GPU 記憶體、NVLink 和 EFA 裝置。InstanceConnectivity 檢查會在 GPU 執行個體之間執行 NCCL 測試,或在 AWS Trainium 上執行 NCCOM 測試。這些檢查合起來可確認每個節點的硬件運作正常,但無法顯示 GPU 是否能正確運算、工作是否仍有進展,或叢集的 Kubernetes 元件是否健康。以下三類故障仍可能漏過這些檢查:

  • 數值故障 – GPU 即使通過所有硬件測試,仍可能計算出錯誤結果。生產環境執行時,NaN 或無限損失值往往是首個跡象。Meta 將其 Llama 3 405B 為期 54 天的預訓練工作中,419 次意外中斷裡的 6 次歸因於靜默資料損毀(Llama 3 模型羣)。
  • 卡住的作業 – NCCL 逾時、資料管道停滯或死鎖,都可能令作業停止,卻不會結束。作業會繼續佔用 GPU 及其記憶體,而 Slurm 會一直將它顯示為執行中,直至有人查看損失曲線或記錄檔。
  • 叢集層級故障 – 有些故障發生在 Kubernetes,而非節點硬件上。裝置外掛程式不斷崩潰並重新啟動、必要的 DaemonSet 始終未能在新節點上啟動,或不同節點上的 rank 在 NCCL 集體通信操作中失去同步。HMA 會逐一檢查每個節點,因此無法發現這些問題。作業失敗時,錯誤訊息通常不會指出是哪個 pod 或節點導致問題。

解決方案概覽

每項功能涵蓋訓練流程中的不同階段。MultiNodeTrainingValidation會在配置執行個體時或按需執行,確認其 GPU 能正確進行訓練。卡住作業偵測會與每個 Slurm 作業一同執行,並找出停止取得進展的作業。HyperPod Kubernetes Resource Monitoring Agent 會持續監察叢集,並在作業失敗時回報涉及的 pod 和節點。下表概述這三項功能。

功能 偵測的問題 執行時機 適用平台
MultiNodeTrainingValidation 深度健康檢查 在通過硬件檢查的 GPU 上出現 NaN 或無限損失,或訓練未能在時限內完成 建立或更新執行個體時,或按需執行 EKS 叢集,適用於支援 EFA 的 NVIDIA GPU 執行個體
HyperPod Kubernetes Resource Monitoring Agent 節點狀況變更、pod 和 DaemonSet 故障,以及訓練作業失敗,並列出涉及的 pod 和節點。亦會監察選擇啟用此功能的作業之 NCCL 通信狀態 持續執行 EKS 叢集
卡住作業偵測 停止取得進展但未結束的作業 每個作業執行期間 Slurm 叢集

卡住作業偵測是 Slurm 叢集的新功能。在 EKS 叢集上,HyperPod 已會偵測透過 HyperPod training operator 執行的卡住作業,而 Ray Train 作業則預設啟用卡住偵測。我們會在「卡住作業偵測」一節介紹這兩種選項。

每項功能針對有效吞吐量損失的不同來源。排程有效吞吐量是作業所需的所有資源皆可用的時間比例。執行階段有效吞吐量是這段時間內作業能持續推進的時間比例。程式有效吞吐量是作業取得的硬件峯值效能比例。下表列出各項功能的影響。

功能 排程有效吞吐量 執行階段有效吞吐量 程式有效吞吐量
MultiNodeTrainingValidation 未能通過訓練測試的執行個體會被標記;若啟用自動節點復原,這些執行個體會被替換,避免作業在會產生無效輸出的硬件上啟動 減少正式訓練作業因故障 GPU 產生 NaN 或無限損失而失敗的情況 標記訓練未能在時限內完成的執行個體
HyperPod Kubernetes Resource Monitoring Agent 回報失去 GPU 或 EFA 裝置、缺少裝置外掛程式或帶有污點的節點,讓你能更快恢復容量 指出導致作業失敗的 pod 和節點,讓你更快找出原因並重新啟動作業 沒有直接影響
卡住作業偵測 沒有直接影響 數分鐘內即可標記卡住的作業,而非等待數小時;亦可取消作業,讓 Slurm 將其重新排入佇列 沒有直接影響

假設有一項預訓練工作在 32 個 ml.p5.48xlarge 執行個體上執行(共 256 個 NVIDIA H100 GPU)。如果工作在凌晨 1:00 停滯,直到上午 9:00 才有人察覺,便會浪費 256 個執行個體小時或 2,048 個 GPU 小時。按美國東部(北維珍尼亞)SageMaker HyperPod 隨需價格每個執行個體小時約 $66 計算,這次停滯的成本約為 $16,900。設定 15 分鐘工作停滯偵測規則後,HyperPod 會取消停滯的工作,並由 Slurm 重新排入佇列。這次停滯的成本便約為 $530,節省約 $16,400。

透過 MultiNodeTrainingValidation 深度健康檢查驗證訓練是否正確

MultiNodeTrainingValidation 深度健康檢查會執行固定且已知運作正常的工作負載,先在每個執行個體上執行,再跨執行個體執行。它能找出通過 InstanceStress 和 InstanceConnectivity 檢查,但在協同訓練時產生 NaN 或無限訓練損失的 GPU。如果執行個體未能通過檢查,HyperPod 會將其標記為失敗;如果已啟用自動節點復原功能,便會重新啟動或取代該執行個體。如果在佈建期間執行檢查,這些處理會在工作可以使用該執行個體之前完成。

運作方式

MultiNodeTrainingValidation 在深度健康檢查中加入兩項測試:

  • Tiny Megatron 測試:在每個執行個體的所有 GPU 上執行簡短的 Megatron-LM 訓練。
  • Megatron 測試:在相同類型的多個執行個體上執行相同工作負載,並透過 EFA 通訊。

如果訓練損失變成 NaN 或無限值,或訓練未能在時限內完成,任一項測試都會判定執行個體失敗。工作負載固定不變,因此測試失敗表示問題出在硬件,而非模型或程式碼變更。

下表説明這些檢查如何與其他深度健康檢查配合。

檢查 執行項目 可找出的問題
InstanceStress GPU 和 NVLink 數量、DCGM 等級 4 診斷,以及 EFA 延遲和頻寬測試(Trainium 上則執行 Neuron 測試) 硬件缺失、故障或不穩定
InstanceConnectivity 跨 GPU 執行個體的 NCCL 測試(Trainium 上則執行 NCCOM) 執行個體之間的通訊緩慢或故障
MultiNodeTrainingValidation 在每個執行個體上執行 Tiny Megatron 測試,並跨執行個體執行 Megatron 測試 GPU 雖能運作,但訓練不正確:訓練損失為 NaN 或無限值,或訓練未能及時完成

先決條件

你需要具備以下條件:

  • 由 Amazon EKS 編排的 Amazon SageMaker HyperPod 叢集。
  • 一個採用支援的 EFA 啟用型 NVIDIA GPU 執行個體類型的執行個體羣組,例如 ml.p5.48xlarge。Megatron 測試會跨相同類型的執行個體執行。

為執行個體羣組啟用 MultiNodeTrainingValidation

HyperPod 在建立或更新執行個體時會執行深度健康檢查。如要加入 MultiNodeTrainingValidation,請在傳入 create-cluster 或 update-cluster 的執行個體羣組設定中的 OnStartDeepHealthChecks 加入該項目。我們已啟用全部三項檢查:

{
    "InstanceGroupName": "<instance-group>",
    "InstanceType": "ml.p5.48xlarge",
    "InstanceCount": 2,
    "LifeCycleConfig": {
        "SourceS3Uri": "s3://<bucket>/<prefix>",
        "OnCreate": "on_create.sh"
    },
    "ExecutionRole": "arn:aws:iam::<account-id>:role/<hyperpod-execution-role>",
    "OnStartDeepHealthChecks": [
        "InstanceStress",
        "InstanceConnectivity",
        "MultiNodeTrainingValidation"
    ]
}

如要確認設定,請執行以下命令:

aws sagemaker describe-cluster \
    --cluster-name <cluster-name> \
    --query "InstanceGroups[?InstanceGroupName=='<instance-group>'].OnStartDeepHealthChecks"

輸出會列出三項檢查:

[
    [
        "InstanceStress",
        "InstanceConnectivity",
        "MultiNodeTrainingValidation"
    ]
]

按需執行 MultiNodeTrainingValidation

你也可以檢查叢集中已有的執行個體,例如在進行長時間預訓練之前。請使用 StartClusterHealthCheck API:

aws sagemaker start-cluster-health-check \
    --cluster-name <cluster-name> \
    --deep-health-check-configurations \
    '[{"InstanceGroupName": "<instance-group>", "DeepHealthChecks": ["MultiNodeTrainingValidation"]}]'

如要檢查指定的執行個體而非整個羣組,請在設定中加入 "InstanceIds": [...]。

檢查結果

HyperPod 會在叢集的 CloudWatch 日誌羣組 /aws/sagemaker/Clusters/<cluster-name>/<cluster-id> 中,將每項測試的結果各寫入一行至 DeepHealthCheckResults/<id> 日誌串流。以下是我們在兩個 ml.p5.48xlarge 執行個體上執行測試時的日誌串流。TINY_MEGATRON 和 MEGATRON 是兩項 MultiNodeTrainingValidation 測試:

2026-11-11T10:58:33Z Deep health check configuration validation passed
2026-11-11T11:01:41Z 2 out of 2 nodes succeeded HARDWARE_CHECK test. Instance IDs: [i-0a1b2c3d4e5f60001 i-0a1b2c3d4e5f60002]
2026-11-11T12:16:07Z 2 out of 2 nodes succeeded DCGM test. Instance IDs: [i-0a1b2c3d4e5f60001 i-0a1b2c3d4e5f60002]
2026-11-11T12:17:14Z 2 out of 2 nodes succeeded EFA test. Instance IDs: [i-0a1b2c3d4e5f60001 i-0a1b2c3d4e5f60002]
2026-11-11T12:21:16Z 2 out of 2 nodes succeeded TINY_MEGATRON test. Instance IDs: [i-0a1b2c3d4e5f60001 i-0a1b2c3d4e5f60002]
2026-11-11T12:22:25Z 0 nodes failed NCCL test at batch size 2. Instance IDs: []
2026-11-11T12:22:29Z 2 out of 2 nodes succeeded NCCL test. Instance IDs: [i-0a1b2c3d4e5f60001 i-0a1b2c3d4e5f60002]
2026-11-11T12:26:31Z 0 nodes failed MEGATRON test at batch size 2. Instance IDs: []
2026-11-11T12:26:31Z 2 out of 2 nodes succeeded MEGATRON test. Instance IDs: [i-0a1b2c3d4e5f60001 i-0a1b2c3d4e5f60002]

執行完成後,每個執行個體都會以節點標籤記錄結果:

kubectl get nodes \
    -l sagemaker.amazonaws.com/instance-group-name=<instance-group> \
    -L sagemaker.amazonaws.com/deep-health-check-status

NAME STATUS ROLES AGE VERSION DEEP-HEALTH-CHECK-STATUS
hyperpod-i-0a1b2c3d4e5f60001 Ready <none> 120m v1.34.2-eks-ecaa3a6 Passed
hyperpod-i-0a1b2c3d4e5f60002 Ready <none> 120m v1.34.2-eks-ecaa3a6 Passed

如要查看訓練詳情,請閲讀執行個體上的 /var/log/aws/clusters/sagemaker-deep-health-check.log,例如透過 AWS Systems Manager 工作階段查看。在執行 rank 0 的執行個體上,日誌結尾會列出 Megatron 測試的摘要:

CONVERGENCE TEST PASSED
Completed 300 training iterations in 161.5s
Training forward steps: 300
Evaluation forward steps: 20
Total forward steps: 320
Final training loss: 3.6213
Initial training loss: 11.5671
Loss reduction: 7.9458
Training iterations per second: 1.86

另一個執行個體的記錄檔每次迭代都有一行,列出損失值及累計的 NaN 迭代次數:

iteration 300/ 300 | consumed samples: 9600 | elapsed time per iteration (ms): 509.5 |
learning rate: 1.000E-04 | global batch size: 32 | lm loss: 3.397480E+00 | loss scale: 1.0 |
grad norm: 1.386 | number of skipped iterations: 0 | number of nan iterations: 0 |

在我們的測試中,損失值在 300 次迭代內由 11.57 降至 3.62,沒有出現 NaN 或跳過迭代的情況;使用 16 張 H100 GPU 時,每次迭代約需 507 毫秒。

MultiNodeTrainingValidation 所需時間

在我們的雙節點叢集中,執行個體完成生命週期指令碼後,完整的深度健康檢查耗時 1 小時 28 分鐘。當中大部分時間用於 DCGM 第 4 級診斷。兩項 MultiNodeTrainingValidation 測試另外增加約 8 分鐘。檢查完成前,執行個體無法承接工作負載,因此新增容量時請預留這段額外時間。

測試 檢查 距離上次結果的時間
HARDWARE_CHECK InstanceStress 3 分鐘
DCGM(第 4 級) InstanceStress 74 分鐘
EFA InstanceStress 1 分鐘
TINY_MEGATRON MultiNodeTrainingValidation 4 分鐘
NCCL InstanceConnectivity 1 分鐘
MEGATRON(2 個執行個體) MultiNodeTrainingValidation 4 分鐘

請注意,MultiNodeTrainingValidation 會使用固定的參考工作負載測試硬件。測試通過表示執行個體能正確執行該工作負載,但不保證你自己的作業能收斂。我們建議在新容量、替換的執行個體,以及長時間預訓練作業開始前執行此測試。

使用 HyperPod Kubernetes Resource Monitoring Agent 捕捉叢集層級故障

HMA 會監察每個節點的硬件,但許多導致訓練作業停止的故障都發生在 Kubernetes 中。裝置外掛程式可能陷入反覆崩潰重啟,直到其節點不再向排程器提供 GPU;污點也可能令作業的 Pod 被驅逐。作業錯誤很少指出涉及的 Pod 或節點,因此工程師只能從 kubectl 輸出、各 rank 的記錄檔和時間戳記拼湊事發經過。

HyperPod Kubernetes Resource Monitoring Agent 會在叢集內集中監察這些資源。發生故障時,它會告知你哪些項目有所變更,以及哪些節點、Pod 和作業受到影響。它會透過 Kubernetes 事件和結構化的 CloudWatch 記錄檔回報。此 Agent 只會回報狀況,不會重新啟動節點或作業,因為問題可能出在工作負載本身。硬件故障仍由 HMA 和 HyperPod 節點復原機制處理,而 HyperPod training operator 則繼續負責重新啟動作業。

Agent 的運作方式

此 Agent 在 aws-hyperpod 命名空間中以每個叢集一個 Pod 的方式執行,並優先使用 CPU 節點,因此不會佔用 GPU 容量。它會監察以下項目:

  • Nodes: The agent reports these changes:
    • 狀況變更,例如 NotReady,或記憶體、磁碟或 PID 壓力。
    • 可分配的 GPU 或 EFA 裝置數量減少。
    • NVIDIA 功能標籤遺失。
    • 新增、變更或移除的污點。
    • HyperPod 標籤遺失。
  • 關鍵基礎設施 Pod:kube-system、aws-hyperpod 和 kubeflow 中的 DaemonSet Pod,以及訓練運算子的控制器。Agent 會回報反覆崩潰重啟、重新啟動、容器錯誤,以及持續處於未就緒狀態的 Pod。
  • DaemonSet:缺少或沒有可用 Pod 的必要 DaemonSet、停滯的部署更新,以及在已不再允許其執行的節點上運行的 Pod。
  • 訓練作業:HyperPodPyTorchJob、Kubeflow PyTorchJob (v1) 和 Kubeflow TrainJob (v2)。作業失敗時,Agent 會連同作業涉及的 Pod 和節點記錄失敗原因。
  • NCCL 通訊:對於選擇啟用此功能的作業,Agent 會從 NCCL 內置的可靠性、可用性與可維修性(RAS)子系統讀取作業的 NCCL 通訊器狀態。

Agent 會在以下兩處回報偵測結果:

  • Kubernetes 事件:在受影響的節點、Pod、DaemonSet 或作業上發佈事件。Warning 事件表示出現問題,Normal 事件表示問題已復原。你可以使用 kubectl get events 和 kubectl describe 查看。
  • 叢集 CloudWatch 日誌羣組中的 結構化 JSON 日誌,可在 Kubernetes 事件過期後保留歷史記錄。

下表列出最常見的事件。

事件原因 觸發時機
TrainingJobFailed HyperPodPyTorchJob 或 Kubeflow 作業失敗。訊息會包含作業 operator 提供的失敗原因。
CriticalPodCrashLoop, CriticalPodRestarted 裝置外掛程式、HMA 或其他關鍵 Pod 反覆崩潰或重新啟動。
NecessaryDaemonSetMissing 你指定為必要的 DaemonSet 不存在,或沒有可用的 Pod。
NodeResourceDegraded 節點可分配的 GPU 或 EFA 裝置減少或消失。
NodeConditionDegraded 節點變成 NotReady,或回報記憶體、磁碟或 PID 壓力。
NodeTaintAdded, NoExecuteTaintApplied 節點被加上污點。若是 NoExecute 污點,日誌會列出可能被逐出的 Pod 和作業。
DaemonSetMisscheduled DaemonSet Pod 正在不再允許其執行的節點上運行。
NodeRecovered, PodRecovered, DaemonSetRecovered 先前回報的問題已解除。

完整事件清單請參閲文件。

先決條件

你需要具備以下條件:

  • 由 Amazon EKS 編排的 SageMaker HyperPod 叢集。
  • 如要使用現有叢集,你需要有權使用該叢集的 kubectl 和 Helm,並從 sagemaker-hyperpod-cli 儲存庫取得 HyperPod Helm chart。
  • 如果要監察 NCCL 通訊,訓練容器須使用 NCCL 2.24 或更新版本。

安裝並驗證代理程式

如果叢集已使用 HyperPod Helm chart,請先套用代理程式的自訂資源定義(CRD),因為 Helm 在升級時不會安裝 CRD。然後啟用代理程式並升級 release:

git clone https://github.com/aws/sagemaker-hyperpod-cli.git
cd sagemaker-hyperpod-cli/helm_chart
helm dependencies update HyperPodHelmChart

kubectl apply \
    -f HyperPodHelmChart/charts/hyperpod-kubernetes-resource-monitor/crds/

helm upgrade dependencies HyperPodHelmChart \
    --namespace kube-system \
    --reset-then-reuse-values \
    --set hyperpod-kubernetes-resource-monitor.enabled=true \
    --set hyperpod-kubernetes-resource-monitor.region=<region>

升級亦會將 chart 中的其他 HyperPod 元件(例如 HMA 和裝置外掛程式)更新至 chart 的目前版本。若要先查看變更內容,請使用 --dry-run=server 執行相同指令。

確認代理程式正在運行,而且健康狀態報告已生成:

kubectl get deployment \
    -n aws-hyperpod \
    hyperpod-kubernetes-resource-monitoring-agent

kubectl get hyperpodkrmaconfigs default -o yaml

健康狀態報告會列出代理程式追蹤的 HyperPod 元件(例如 HMA),以及各元件狀態上次變更的時間:

status:
  components:
    - name: DaemonSet/aws-hyperpod/health-monitoring-agent
      since: "2026-11-10T16:47:57Z"
      status: Healthy
      instances: []
  lastReportTime: "2026-11-10T17:19:36Z"

預設情況下,只有 HMA 是必要的 DaemonSet。如果叢集使用 HyperPod Helm chart 中的裝置外掛程式,請將它們加入清單,讓代理程式在外掛程式缺失時發出報告。亦請加入訓練作業運行所在的命名空間,讓代理程式將 Pod 失敗與相關作業連結起來。每個清單都會取代預設清單,因此請保留預設項目。將以下內容儲存為 krma-values.yaml:

hyperpod-kubernetes-resource-monitor:
  monitoring:
    monitoredNamespaces:
      - aws-hyperpod
      - kube-system
      - default
      - kubeflow
      - ml-team-a
    necessaryDaemonsets:
      - name: health-monitoring-agent
        namespace: aws-hyperpod
      - name: dependencies-nvidia-device-plugin
        namespace: kube-system
      - name: dependencies-aws-efa-k8s-device-plugin
        namespace: kube-system

然後套用:

helm upgrade dependencies HyperPodHelmChart \
    --namespace kube-system \
    --reset-then-reuse-values \
    -f krma-values.yaml

查看代理程式的報告

為了查看 HyperPod Kubernetes Resource Monitoring Agent 如何處理基礎設施故障,我們在 aws-hyperpod 中部署了一個小型 DaemonSet,將它指定到一個節點,並設定為啟動幾秒後退出。它的行為如同反覆崩潰的裝置外掛程式,但不會影響實際使用的外掛程式。幾秒內,代理程式便在該 Pod 和 DaemonSet 上觸發事件:

kubectl get events -A \
    --field-selector source=hyperpod-kubernetes-resource-monitoring-agent

NAMESPACE TYPE REASON OBJECT MESSAGE
aws-hyperpod Warning CriticalPodRestarted pod/demo-plugin-4wsqw Critical infrastructure pod container crash restarted (count: 2)
aws-hyperpod Warning CriticalPodCrashLoop pod/demo-plugin-4wsqw Critical infrastructure pod container crash in CrashLoopBackOff
aws-hyperpod Warning DaemonSetMisscheduled daemonset/demo-plugin DaemonSet has 1 misscheduled pods

接著,我們執行了一個雙節點 HyperPodPyTorchJob,並讓其中一個 rank 在訓練期間退出。代理程式在該作業上觸發了 TrainingJobFailed 事件:

NAMESPACE TYPE REASON OBJECT MESSAGE
ml-team-a Warning TrainingJobFailed hyperpodpytorchjob/llama-pretrain Training job HyperPod PyTorchJob failed:
Fault detected on training pod llama-pretrain-pod-7dc7c-nh5gb:
A training worker process has crashed: Local Rank 0 exited ...

代理程式亦將失敗資訊連同相關 Pod 和節點寫入 CloudWatch,因此你無須從作業的 Pod 清單中查找這些資料:

{"level":"warn","msg":"=== Job Failure Detected ===","component":"HyperpodPyTorchJob",
"job":"llama-pretrain","namespace":"ml-team-a","type":"HyperPod PyTorchJob",
"reason":"Fault detected on training pod llama-pretrain-pod-7dc7c-nh5gb: A training worker process has crashed ..."}
{"level":"warn","msg":"Affected Pods","component":"HyperpodPyTorchJob",
"pods":["llama-pretrain-pod-7dc7c-nh5gb","llama-pretrain-pod-7dc7c-f9dmg"]}
{"level":"warn","msg":"Affected Nodes","component":"HyperpodPyTorchJob",
"nodes":["hyperpod-i-0a1b2c3d4e5f60001","hyperpod-i-0a1b2c3d4e5f60002"]}

代理程式會將這些日誌寫入叢集日誌羣組 /aws/sagemaker/Clusters/<cluster-name>/<cluster-id>,並存放在名稱為 SageMakerClusterMonitoringAgent/<instance-group>/<instance-id> 的串流中。切換至另一個節點時,代理程式會建立新的串流,因此請按串流前綴篩選。範例查詢請參閲文件。

監察作業的 NCCL 通訊

NCCL 2.24 及之後版本包含可靠性、可用性及可維護性(RAS)子系統。這個子系統是在每個 NCCL 程序中執行的小型監聽器,負責回報作業通訊器的狀態。對選擇啟用此功能的作業,代理程式每 30 秒從每個 Pod 讀取這份報告。

預設情況下,NCCL 會將 RAS 監聽器繫結至 Pod 內的 localhost,代理程式無法連線至該位置。若要為作業啟用此功能,請改為將監聽器繫結至 Pod IP。這樣一來,Pod 網絡上的 28028 連接埠便可連線;NVIDIA 文件指出,這會帶來安全影響。啟用前,請套用 Kubernetes NetworkPolicy,只允許代理程式所在的 Pod 透過 TCP 連接埠 28028 連線,同時仍允許作業本身各 Pod 之間的流量。代理程式的 文件包含政策範例。然後在訓練容器中設定 NCCL_RAS_ADDR:

apiVersion: sagemaker.amazonaws.com/v1
kind: HyperPodPyTorchJob
...
containers:
  - name: pytorch
    env:
      - name: POD_IP
        valueFrom:
          fieldRef: {fieldPath: status.podIP}
      - name: NCCL_RAS_ADDR # set only after the NetworkPolicy is in place
        value: "$(POD_IP):28028"

若要確認設定,請使用 NCCL_DEBUG=INFO 和 NCCL_DEBUG_SUBSYS=INIT,RAS 啟用 NCCL 偵錯記錄。每個 rank 隨後都會記錄 RAS 監聽的位址:

[default3]:llama-pretrain-workers-6c7f5bb445-gxnsf:129:203 [3] NCCL INFO RAS client listening socket at 10.0.1.11<28028>

如果位址是 ::1 或 127.0.0.1,即表示未設定 NCCL_RAS_ADDR,代理程式無法連線至監聽器。

對每個受監察的作業,代理程式會將各 Pod 的結果合併為作業層級的狀態。若每個 Pod 均傳回有效報告,作業狀態為健康;若只有部分 Pod 傳回,則為降級;若沒有任何 Pod 傳回,則為不健康。不健康通常表示訓練程序已停止。

代理程式每次輪詢後都會記錄摘要。在一項使用兩個 ml.p5.48xlarge 執行個體的測試中,每次輪詢均顯示兩個訓練 Pod 狀態正常,間隔 30 秒:

{"level":"info","timestamp":"2026-11-12T07:14:27.163Z","msg":"NCCL RAS monitoring cycle completed","component":"nccl-ras-informer-llama-pretrain","duration":4.00535305,"total_endpoints":2,"healthy":2,"failed":0,"overall_status":"healthy"}

代理程式亦會將每份 RAS 報告寫入 CloudWatch,讓你在作業仍在執行時找出通訊器問題。在測試中,我們令一個雙節點作業中的其中一個 rank 停止呼叫 all_reduce。下一次輪詢的報告顯示通訊器進度不一致,並指出落後的 rank、GPU、程序及節點:

Group Comms Nodes Ranks Ranks Ranks Status Errors
# in group per comm per node per comm in group
0 1 2 1 2 2 RUNNING MISMATCH

#0-0 (2958ae23ccc57a88) MISMATCH
Communicator ranks have different AllReduce operation counts
Rank 0 has launched up to operation 3078 -- GPU 0 managed by process 473 on node 10.0.1.11
Rank 1 has launched up to operation 3077 -- GPU 0 managed by process 474 on node 10.0.2.22

Rank 1 比 rank 0 落後一項操作,因此應先檢查節點 10.0.2.22 上 Rank 1 的 GPU。

在 HyperPod Slurm 叢集上偵測並復原卡住的作業

訓練作業可能會卡住,但不會結束。NCCL 逾時、資料管道停滯或死鎖,都可能令作業佔用 GPU,但 Slurm 仍顯示作業正在執行。直到有人發現損失值或記錄檔不再變動,作業都會維持這種狀態。使用 Slurm 的團隊通常會自行編寫監察程式指令碼及設定警示來偵測這類作業,之後還需要持續維護。

今日,我們推出適用於 SageMaker HyperPod Slurm 叢集的卡住作業偵測功能。它會找出這類作業,將事件寫入 CloudWatch,亦可取消卡住的作業,讓 Slurm 將作業重新放入佇列。你可以為每個作業設定一個指向小型規則檔案的環境變數,以啟用此功能。這項功能無需更改訓練指令碼或容器,並適用於 PyTorch、TensorFlow、JAX 及自訂指令碼。

卡住作業偵測的運作方式

卡住作業偵測功能會以代理程式形式在每個節點上執行,預設為關閉。代理程式只會監察將環境變數 HYPERPOD_HANG_RULES 設定為規則檔案路徑的作業。規則檔案會決定代理程式如何偵測卡住情況:

  • 預設偵測 會監察作業的標準輸出和 GPU 活動。如果輸出在一段時間內停止,而 GPU 閒置但仍佔用記憶體,便會判定作業卡住。這正是 rendezvous 卡住的情況:一個節點失效,其他節點則在同步屏障處等待。無論 GPU 正在做甚麼,如果輸出停止的時間更長,也會判定作業卡住。在我們的測試中,第一種情況在作業最後一次輸出後 15 分鐘觸發。
  • 自訂規則會按你指定的正規表示式監察日誌。若訓練步驟訊息等日誌行未在指定的逾時時間內出現,進度規則便會判定工作停滯。若出現 NCCL 錯誤等日誌行,錯誤規則便會立即判定工作停滯。自訂規則會取代該工作使用的預設偵測方式。
預設偵測 自訂規則
使用以下設定啟用 {“enabled”: true} 一條或多條已啟用的 log_pattern 規則
判定工作停滯的條件 GPU 閒置但仍佔用記憶體時輸出停止,或輸出停止的時間較長 進度模式未在指定的逾時時間內出現,或出現錯誤模式
無法偵測 持續佔用 GPU 但沒有進展的工作,例如陷入迴圈的工作 規則模式未涵蓋的停滯情況。如果某個模式持續符合,即使 GPU 閒置,也不會判定工作停滯。

代理程式判定工作停滯時,會將一則 HANG_DETECTED 事件寫入 CloudWatch。如果規則檔案將動作設為 cancel,代理程式亦會取消工作,並由 Slurm 將工作重新排入佇列。使用預設動作 notify 時,代理程式只會寫入事件,並讓工作繼續執行。

停滯工作偵測與自動恢復功能分開運作;自動恢復會在工作因硬件故障而結束後重新啟動工作。自動恢復處理發生崩潰的工作,而停滯工作偵測則處理持續執行但沒有進展的工作。

在由 Amazon EKS 編排的 HyperPod 叢集上,HyperPod 已會在兩種情況下偵測停滯工作。HyperPod 訓練運算子會按工作規格中的規則檢查每個 HyperPodPyTorchJob 的日誌,並在工作停滯時重新啟動工作。同一組規則亦可在工作吞吐量下降或損失值飆升時重新啟動工作。這項功能不需要 Ray。對於 Ray Train 工作,適用於 Ray 的 HyperPod 停滯工作偵測預設會監察每個工作節點,無須更改程式碼。

先決條件

你需要具備以下項目:

  • 由 Slurm 編排的 SageMaker HyperPod 叢集。
  • 於 November 10, 2026 或之後發佈的 HyperPod Slurm AMI,其中包含停滯工作偵測功能。在該日期或之後建立的叢集已具備此功能。若要在不更新現有叢集的情況下檢查叢集,請在叢集節點上執行 srun --help。如果輸出列出 --no-hang-detection,即表示叢集支援停滯工作偵測。如果沒有,請先更新叢集軟件。更新會取代每個執行個體的根磁碟區,因此請在更新前備份儲存在其中的所有資料。
  • 工作中的每個運算節點都能以相同路徑讀取的規則檔案。代理程式會在每個節點上從該路徑讀取檔案。Amazon FSx for Lustre 或 Amazon Elastic File System (Amazon EFS) 等共享儲存空間是直接簡便的選擇。如要將規則檔案存放在 Amazon Simple Storage Service (Amazon S3),請將檔案複製到每個節點的相同路徑,例如在生命週期指令碼中進行複製。如果打算使用 /opt/slurm 等目錄,請先確認該目錄在各節點之間共享,而非每個節點各自的本機目錄。

啟用停滯工作偵測

在共享儲存空間建立規則檔案。最精簡的有效檔案即可啟用預設偵測:

echo '{"enabled": true}' > /fsx/my-project/rules.json
chmod 600 /fsx/my-project/rules.json

代理程式會使用作業指定的規則檔,而且不會檢查檔案擁有者。任何能編輯該檔案,或在其所在目錄中替換該檔案的人,都可以更改所有使用該檔案的作業的偵測方式,甚至令代理程式取消這些作業。範例中的 chmod 600 可確保個人規則檔只有擁有者能存取。若團隊共用同一個檔案,請使用 chmod 644,讓團隊成員可以讀取,並只有維護者可以編輯。在這兩種情況下,上層目錄都應只允許擁有者寫入,以免其他人替換檔案。

提交作業時,請指定規則檔:

#!/bin/bash
#SBATCH --job-name=llama-pretrain
#SBATCH --nodes=4
#SBATCH --export=ALL,HYPERPOD_HANG_RULES=/fsx/my-project/rules.json

srun python train.py

若要讓多個作業使用同一個規則檔,也可以在 shell 設定檔或全站設定檔指令碼中設定 HYPERPOD_HANG_RULES。

受監控的作業啟動時,輸出的首幾行會顯示代理程式已登記該作業:

[Auto Resume] Info: [hang_detection] Exported stdout path for job 1: /fsx/my-project/llama-pretrain-1.out
[Auto Resume] Info: [hang_detection] Registered job step: job=1 step=0 node=ip-10-1-40-47

規則檔無效時也會出現這些行,因此請按照下一節所述,亦在 CloudWatch 中檢查 CONFIG_ERROR 事件。

加入自訂規則以追蹤訓練進度

預設偵測無法識別持續佔用 GPU、卻沒有取得進展的作業,因此我們建議至少設定一條規則,監察訓練步數或 epoch。以下規則檔會在 45 分鐘內沒有任何 epoch 完成時取消作業,或在出現 NCCL 錯誤時立即取消作業:

{
    "enabled": true,
    "rules": [
        {
            "name": "epoch_progress",
            "type": "log_pattern",
            "enabled": true,
            "log_pattern": "Epoch \\d+/\\d+ complete",
            "start_timeout_minutes": 30,
            "timeout_minutes": 45,
            "stop_pattern": "Training complete"
        },
        {
            "name": "nccl_error",
            "type": "log_pattern",
            "enabled": true,
            "log_pattern": "NCCL error",
            "fault_on_match": true
        }
    ],
    "action_policy": {
        "action": "cancel"
    }
}

各欄位的作用如下:

  • 每條規則的 enabled 都要設為 true。規則預設為關閉。
  • start_timeout_minutes 表示模式首次出現前,作業可以執行多久。設定的時間應長於作業載入模型、編譯及還原檢查點所需的時間。
  • timeout_minutes 表示模式首次出現後,可以持續多久不再出現。設定的時間應長於最長的正常間隔,包括儲存檢查點及評估所需的時間。
  • stop_pattern 會在規則符合時停用該規則,避免訓練結束後的工作被標記。
  • fault_on_match 用來標示錯誤模式。符合一次便表示作業已卡住。

代理程式預設會讀取作業的 Slurm 輸出檔。若要監察其他檔案,請設定 monitoring.log_file。若要減少誤報,可在規則中設定 metric_evaluation_data_points,要求連續數次 10 秒檢查都未通過,代理程式才會判定作業卡住。規則檔最多可包含 20 條規則,大小上限為 1 MB。

調校逾時時間及模式時,請先使用 "action": "notify";待事件能準確反映實際卡住的情況後,再切換至 cancel。

在 CloudWatch 查看作業卡住偵測事件

HyperPod 會從控制器節點將偵測事件寫入叢集的 CloudWatch 日誌羣組 /aws/sagemaker/Clusters/<cluster-name>/<cluster-id>,串流為 SageMakerHangJobDetectionEvents/<controller-instance-group>/<controller-instance-id>。所有作業的事件都會寫入此串流,不論作業在哪個節點執行。若要查找某個作業的事件,請按其作業 ID 篩選:

aws logs filter-log-events \
    --log-group-name /aws/sagemaker/Clusters/<cluster-name>/<cluster-id> \
    --log-stream-name-prefix SageMakerHangJobDetectionEvents/ \
    --filter-pattern '{ $.job_id = "12345" }'

我們在有兩個 ml.p5.48xlarge 執行個體的 HyperPod Slurm 叢集上測試了各種偵測方法。第一個測試作業分配 GPU 記憶體後,便停止輸出。預設偵測在作業最後一次輸出 15 分鐘後將其標記為卡住:

{
    "time": "2026-11-12T16:49:36.39710952Z",
    "level": "INFO",
    "msg": "HANG_DETECTED",
    "event_type": "HANG_DETECTED",
    "job_id": "1",
    "step_id": "0",
    "node": "ip-10-1-40-47",
    "evidence": "stdout stale for 15 min and GPU idle with memory allocated",
    "layer": "signal_evaluator",
    "detected_at": "2026-11-12T16:49:36.378940227Z",
    "job_action": "notify",
    "config_source": "per_job_env_var"
}

layer 欄位會顯示觸發了哪種方法:signal_evaluator 代表預設偵測,pattern_evaluator 代表自訂規則。在第二次測試中,設有 2 分鐘逾時時間的進度規則,在作業完成最後一個步驟 2 分鐘後觸發。在第三次測試中,錯誤規則在作業輸出 NCCL 錯誤行後約一秒觸發。由於該規則檔使用了 cancel,代理程式亦寫入了 HANG_ACTION_TAKEN 事件,記錄 Slurm 採取的動作(我們省略了 time、level 和 msg 欄位):

{"event_type":"HANG_DETECTED","job_id":"3","step_id":"0","node":"ip-10-1-40-47","evidence":"rule \"nccl_error\": fault pattern matched immediately","layer":"pattern_evaluator","detected_at":"2026-11-12T16:34:41.870908329Z","job_action":"cancel","config_source":"per_job_env_var"}
{"event_type":"HANG_ACTION_TAKEN","job_id":"3","action":"requeue","node":"ip-10-1-40-47","instance_id":"i-0a1b2c3d4e5f60001"}

Slurm 將作業重新排入佇列,重新排入佇列的作業約 2.5 分鐘後開始執行。sacct 顯示了兩次執行:

$ sacct --duplicates -X -j 3 --format=JobID,State,Restarts,Start,End
JobID State Restarts Start End
----------- --------- ------- ------------------- -------------------
3 REQUEUED 0 2026-11-12T16:34:25 2026-11-12T16:34:41
3 COMPLETED 1 2026-11-12T16:37:10 2026-11-12T16:37:26

Slurm 會按叢集的 MaxBatchRequeue 上限重新排入作業,該上限在我們的叢集中是 5。使用 #SBATCH --no-requeue 提交的作業則回報 "action": "cancel",並維持已取消狀態。使用 notify 時,不會有 HANG_ACTION_TAKEN 事件。代理程式會在 HANG_DETECTED 後記錄一筆內容為 Hang notification sent, no automatic action taken 的記錄。

如果規則檔案遺失或無效,代理程式便不會監控作業,而會改為寫入 CONFIG_ERROR 事件。以下是規則檔案含有 JSON 語法錯誤時的事件:

{"event_type":"CONFIG_ERROR","job_id":"5","node":"ip-10-1-40-47","config_path":"/fsx/my-project/rules.json","error":"config file found but failed to load: load failed: invalid JSON in config file /fsx/my-project/rules.json: unexpected end of JSON input","message":"Hang detection rules file is invalid and will not be applied. Please fix the rules file and resubmit your job."}

作業在沒有監控的情況下執行至完成,而 sbatch、squeue 和作業輸出中都沒有任何內容。使用短時間作業測試新的規則檔案,並在用於正式作業前,檢查是否出現此事件。

在 notify 模式下,作業會繼續執行,直至有人處理該事件。要接收警示,請建立 CloudWatch 指標篩選器以篩選 HANG_DETECTED 事件,並建立一個會向 Amazon Simple Notification Service (Amazon SNS) 主題發出通知的警示:

aws logs put-metric-filter \
    --log-group-name /aws/sagemaker/Clusters/<cluster-name>/<cluster-id> \
    --filter-name hung-jobs \
    --filter-pattern '{ $.event_type = "HANG_DETECTED" }' \
    --metric-transformations \
    metricName=HungJobsDetected,metricNamespace=HyperPod/HungJobs,metricValue=1

停用停滯作業偵測

要停用原本會繼承 HYPERPOD_HANG_RULES 的作業之偵測功能,請將 --no-hang-detection 加入 srun,或加入 sbatch,以涵蓋作業中的每個步驟。要為所有使用規則檔案的作業停用此功能,請在檔案中設定 "enabled": false。正在執行的作業會保留目前的設定,而變更只會套用於之後提交的作業。

srun --no-hang-detection python train.py

結論

節點健康狀態對可靠的分散式訓練至關重要,但不足以全面反映工作負載的健康狀況。MultiNodeTrainingValidation 可偵測通過硬件診斷、但產生無效訓練結果的執行個體。HyperPod Kubernetes Resource Monitoring Agent 會將 Kubernetes 基礎設施故障與相關作業、Pod 及節點連繫起來。停滯作業偵測可識別停止取得進展後仍保持運行的 Slurm 作業,並可自動將其放回佇列。

這些功能相輔相成,有助更早偵測故障、縮短調查時間,並減少耗用於無法取得有效進展的工作負載的 GPU 時間,從而提升有效吞吐量。增加或重新驗證容量時,請使用 MultiNodeTrainingValidation;在受支援的 Amazon EKS 叢集上持續執行 HyperPod Kubernetes Resource Monitoring Agent;並先以 notify 模式開始使用停滯作業偵測,再切換至自動取消。請參閲 Amazon EKS 的 SageMaker HyperPod 韌性説明文件及 Slurm 的停滯作業偵測説明文件,瞭解如何開始使用。請瀏覽 Amazon SageMaker HyperPod 產品頁面,瞭解更多資訊。


作者簡介

Roy Allela

Roy Allela

Roy 是 AWS 首席 AI/ML 專業解決方案架構師。他與 AWS 客戶合作,協助初創公司以至大型企業在 AWS 上高效訓練及部署基礎模型。他的專業背景是微處理器工程。他熱衷於計算最佳化問題,以及提升 AI 工作負載的效能。

Xin Wang

Xin Wang

Xin 是 Amazon SageMaker HyperPod 的資深軟件工程師,負責韌性相關功能。

Kethan Gaddam

Kethan Gaddam

Kethan 是 AWS 的軟件開發工程師,負責 Amazon SageMaker HyperPod。Kethan 專注於 Slurm 和 Amazon EKS 大規模分散式訓練的叢集韌性,協助客戶偵測故障並從中恢復,同時盡量縮短停機時間。

Shreyas Adiyodi

Shreyas Adiyodi

Shreyas 是 AWS 的產品經理,常駐西雅圖。他專注於在 SageMaker HyperPod 上支援生成式 AI 模型開發,並與客戶合作,簡化叢集佈建、加快基礎模型訓練,以及加強安全性與合規性。工作以外,他喜歡下棋、MMA 和看電影。

Pradeep Cruz

Pradeep Cruz

Pradeep 是 AWS 資深軟件開發經理,負責企業級 AI、訓練、推理及模型自訂所需的 SageMaker HyperPod 基礎設施。他擁有逾 20 年經驗,曾在 AWS、T-Mobile 及 Ericsson 推動關鍵 AI/ML 平台從 0 到 1 發展。他是分散式系統及基礎設施專家,持有 Michigan Ross 的 MBA 學位。

Dhawal Parkar

Dhawal Parkar

Dhawal 是 AWS 軟件開發經理,負責 Amazon SageMaker HyperPod。他領導工程團隊,負責叢集韌性、健康管理及可觀測性,協助客戶在大型 GPU 及 Trainium 叢集上訓練基礎模型並提供模型服務,同時確保高可靠性及極短停機時間。

來源:AWS Machine Learning Blog · aws.amazon.com