NVIDIA 發佈 Cosmos3-H-Dreams，將生成式模擬帶入臨牀手術場景

想像在一個能即時回應的生成式手術場景中，移動 Cadiere 抓鉗、夾住膽囊並將其提起。今天，我們踏出下一步，推出 Cosmos3-H-Dreams，將互動式生成模擬帶入臨牀手術在視覺與程序層面的複雜情境，並呈現迄今最逼真的體內影像。

我們首個 Cosmos-H-Dreams 版本以 Cosmos-Predict2.5 為基礎，將互動式生成模擬帶到 dVRK 桌面縫合任務，這是手術機械人領域的基礎試驗場。作為世界基礎模型（WFM），Cosmos-H-Dreams 展示了數值模擬以外的另一種方案：它沒有明確建模場景幾何、組織變形及物理互動，而是直接從同步影片及機械人運動學數據中學習視覺動態，從而實現高度逼真的互動式桌面任務模擬。

今天，Cosmos3-H-Dreams 透過學習 CMR Surgical Versius 平台臨牀手術期間錄製的影片及機械人運動學數據，進一步提升這項能力。據我們所知，這是首個以臨牀膽囊切除術錄影訓練、並支援即時運動學控制的生成式手術模擬器。Cosmos3-H-Dreams 由 Cosmos 3 提供支援，並透過 NVIDIA 的加速串流推理程式庫 FlashDreams 加速，可在單張 NVIDIA RTX PRO 6000 GPU 上互動式運行。

1. 從桌面任務到臨牀場景

在 Cosmos-H-Dreams 所使用的受控桌面環境中，器械操作面對的背景相對簡單。然而，在人體內，器械的細微移動也可能影響整個場景：組織會在牽拉下伸展、反光位置會改變、結構會被遮擋，而煙霧會改變可見度。給定初始影像及指定的器械動作後，生成式模擬器必須在生成每個新影片區塊時，呈現這些變化，同時保留解剖結構及器械。細微誤差可能隨時間累積，逐漸改變器械幾何形狀或解剖結構，因此維持時間一致性至關重要。

因此，視覺逼真度只是驗證的起點，並非生物力學準確性的證明。生成的場景亦必須遵循控制指令：平移、旋轉及夾爪指令應帶來連貫的解剖結構變化。若模擬結果看似合理，卻忽略這些指令，就無法作為互動環境。

要在即時控制迴路中維持這種保真度及回應能力，需要低延遲生成。Cosmos3-H-Dreams 透過專門針對臨牀膽囊切除術的模型，並經蒸餾以支援即時生成，應對這種需求，讓模型能在解剖結構複雜、組織會移動且存在遮擋的場景中，根據動作進行互動。

2. Cosmos3-H-Dreams 有哪些新進展？

2.1 Cosmos 3 基礎模型及更豐富的手術控制

Cosmos3-H-Dreams 以 Cosmos3-H-Embodied-Nano 為基礎，這是一個在 Open-H-Embodiment 上預訓練、擁有160億參數的模型，並以經篩選的膽囊切除術影片及運動學數據，對雙向教師模型進行專門化訓練。樣本篩選以兩件清晰可見且正在使用的器械為目標：左側的 Cadiere 抓鉗及右側的單極電鈎；同時限制攝影機指令，以突出由器械動作驅動的互動。

此模型使用 28 個動作維度：雙臂的姿勢和夾爪資訊，以及能量控制、搖桿軸向和搖桿按鈕。訓練使用 832 x 480 影片，並以 10 Hz 對齊動作；這個取樣率有別於執行時的生成吞吐量。

2.2 從教師模型到四步及兩步學生模型

Cosmos3-H-Dreams 結合了專為長時間自回歸推演設計的教師至學生訓練流程，以及透過 FlashDreams 加速的串流推理。

我們首先以 24 個未來影格調整雙向教師模型，再把預測時域延長至 72 幀；在 10 Hz 下，兩者分別相當於 2.4 秒和 7.2 秒。這讓教師模型能以更長的序列學習手術動態。

接下來，蒸餾會把雙向教師模型轉化為因果學生模型，讓模型可在新動作到達時，以短區塊生成影片。因果教師強制會使用已記錄的上下文，讓學生模型為序列生成作好準備。然後，Self-Forcing 會在教師模型和已訓練的評判模型引導下，使用學生模型自身生成的上下文進行訓練。這有助於處理互動式推演期間錯誤不斷累積的問題。

首個推出的學生模型會為每個生成區塊執行四個去噪步驟。之後，我們再以兩步排程進一步訓練該學生模型，產生第二個版本的檢查點。兩步模型是獨立訓練的，並非只把四步模型的取樣步數減少。

減少去噪步驟可加快推理速度，但會降低視覺質素。兩個檢查點都讓開發者可以探索視覺質素與推理成本之間的取捨。

2.3 透過 FlashDreams 進行串流

FlashDreams 提供加速的串流執行環境。長時間推演亦需要管理模型的注意力歷史記錄。Cosmos3-H-Dreams 的整合版本採用經調整的 FadeMem 模組，在長時間推演期間整合不斷增長的鍵／值快取。這與 Self-Forcing 互相補足：蒸餾處理模型如何從自身生成的歷史內容中學習，而快取整合則處理串流生成期間如何儲存這些歷史內容。

3. 探索未見過的軌跡

手術過程中可能出現併發症，外科醫生亦可能有空間進行「新穎」動作。因此，模擬器必須能泛化至訓練數據以外，並生成包含未見過動作的連貫影格。以下示範展示 Cosmos3-H-Dreams 如何根據以 VR 頭戴式裝置記錄的器械動作，生成不同的膽囊切除術場景。

兩段影片以相同的初始影格開始，但採用不同的動作序列，展示器械控制如何令同一場景發展出不同的後續畫面，並呈現符合物理規律的組織變形。

此外，這些推演讓我們可以檢視器械是否依照控制指令移動、組織對互動的反應是否連貫，以及解剖結構和器械外觀能否隨時間保持一致。

4. 適配自己的數據與控制器

Cosmos3-H-Dreams 提供適用於膽囊切除術的四步及兩步檢查點。該系統可調整至其他數據集及具備同步影片和相容動作表示的具身系統。若要使用自己的數據集訓練即時學生模型，我們在逐步指南中提供完整的教師模型微調及 Self-Forcing 蒸餾流程。指南介紹數據準備、公開的教師模型訓練工具，以及蒸餾各階段。控制器整合必須採用與訓練相同的動作慣例及正規化方式。

5. 接下來的方向

視覺真實感的提升帶來多個研究方向：

• 模擬完整手術流程。 擴大涵蓋範圍並提升時間一致性，讓用戶可以有系統地探索膽囊切除術的所有階段，並設立明確的任務界線及成功準則。
• 結合生成式模擬與數值模擬。 將學習得來的視覺真實感與明確的幾何、接觸及組織力學結合。數值模型和實測數據有助限制及驗證形變，令模擬行為既可信，亦可供檢視。
• 與外科醫生共同評估。 評估解剖準確度、器械行為及組織反應，並將專家意見轉化為可重現的基準。
• 支援更多器械。 從兩種受控器械擴展至更豐富的協調、遮擋和互動。
• 開發自主手術策略。 在閉環中將世界動作模型與 Cosmos3-H-Dreams 結合，讓策略能夠學習指定的膽囊切除術子任務。

這些均為研究方向，並非已確立的臨牀能力。Cosmos3-H-Dreams 是一款研究模擬器，並非經驗證可用於病人護理的系統。它為在日益真實的環境中研究手術互動提供基礎。

6. 立即開始

探索 Cosmos3-H-Dreams 背後的模型、數據及執行環境：

• Cosmos3-H-Dreams 程式碼及範例：GitHub repository
• Cosmos3-H-Dreams 模型：Hugging Face checkpoint
• Cosmos3-H-Embodied-Nano：Hugging Face model 和 GitHub repository
• 調整至自己的數據：教師模型微調及 Self-Forcing 蒸餾逐步流程
• Open-H-Embodiment：Hugging Face dataset
• FlashDreams：GitHub repository
• NVIDIA Cosmos 3：GitHub repository

帶上你的控制器、軌跡和研究問題。我們期待看到社羣在這些全新的手術世界中創作出什麼。