Overworld 推出 Waypoint-1 即時互動影片擴散模型
Introducing Waypoint-1: Real-time interactive video diffusion from Overworld
Overworld 發佈 Waypoint-1,這款即時互動影片擴散模型可透過文字、滑鼠和鍵盤控制,並按控制輸入逐影格生成。模型以 10,000 小時配有控制輸入及文字描述的多樣化遊戲影片訓練,並以 self-forcing 後訓練,令訓練更貼近逐影格推理。
Waypoint-1 從訓練之初便以互動體驗為目標,與常見的先用預訓練影片模型、再微調簡化控制輸入的做法形成對照。
Hub 上的 Waypoint-1 模型權重
試用模型
Overworld Stream: https://overworld.stream
Waypoint-1 是甚麼?
Waypoint-1 是 Overworld 的即時互動影片擴散模型,可透過文字、滑鼠和鍵盤控制及提示。你可以給模型一些影格並執行它,讓它建立一個你能走進去並互動的世界。
模型的核心是一種逐影格因果的整流流 transformer,以 10,000 小時的多元電子遊戲影片訓練,並配對控制輸入和文字説明。Waypoint-1 是潛在模型,代表它以壓縮影格進行訓練。
現有世界模型的常見做法,是取用預訓練影片模型,再用簡短、簡化的控制輸入進行微調。Waypoint-1 則從一開始便以互動體驗為訓練重點。其他模型的控制方式很簡單:每隔數個影格才能移動和轉動鏡頭,而且延遲嚴重。Waypoint-1 的控制方式完全不受限制;你可以用滑鼠自由移動鏡頭,亦可輸入鍵盤上的任何按鍵,全程零延遲。每個影格生成時都會把你的控制作為上下文。此外,模型速度足夠快,即使在消費級硬件上也能提供流暢體驗。
訓練方式
Waypoint-1 透過 diffusion forcing 預訓練,模型藉此學習根據過去影格為未來影格去噪。因果注意力遮罩會限制每個影格中的 token 只能關注同一影格或過去影格的 token,不能關注未來影格。每個影格都會隨機加入雜訊,讓模型學會逐一為影格去噪。推論時,你可以一次為一個新影格去噪,從而生成連續的新影格串流。
雖然 diffusion forcing 是穩健的基準方法,但對所有影格隨機加入雜訊,與逐影格自回歸展開並不相符。這種推論不匹配會造成錯誤累積,並令長序列產生更多雜訊。為解決問題,我們使用 self forcing 進行後訓練,讓模型在與推論行為相符的條件下學習產生真實輸出。透過 DMD 進行 self forcing,還可支援單次 CFG 和少步驟去噪。
推論程式庫:WorldEngine
WorldEngine 是 Overworld 為互動式世界模型串流打造的高效能推論程式庫。它提供核心工具,讓開發者以純 Python 建構推論應用程式,兼具低延遲、高吞吐量、可擴充性和簡潔易用。執行時循環專為互動而設計:讀取上下文影格圖像、鍵盤/滑鼠輸入和文字,再輸出圖像影格供即時串流。
在 5090 上執行 Waypoint‑1‑Small(2.3B)時,WorldEngine 可持續達到約 30,000 token‑passes/sec(單次去噪;每影格 256 tokens),並以 4 步達到 30 FPS,或以 2 步達到 60 FPS。
效能來自四項針對性最佳化:
- AdaLN 特徵快取:當提示條件和時間步在前向傳播之間保持不變時,透過快取和重用避免重複計算 AdaLN 條件投影。
- 靜態循環 KV 快取 + Flex Attention
- 矩陣乘法融合:使用融合式 QKV 投影的標準推論最佳化。
- 使用 Torch Compile:
torch.compile(fullgraph=True, mode="max-autotune", dynamic=False)
from world_engine import WorldEngine, CtrlInput
# Create inference engine
engine = WorldEngine("Overworld/Waypoint-1-Small", device="cuda")
# Specify a prompt
engine.set_prompt("A game where you herd goats in a beautiful valley")
# Optional: Force the next frame to be a specific image
img = pipeline.append_frame(uint8_img) # (H, W, 3)
# Generate 3 video frames conditioned on controller inputs
for controller_input in [
CtrlInput(button={48, 42}, mouse=[0.4, 0.3]),
CtrlInput(mouse=[0.1, 0.2]),
CtrlInput(button={95, 32, 105}),
]:
img = engine.gen_frame(ctrl=controller_input)
使用 World Engine 建構
我們將於 2026年1月20日舉辦 world_engine 黑客松。你可在此登記。歡迎 2-4 人組隊,現場獎品是一張 5090 GPU。我們期待看到你如何擴展 world_engine;這也是與志同道合的創辦人、工程師、開發者和投資者交流的好機會。歡迎於一月20日 PST 上午 10 時加入,參加為時 8 小時的友誼賽!
保持聯絡
來源:Hugging Face Blog · huggingface.co