跳到正文
DEV Community· Tin Tức AI·· 6 天前AI 評分57

PAN 2 架構拆解:29B 開源世界模型以 GLP 分層處理規劃與生成

Mổ xẻ kiến trúc PAN 2: World Model 29B mã nguồn mở đưa Physical AI lên tầm cao mới

AI 導讀

MBZUAI 旗下 IFM 發佈 PAN 2,這個 29B 參數世界模型採用 Apache 2.0 開源授權。模型以 GLP 分為 LLM Planner 規劃層和 29B MMDiT 感知及動力學層;MMDiT 以數億段附有詳細物理標註的影片從頭訓練,並透過基於 Wan 2.2 的 VAE 解碼器生成最長 20 秒的影片。

正文

Cover image for Mổ xẻ kiến trúc PAN 2: World Model 29B mã nguồn mở đưa Physical AI lên tầm cao mới

Tin Tức AI

Giới hạn của LLM trong thế giới thực

Các kỹ sư phát triển AI đều nhận thấy một nghịch lý: mô hình ngôn ngữ lớn (LLM) có thể viết code phức tạp hay sinh văn bản mượt mà, nhưng lại hoàn toàn thất bại khi ước lượng trọng lực, quán tính, lực ma sát hay va chạm cơ học. Đối với robot tự hành và hệ sinh thái Physical AI, phương pháp "trial-and-error" (thử và sai) trực tiếp ngoài thực tế là điều cấm kỵ vì chi phí rủi ro phần cứng quá lớn.

Để giải bài toán grounded physics, Viện Mô hình Nền tảng (IFM) thuộc Đại học MBZUAI đã ra mắt PAN 2 – một World Model đa dụng quy mô 29B tham số, phát hành theo giấy phép mở Apache 2.0.

Kiến trúc Generative Latent Prediction (GLP)

Thay vì ghép nối các pipeline rời rạc, PAN 2 sử dụng cơ chế Generative Latent Prediction (GLP) tách biệt thành hai tầng xử lý:

1. Tầng lập luận khái niệm: LLM Planner

  • Input: Ảnh khởi đầu của môi trường kèm prompt hành động dạng natural text.
  • Nhiệm vụ: LLM đóng vai trò bộ lập lịch cấp cao (high-level scheduler). Nó không can thiệp trực tiếp vào từng pixel mà tính toán chuỗi hành động, quỹ đạo di chuyển của camera và tem nhãn thời gian (timing) cho từng tác tử.
  • Output: Kế hoạch hành vi có cấu trúc không - thời gian chặt chẽ.

2. Tầng tri giác và động lực học: 29B MMDiT

  • Cốt lõi: Khác với các mô hình sinh video fine-tune thông thường, mạng Multimodal Diffusion Transformer (MMDiT) 29B của PAN 2 được IFM huấn luyện hoàn toàn từ đầu (from scratch) trên hàng trăm triệu video gán nhãn vật lý chi tiết.
  • Cơ chế: Ánh xạ kế hoạch văn bản thành không gian tiềm ẩn (latent space), sau đó sử dụng bộ giải mã VAE (dựa trên Wan 2.2) để render video liên tục lên đến 20 giây.

Giá trị thực tiễn cho Developer & Robotics Engineer

  • Mô phỏng trước khi hành động: Robot có thể dự báo trước chuỗi tương tác động học trong 20 giây tới ở không gian mô phỏng trước khi gửi tín hiệu điều khiển tới actuator.
  • Mã nguồn mở hoàn toàn: Với giấy phép Apache 2.0, cộng đồng kỹ sư có thể tự do fine-tune, tích hợp vào ROS (Robot Operating System) hoặc môi trường giả lập tự hành mà không vướng rào cản bản quyền thương mại.

🔗 Nguồn bài viết & Thảo luận đa nền tảng:

來源:DEV Community · dev.to