大曉機器人與南洋理工大學 S-Lab 發佈 Mundo 機械人世界模型

【TechWeb】10月30日消息，近日，大晓机器人联合南洋理工大学S-Lab发布面向具体环境构建，可探索、可交互的世界模型——Mundo。Mundo 支持与 Atlas 类似的场景重建、自由视角探索和时空模拟能力。相较于Atlas来说，Mundo可以将物体的质量、摩擦等物理属性纳入场景程序，通过物理引擎计算运动、接触与碰撞。同时，Mundo 支持调用智能体，通过代码编辑场景中的物体、属性与动作，将少量影像转化为可自由探索、可编程交互、可用于机器人导航与操作训练的三维世界。

Mundo 将三维场景表示、物理仿真与视频生成相结合，结合Astra打造全新空间理解能力，先通过影像场景与物体，并可以通过代码实现场景可以编辑，再通过代码定义、编辑物体属性和动作。物理引擎计算运动与碰撞，视频模型结合参考影像渲染结果，形成从场景重建、代码编辑到交互模拟的完整流程。场景既能被看见，也能响应动作、记录变化，进而成为机器人训练与测试的环境。

这一能力为机器人进入具体商业场景提供了支持。在大晓机器人以 Kairos 为核心的世界模型技术体系中，Mundo 补充环境建模、训练数据生成与仿真训练能力，帮助机器人完成场景适配和策略优化。

少量图像构建专属世界模型，支持跨空间长路径生成

Mundo 将少量图片或者视频，拓展为可持续探索的三维空间，同一组参考图像可以支持多条相机路径；面对更大场景，还可动态选择上下文，连续生成数十秒至分钟级的探索画面。

具体来看，Mundo从真实场所的上下文影像出发，先建立三维代理，确定不同视图之间的空间关系，再沿指定相机路径生成新视角。在此次展示的场景中，输入1至12张图像，即可围绕房间中的家具和空间结构展开探索。同一组参考图像可以服务于多条路径，让观察位置和角度自由变化。建模过程中，三维检测器为主要物体提供初始位置与范围，视觉语言模型智能体进一步调整代理场景，通过渲染、比较和修正，让场景结构与输入影像相互对应。

例如，一间办公室可以从桌面旁绕到窗边，一处住宅可以从庭院进入室内。相机移动时，输入图像约束已经拍到的布局、外观和细节，模型则对没有被拍到的区域进行推断补全。增加参考视图，就能为场景提供更多真实依据，减少补全的不确定性。

这种能力也能从一张生成图像或画作开始，将其中的结构和视觉风格延伸到新的视角。对于真实场所，更多观测帮助模型接近现场；对于创意场景，单张图像则提供了构建可探索空间的起点。面对更大的环境，Mundo 使用数十张上下文图像，支持数十秒至分钟级的长路径生成。它沿同一个三维代理分段生成画面，为每一段选择相关参考视图，并通过重叠帧衔接前后片段，使局部外观和全局空间拥有共同依据。

Mundo 将拍下来的一个个视角，组织成可以持续进入和探索的空间。对于机器人场景适配，这意味着现场影像能够成为构建任务环境的入口，为后续导航和交互训练提供空间基础。

物体具备物理属性，推拉碰撞都有可计算的响应

要让机器人在场景中练习，环境必须能够响应动作。抽屉被拉开、椅子被推动、物体落到地面，都需要对应的位置变化和接触关系。

Mundo 可以通过代码编辑世界，通过场景程序描述物体的名称、尺寸和位姿，并为其配置质量、摩擦等物理属性。脚本定义动作和施加的力，物理引擎计算物体在重力与接触约束下的响应，得到运动轨迹、接触位置和碰撞力。随后，Mundo 结合环境参考图像，将这些变化渲染到对应场景中。

这让环境拥有了明确的操作入口。用户可以拖动垃圾桶、推动显示器、拉动椅子或打开抽屉，也可以改变物体材料与重力条件，观察不同设置下的响应。物理过程中的速度、接触点和冲击力等状态，还能与生成画面同步展示。

在这一过程中，三维代理与场景程序负责记录“物体在哪里、发生了什么变化”，物理引擎负责计算运动，视频模型负责呈现与环境相符的视觉结果。几何、物理与外观各自承担明确职责，共同构成可交互环境。

让每次交互都有可追踪的状态、可计算的过程，是场景从可观看走向可使用的关键。 Mundo 将物理交互引入重建环境，为机器人练习动作及分析结果提供了具体依据。

在同一环境贯通导航、操作与四维模拟，构建机器人训练场

在同一个定制场景中，Mundo 进一步支持机器人移动和操作，将环境重建连接到机器人测试与训练。

导航方面，三维代理提供物体类别、位置、障碍物和可通行区域等信息，路径规划器据此寻找路线。Mundo 可以生成不同机器人沿路线行进的第一人称和第三人称画面，将空间布局与机器人沿途观察联系起来。

操作方面，Mundo 为参与交互的物体建立几何和物理属性，让不同形态的机器人尝试同一任务，例如将苹果放入碗中、将罐子放上托盘或堆叠积木。系统生成外部视角以及机器人头部、腕部相机视角，同时保留任务轨迹与物理交互状态，为训练数据生成和仿真测试提供支持。

视觉观测与交互状态相互对应，使研究人员能够结合机器人“看到什么”和“做了什么”分析执行过程，并在进入真实场景前比较、调整策略。

Mundo 还将空间探索拓展到时间维度。对于多相机记录的动态事件，可以从新视角呈现过程；对于基于图像构建的模拟事件，则通过重力和接触动力学计算运动。在选定时刻暂停时间，再移动相机，即可从多个角度观察同一瞬间，形成“子弹时间”效果，辅助查看动作细节和遮挡关系。

从导航到操作，再到四维时空观察，Mundo 为机器人提供了可反复演练、可多角度检查的环境。在酒店应用中，团队已利用它重建楼层与洗衣区域，为导航提供空间和语义信息，并模拟洗衣机开门等交互，为机器人理解任务与开展训练提供支持。

世界模型的产业价值，要由它对真实任务的贡献来体现。 在大晓机器人以 Kairos 为核心的世界模型技术体系中，Mundo 补充具体环境建模与仿真训练能力，连接现场采集、数据生成和策略优化，服务于机器人进入实际工作场景。