研究人員提出 MMGR 基準，評估多模態模型的推理能力

10月26日消息，现代多模态生成模型能够生成视觉效果出色的图像与视频，但目前尚不清楚这种流畅的视觉表现是否代表模型具备真正的推理能力：当收到指令生成问题的解决方案时，模型是能够遵守任务所要求的物理、逻辑、空间与时间约束，还是仅仅生成看起来合理的媒体内容。

为解答该问题，MMGR（Multi-Modal Generative Reasoning Benchmark and Evaluation，多模态生成推理评测基准）被提出，用于评估视频、图像、语言类系统的生成式推理能力。

MMGR 包含三大领域下的 10 项任务：抽象推理、具身导航、物理常识；评测覆盖五项推理能力：物理推理、逻辑推理、二维空间推理、三维空间推理、时序推理。

该评测重点采用答案可核验类任务；针对视频生成，提出感知过程的帧链推理（chain-of-frame reasoning）：中间帧必须构成通向最终目标的有效步骤，而不只是画面顺滑但逻辑错误的过渡。

研究对当前顶尖视频生成模型、图像生成模型以及大语言模型 / 视觉大模型基线进行测试，结果揭示：模型的视觉质量和推理正确率之间存在明显鸿沟。视频模型在物理常识任务上表现最优，但在数独、ARC 抽象推理、数学这类符号任务上能力偏弱，跨视角具身导航场景下稳定性差。