普林斯頓大學推出 SSoN 空間智能評測基準:人類準確率 83.3%,大模型最高僅 39.7%
普林斯顿大学推出 SSoN 空间智能基准:人类准确率 83.3%,大模型最高仅 39.7%
普林斯頓大學 AI 實驗室推出 SSoN,測試 AI 在靜態跨視角條件下的三維空間理解能力;人類準確率為 83.3%,表現最佳的視覺語言模型僅達 39.7%。針對 SSoN 任務進行監督微調後,模型面對未見過的房間場景時,測試準確率幾乎翻倍。
11月4日消息,近日,普林斯顿大学 AI 实验室发布全新空间智能评测基准SSoN(Same Space or Not),专门剥离动态交互、动作控制等干扰因素,聚焦测试 AI 在静态跨视角条件下的三维空间理解能力。
测试结果暴露出当前主流多模态大模型在空间几何推理层面存在显著短板:人类受试者答题准确率可达 83.3%,而表现最优的视觉语言模型最高仅 39.7%,多数模型成绩甚至低于四选一随机猜测基线。
SSoN 的核心测试逻辑十分简洁:向模型输入四张室内场景静态图片,要求找出其中不属于同一场景的异常图片,以此检验 AI 是否具备真正的跨视角三维空间信息整合能力。人类依靠直觉与生活经验就可以识别空间逻辑矛盾,但现有视觉大模型完成该任务却十分吃力。
研究团队对评测结果深度拆解,总结出当前大模型空间智能的三大核心痛点。
首先,物体移动、视角旋转类空间变换场景是模型最大短板,这类几何推理题型错误率居高不下;
其次,模型存在 “猜对答案,但讲不清逻辑” 现象,即便输出结果正确,近 30% 的推理解释逻辑不成立,属于典型蒙对而非真正理解;
最后,大部分被测模型整体准确率不及四选一任务的随机基线,说明模型尚未建立稳定的三维空间直觉。
为寻找提升 AI 空间推理能力的可行路径,研究人员开展多组干预对照实验。
实验表明,单纯依靠文本提示词引导、引入传统三维重建流水线,仅能带来微小性能提升;直接向模型提供真实相机参数,效果会出现明显改善,但依旧无法让模型答对半数以上题目。
好消息来自针对性监督微调:基于 SSoN 任务开展定向微调后,面对完全没见过的全新房间场景,模型测试准确率几乎实现翻倍。这证明大模型判断空间一致性的能力并非技术死局,可通过定向监督训练完成能力迁移与提升。
业内分析表示,SSoN 剔除了大量混杂变量,直击现有 AI 跨视角三维空间整合的核心缺陷,为全球科研人员迭代空间智能模型提供了明确的测试标尺与优化方向,对具身智能、机器人、实景理解等领域有着重要参考价值。
來源:DoNews · donews.com