跳到正文
新浪科技·· 13 小時前AI 評分51

VideoMemBench 評測 25 個大模型的影片對話記憶,Claude Opus 5 得分 45.7

Claude Opus 5拿到45.7分,25个大模型视频记忆大考

AI 導讀

VideoMemBench 評測 25 個模型在影片多輪對話中的記憶能力,Claude Opus 5 綜合得分 45.7,位列第一。數據集包含 326 段影片及 2,476 輪問答,其中 1,387 輪需要依賴前文,評測分為場景依賴和答案依賴。依賴距離由 1 輪增至至少 5 輪時,受測模型的平均準確率由 30.2% 降至 23.1%;Claude Opus 5 的答案依賴指標為 35.7%。

正文

设想我们正看一场篮球比赛,并持续询问大模型有关的画面。对话一开始,我们问:“刚才完成那次突破得分的是谁?” 模型给出了球员的名字。又经过几轮关于其他回合的问答,我们追问:“我们第一次聊到的那名球员,这场比赛最后一共得了多少分?” 这时,模型需要先从早先的回答中找回那名球员,再结合比赛信息确定得分。即使它能看懂最终统计,只要把 “那名球员” 认错,仍然会答非所问。

看电影时也有类似的需求。我们先讨论开头的某个场景,之后又聊到其他角色和情节。几轮问答后,我们指着当前画面中的一个角色问:“这个角色在我们最开始聊到的那个场景里出现过吗?” 此时,模型需要回忆最初讨论的是哪一幕,再判断这个角色是否出现在那一幕。仅仅理解眼前的画面,还不足以回答这个问题。

这样的追问在真实交流中很自然,要求模型把当前问题与先前的对话联系起来:比如前一个例子需要找回早先答案确定的人物,后一个例子需要找回最初讨论的场景。

来自悉尼科技大学、香港中文大学、香港科技大学和浙江大学的研究者联合提出 VideoMemBench,关注大模型在围绕同一视频持续对话时,能否记住并正确使用前面讨论过的信息。

  • 项目主页(Project):https://videomembench.github.io/

  • 论文(arXiv):https://arxiv.org/abs/2610.40131

  • 代码(GitHub):https://github.com/Oliiveralien/VideoMemBench

  • 数据集(Dataset):https://huggingface.co/datasets/VideoMemBench/data

  • 论文标题:VideoMemBench: How Well Do MLLMs Remember in Video Conversations?

目前许多视频问答评测采用相互独立的问题:模型依靠视频和眼前这一道题,就能给出回答,未必需要回顾对话历史。VideoMemBench 则把问题组织成有前后联系的多轮对话,让后续回答需要用到之前已经建立的信息,并重点考察两种依赖。

第一种是场景依赖(Episodic Dependency)。当问题回指之前讨论的某一幕时,模型需要通过对话确定所指的片段,再利用画面回答新问题。第二种是答案依赖(Answer Dependency)。问题沿着模型前面识别出的人物、物体或事件继续追问,模型需要接着自己的已有回答完成判断。前者关注先前看过的场景,后者关注先前给出的答案。

图 2  同一视频中的多轮问答,通过场景依赖与答案依赖连接起来。图 2  同一视频中的多轮问答,通过场景依赖与答案依赖连接起来。

怎样确认这些问题确实需要前文?研究团队设置了 Planner、Generator 和 Judger 三类角色,依次承担依赖规划、问答生成和质量检查,并请人工专家复核全部保留对话。检查的重点是:去掉相关历史后,问题应当无法得到确定答案;当前问题也不能把需要从前文找回的场景或答案重新说出来。此外,参考答案必须得到视频画面的支持。

图 3  数据构建流程:规划、生成、质量检查与人工审核。图 3  数据构建流程:规划、生成、质量检查与人工审核。

最终,数据集收录了 326 段视频和 2,476 轮问答,其中 1,387 轮需要借助前文。它既包含跨越多个轮次的回指,也包含同时依赖多条历史信息的问题。

图 4  数据集规模与分布;(d) 中 1,089 为独立轮数,1,200 和 594 分别为两类依赖的边数。

图 4  数据集规模与分布;(d) 中 1,089 为独立轮数,1,200 和 594 分别为两类依赖的边数。

研究团队对 25 个模型进行了评测。输入统一为带时间戳的 128 个采样视频帧,问题按对话顺序逐轮给出,每个模型此前生成的回答保留在上下文中。结果显示,Claude Opus 5 的综合得分为 45.7,Gemini 3.8 Flash 为 42.4,Kimi K3 为 42.2,GPT-5.6-sol 为 41.7,Qwen3.5-27B 为 34.3。下表展示综合得分排名前列的模型。

图 5  按综合得分排序的前 11 个模型;各指标以百分制展示。图 5  按综合得分排序的前 11 个模型;各指标以百分制展示。

综合得分取逐轮回答、场景依赖和答案依赖三项指标的平均值。答案依赖采用更严格的链式计分:当前回答正确还不够,它所依赖的历史答案也都需要正确。因此,这项指标衡量的是整条回答链的可靠性。表现最好的 Claude Opus 5,在答案依赖指标上也仅达到 35.7%。

进一步分析表明,问题回指得越远,或需要同时关联的历史轮次越多,模型通常越难答对。对全部受测模型取平均,当依赖距离由 1 轮增加至至少 5 轮时,依赖问题的准确率从 30.2% 降至 23.1%。

将模型先前生成的回答替换为正确答案后,后续答案依赖问题的评测表现明显改善。这说明,早期回答中的错误可能影响后续判断,而准确的历史信息有助于支持接下来的对话。

图 6  依赖距离、父轮数量、对话位置及历史回答对表现的影响。图 6  依赖距离、父轮数量、对话位置及历史回答对表现的影响。

VideoMemBench 希望推动模型更充分地利用视频对话中已经建立的信息,使持续追问和跨场景讨论更加连贯、可靠。对于视频助手而言,理解当前画面之外,如何接住前面聊过的内容,同样值得认真评测。

來源:新浪科技 · finance.sina.com.cn