泉源：皮尔斯：建队基石肯定选文班亚马作者： 柯佳欣：

MBench: 清华x腾讯联合界说视频天下模子的恒久影象能力

随着视频天外行艺的生长，，，，，模子正在从短视频片断合成，，，，，向流式长视频天生演进。。然而，，，，，仅仅做到视觉上的逼真是不敷的。。一个功效完整的视频天下模子，，，，，必需能够在长时序交互中坚持稳固的内部状态，，，，，并遵照真实天下的物理定律与逻辑规则。。

为了系统化地量化和评估这一焦点能力，，，，，清华大学与腾讯微信视觉团队推出了MBench—— 一个专门针对流式视频天生模子和天下模子影象能力的评测基准。。

项目主页： https://peanutup.github.io/MBench-project/代码客栈： https://github.com/study-overflow/MBench排行榜链接：https://huggingface.co/spaces/study-overflow/MBench_Leaderboard

为什么关注 “影象能力”？？？？？？

虽然现有的视频天外行艺已经可以合成视觉上可信的视频片断，，，，，但在走向长视频天生和功效性的天下模拟时，，，，，一个根天性的挑战依然保存：模子必需能够忠实地维持现实天下的视觉特征、语义规则、内在动力学和物理纪律，，，，，并可靠地支持长时序的展望、推理与交互。。若是缺乏这种能力，，，，，随着天生时间的延伸或交互的增添，，，，，视频往往会泛起物体和人物视觉特征突变、场景结构崩塌或因果关系过失等征象。。

这种从 “视觉合成” 向 “天下建模” 的跨越，，，，，实质上需要模子具备恒久影象能力，，，，，以维持内部天下状态在长时序和重大交互中的稳固性与一致性。。

然而，，，，，目今的视频天生评测基准（如 VBench 等）主要着重于单次短视频天生的视觉质量、运动连贯性或文本对齐。。这些指标能够权衡天生的视频 “看起来真不真”，，，，，却忽略了对天下 “长期属性” 保存能力的量化。。为了填补这一空缺，，，，，系统性地权衡模子能否真正记着并模拟物理天下，，，，，MBench 首次将视频和天下模子在长时序下的影象能力作为焦点视察工具举行了专项基准测试。。

MBench 和主流视频天下模子 benchmark 的较量

MBench 的多维度架构

MBench 基于 1040 个案例，，，，，将影象能力解构为三个互补的焦点维度，，，，，并进一步细分为 12 个可量化的子维度，，，，，涵盖了从静态属性到动态因果的全方位影象要求：

MBench 的评测维度划分

实体一致性 (Entity Consistency)：

实体一致性关注模子保存个体加入者长期身份和属性的能力。。包括物体一致性（几何、纹理）和人类一致性（身份特征、外观细节）。。简朴来说，，，，，就是当一个人或物体被遮挡、脱离画面再回来时，，，，，它的样子、衣着、特征是否坚持稳固。。

情形一致性 (Environment Consistency)：

情形一致性权衡模拟场景的稳固性。。包括空间一致性（通过极线几何和重投影误差权衡 3D 结构）和渲染一致性（光照与气概的稳固性）。；；；Ｇ樾我恢滦阅チ返氖悄Ｗ佣 3D 空间天下的明确能力 —— 当相机移动、旋转再回到原位时，，，，，房间的结构、场景的结构是否和之前坚持一致；；；；而渲染一致性权衡视频整体上光线的偏向和整体的画面气概是否能坚持一致。。

因果一致性 (Causal Consistency)：

因果一致性权衡模子能否记着事务的因果逻辑，，，，，分为自演化和交互。。这是最高级的影象能力：例如，，，，，当一个物体正在被打碎，，，，，而相机移开再转回，，，，，地上应该爆发响应的碎片；；；；当你通过文本指令模子移动一个物体，，，，，模子应该准确执行并记着新的位置，，，，，纵然物体在目今的画面中已经变得不可见。。

针对天生随机性的评分机制：Trigger-Conditioned Scoring

在评估视频模子的影象能力时，，，，，团队发明了一个主要的滋扰因素（confound）—— 模子对影象触发事务的响应能力保存差别。。例如，，，，，关于文本条件模子，，，，，其天生的视频往往无法真正泛起提醒词中要求的镜头运动、物体遮挡或动态转变；；；；关于行动驱动的天下模子，，，，，也可能保存天生的视频无法准确响应相机运动的征象。。这导致模子可能会通过天生静态或守旧内容的方式来避开挑战，，，，，从而获得虚高的一致性评分。。

为此，，，，，MBench 引入了触发条件评分（Trigger-Conditioned Scoring）机制，，，，，将得分拆解为两个部分：

1.触发笼罩率 (Trigger Coverage, C_trig)：验证模子是否乐成执行了影象挑战事务（如物体出镜再入镜）。。

2.影象可靠度 (Memory Reliability, S_rel)：仅在乐成触发挑战的样本上盘算一致性得分。。

最终的 M-Score 取两者的调清静均数，，，，，旨在处分通过天生守旧 / 静态内容来规避一致性挑战的行为，，，，，奖励那些既能模拟动态天下又能坚持一致性的模子。。

对 14 个主流 SOTA 模子的评测发明

MBench 对 8 个文本驱动模子和 6 个行动驱动模子举行了大规模评测，，，，，评测效果批注，，，，，现在并不保存简单模子可以在所有维度上都体现精彩，，，，，影象能力仍然是流式视频天生和天下模子的普遍瓶颈。。

模子分数雷达图

实验评测效果

对实验效果举行剖析，，，，，还可以获得如下发明：

空间与因果能力是主要瓶颈：评测效果显示，，，，，大都模子在长时序视角转换下的空间几何还原，，，，，以及涉及物理演化的因果逻辑坚持上保存显著缺陷，，，，，难以找回消逝的视图或延续画面外的物理历程。。行动驱动模子的 “偏科” 征象：行动条件模子虽然在空间稳固性指标上体现较好，，，，，但保存一个普遍的失效模式 —— 即倾向于天生太过静态的场景。。这种方式虽然规避了空间坍缩，，，，，但模子现实上无法驱动重大的物理演化。。视觉逼真度不即是影象稳固性：实验证实，，，，，能够合成高质量、高保真画面的模子，，，，，在长时序影象维度上纷歧定占优。。这说明纯粹的视觉天生指标无法替换对模子内部状态长期性的专项评估，，，，，证实晰建设影象能力基准的须要性。。

从天生单张图片到合因素钟级视频，，，，，视频天外行艺已经取得了令人瞩目的前进。。然而，，，，，要实现能够明确、展望并举行交互的天下模子，，，，，并让流式视频天生坚持长时一致性，，，，，我们仍有很长的路要走。。而 “影象”，，，，，正是构建这些焦点能力的基石。。MBench 展现了目今主流模子在影象能力上的真实界线，，，，，也为未来的研究指明晰偏向。。

现在，，，，，MBench 已周全开源，，，，，开源内容包括：完整的 1040 个评测案例数据集、自动化评测代码与工具链、实时更新的果真排行榜，，，，，以及详细的手艺报告与实验效果。。相信在 MBench 的推动下，，，，，我们终将迎来能够 “记着天下、明确天下、展望天下” 的下一代视频天下模子。。