衡宇 发自 凹非寺量子位 | 公众号 QbitAI
代码Agent这两年为何前进飞快，，，， ，成为AI界的宗门巨匠兄 ？ ？？？？？
由于这玩意儿自己个儿就超！闭！环！的！
代码Agent可以自动执行、自动验证、自动反馈。。写了代码跑一下就知道对差池，，，， ，奖励信号很是清晰明确。。
这给后训练（Post-training）阶段的自反馈闭环提供了完善条件。。
同样是AI界大热门，，，， ，具身智能现在就缺少这种“神助”。。
它面临的物理天下比代码Agent面临的天下重大多了，，，， ，并且很难获得马上验证。。
它吸收的信号不像代码那样有一个编译器就能判断，，，， ，它们模糊、腾贵，，，， ，并且每一次真机试错都意味着真金白银的人力和硬件消耗。。
VLA（视觉-语言-行动模子）是具身智能中最早受到关注的手艺蹊径。。
但很快，，，， ，各人发明这个手艺保存物理明确缺失、泛化能力极弱、长时序与妄想能力缺乏等等问题，，，， ，做不到“一家独大”包打天下。。
各人有点着急。。厥后，，，， ，天下模子又成了行业里的新骄子。。
但天下模子似乎也不是灵丹妙药（至少现在来看是这样的）……
这也不可那也不可，，，， ，具身智能，，，， ，你究竟要怎样。 ？ ？？？？？ ？ ？？？？？
这个时间，，，， ，原力灵机相关认真人站出来亮相：
我以为特殊愚蠢的一件事情是在「手艺蹊径」上给自己贴标签。。这件事情是特殊蠢的。。应该以目的导向。。你要解决什么问题，，，， ，挑选对应的要领去解决它，，，， ，而不是说我是什么要领的、什么门户的，，，， ，为此来证实只有我才是标新立异的。。
他先容，，，， ，约莫今年过年前，，，， ，原力灵机意识到可将天下模子作为后训练的一部分。。
一晃眼半年已往了。。这个月，，，， ，原力灵机宣布了旗下首款具身天下模子DW0.5，，，， ，并将它接入天下模子驱动的具身智能后训练框架DFOL2.0。。
“这套基模支持多模态输入，，，， ，包括使命指令、图片和视频，，，， ，还能选定机械人类型。。我们可以依附历史行动，，，， ，展望后续视频状态。。”原力灵机联合首创人汪天才说。。
他先容道，，，， ，DW0.5用上万小时真机、多视角数据完成联合预训练，，，， ，仿真能力很强，，，， ，能天生种种画面。。
不但能做出机械臂正常作业的视频，，，， ，就算参考过失行动，，，， ，也能还原使命失败的场景，，，， ，以此支持DFOL2.0框架的在线强化学习训练。。
DW0.5作为一个高保真仿真器，，，， ，把强化学习搬进虚拟天下。。
VLA先给出候选行动，，，， ，DW0.5在虚拟情形中预演未来，，，， ，判断乐成、失败与偏离风险，，，， ，再把可用反馈送回强化学习。。
按其披露的数据，，，， ，这套流程可让后训练中真机数据需求骤降60%，，，， ，整体训练本钱下降40%。。
具身智能行业急需低本钱反馈闭环
想相识DW0.5，，，， ，咱们先来看清它解决了什么样的行业问题。。
具身智能属于物理AI，，，， ，它的目的是让机械人在差别情形、差别物体和差别失败条件下一连变强。。
惋惜后训练飞轮一直跑不起来。。
真机一次rollout需要占用机械人、园地和人工，，，， ，一次行动失败可能直接让使命中止；；；； ；人工反馈虽然更靠近真实判断，，，， ，但难以高频笼罩每其中心状态；；；； ；仿真情形本钱确实低许多，，，， ，但现实中的接触、遮挡、反光、形变和不确定性又很难被完整复刻。。
基于这个现实，，，， ，原力灵机从手艺侧提出了判断：VLA需要一个介于真机、人工反馈和古板仿真之间的训练情形。。最好它足够自制、能支持高频探索，，，， ，还更靠近真实操作历程。。
然后新的步伐就被脑暴出来了。。
用真实Rollout数据校准天下模子，，，， ，天下模子支持低本钱大规模的情形与数据生产，，，， ，新的policy再回到真真相形验证和网络数据。。
DW0.5就肩负了原力灵机VLA模子（DM0.5）后训练中的Learned Environment的角色。。
DW0.5三大专家 ？ ？？？？？橹毓狗抡媛呒，，，， ，全方位提升泛化能力
DW0.5能展望行动执行后的未来状态，，，， ，甚至天生失败轨迹，，，， ，并对使命进度打分。。
详细而言，，，， ，DW0.5以Video Expert、Action Expert、Value Expert三大专家 ？ ？？？？？樽槌赡芰α绰。。Video Expert与Action Expert配合服务行动效果预演，，，， ，Value Expert认真价值评估与反馈结构。。
这三个设计的思绪各有考究。。
设计一：Action是强先验，，，， ，而不是软提醒
在部分天下模子里，，，， ，行动信息只是一个附带的条件输入。。但DW0.5把行动当成结构性的强先验。。
它必需知道“机械臂在往这个偏向移动”，，，， ，才华展望出物理上合理的后续画面。。
DW0.5把action看成视频天生的一等条件，，，， ，通过结构化的帧级对齐强制绑定。。
在MoT（Mixture of Tokens）注重力中，，，， ，行动序列与视频序列拼接，，，， ，并用group-diagonal attention mask切断视频帧与非对应行动之间的信息通路。。
从结构上，，，， ，执行向左推和向右推的行动，，，， ，从一最先就走向完全差别的盘算路径。。
讲原理，，，， ，我们视察到近期学术界对这个手艺趋势有规模不小的探讨，，，， ，即主流VLA不做视频展望，，，， ，只做observation到action的映射。。
DW0.5这类用视频展望作为辅助监视的模子，，，， ，理论上能学到更强的因果动态明确。。
设计二：能模拟失败，，，， ，才配得上叫“仿真器”
只有乐成轨迹数据训练的模子容易形成过强的乐成偏置，，，， ，这样的系统无法识别过失行动，，，， ，更谈不上为强化学习提供处分信号。。
同时，，，， ，失败轨迹数据的价值对后训练来说挺珍贵的。。
因此DW0.5被明确要求能够天生“做砸了”的视觉轨迹，，，， ，让Value Expert可以比照乐成与失败的差别，，，， ，给出有区分度的打分。。
其数据战略围绕模拟失败设计，，，， ，让模子既学习“应该怎么做”，，，， ，也学习“做错了，，，， ，天下会酿成什么样”。。
团队体现，，，， ，DW0.5有四类数据源：
具身果真数据与自采机械人数据（包括遮挡、接触、延迟等真机噪声）互联网视频数据（增补开放天下动态）Egocentric第一视角人类活动数据（迁徙真实物理交互效果）真机与仿真rollout数据（笼罩偏离、卡住、恢复等中心状态）设计三：Value Expert把未来酿成可训练的反馈
这是DW0.5从“视频天下模子”走向“训练情形”的要害一步。。
Video Expert模拟行动效果，，，， ，Value Expert把效果转成可优化信号，，，， ，两者连系，，，， ，才组成完整的RL训练闭环。。
DW0.5引入Value Expert是为了把天生的未来转化为更麋集的价值信号。。
详细讲，，，， ，Value Expert它对目今状态、候选轨；；；； ；蛘蝦ollout给出乐成概率或使命价值评估，，，， ，将希罕的使命效果信号转化为可以在每一步使用的中心反馈。。
在闭环系统中，，，， ，Value Expert可以用于：
候选行动筛。。憾远喔鰎ollout打分，，，， ，让VLA选择更可能乐成的未来。。RL后训练的reward信号：在天下模子情形中对VLA做战略优化，，，， ，无需频仍占用真机。。安排时的在线监测：发明目今状态偏离乐成路径，，，， ，实时触发重新妄想或失败恢复。。
数据显示，，，， ，DW0.5的Value-Order Correlation抵达95%以上。。
三个设计服务统一个闭环，，，， ，让DW0.5在VLA的训练和安排中饰演离线数据增强与偏好结构、RL后训练情形、安排时妄想与清静评估三种角色。。
依托DW0.5训练-调优-安排的全闭环赋能能力，，，， ，模子在工程化泛化体现方面同样值得关注。。
1）高阶指令与多步行动追随
模子不但能精准明确“Pick up the hammer, lift it into the air, and hold it steady（拿起铁锤、举至空中并坚持稳固）”等高难度多步长指令，，，， ，还能丝滑实现跨构型的行动追随。。
2）多维一连泛化
在面临重大长尾场景时，，，， ，展现出了强盛的跨情形、跨使命、跨构型的泛化天生实力。。
3）多视角强一致性
在模拟天生气械人前视、左腕、右腕等多相机流时，，，， ，展现出完善的空间与时序一致性。。
4）行动-视频天生高度一致性
能够直觉化地明确人类的双手操作视频，，，， ，并将其丝滑且等效地天生为机械臂的操作轨迹。。
让天下模子在具身智能工业大规模落地
说了这么多架构和原理，，，， ，最终照旧要回到一个问题：
DW0.5究竟怎么用 ？ ？？？？？
整体来看，，，， ，DM0.5作为基础战略模子，，，， ，DW0.5认真行动效果预演与价值反馈，，，， ，RL将两者链接。。
基座模子DM0.5先天生一批初始行动，，，， ，推给天下模子DW0.5
—→DW0.5当仿真器，，，， ，在虚拟情形里把这些行动会导向的未来“跑”出来，，，， ，批量天生乐成和失败的轨迹
—→再由一个强化学习教练员CFG-RL，，，， ，给每条轨迹的使命进度打分（乐成的价值一起走高，，，， ，失败的价值断崖下跌）
—→打分和奖励实时回传，，，， ，更新模子权重，，，， ，喂出一个更强的DM0.5
这个循环里大部分数据由DW0.5在线天生，，，， ，不必所有靠真机翻来覆去高成外地去试。。
噫吁嚱！
具身智能的天下里，，，， ，天下模子终于有了一个明确的、能规；；；； ；τ迷诨等税才爬汤锏母谖唬
纸上谈兵终觉浅。 ？ ？？？？？梢钥吹，，，， ，在打气球、晾衣服、叠纸盒等高难度重大使命中，，，， ，接入DFOL 2.0的模子相比纯粹SFT（监视微调）基线，，，， ，要害方法乐成率蓦地提升。。
打气球使命：“给气球打气”这一步乐成率从10%升至90%；；；； ；“气筒插入气球”乐成率从10%跃升至100%。。晾衣服使命：“乐成挂上衣架”这一长时序操作的SFT乐成率仅50%，，，， ，DFOL2.0加持下翻倍至100%；；；； ；“衣架塞入衣服”的乐成率也从60%提升到了90%。。叠纸盒使命：“叠右侧纸盒”和“叠左侧纸盒”两浩劫点方法，，，， ，乐成率划分从35%拉升到了55%和50%。。
评测集这边，，，， ，DW0.5还在EWMBench、WorldArena等基准测试中横扫榜单，，，， ，划分以4.73、73.54的分数，，，， ，斩获全球SOTA（数据阻止7月9日）。。
真实安排希望方面，，，， ，原力灵机体现DW0.5已在内部跑通具死后训练闭环流程DFOL 2.0，，，， ，最先肩负数据天生、价值评估和战略迭代事情。。
同时，，，， ，这套手艺能力已接入原力灵机推出的DexDev MaaS（Model As a Service）平台。。
关于特定具身场景中零样本泛化能力缺乏的模子，，，， ，可通事后训练补足能力，，，， ，并接回平台服务。。
值得强调的是，，，， ，原力灵机再三对量子位强调并肯定了真实数据无可替换的价值。。
“我们只是用天下模子降低本钱，，，， ，真机数据照旧很主要的。。在手艺演进上，，，， ，天下模子现在仍需真机校准。。”原力灵机联合首创人汪天才说。。
我们问原力灵机，，，， ，关于天下模子在具身智能领域的运用，，，， ，尚有哪些其他想法 ？ ？？？？？
获得的谜底是这样的——
随着视觉模子能力的一直提升，，，， ，现场职员可以借助Ego相机收罗操作数据，，，， ，镌汰对专业真机收罗和重大后训练团队的依赖，，，， ，降低现场后训练的门槛。。
那么，，，， ，就让时间来磨练这个谜底吧～
GitHubhttps://github.com/dexmal/opendwHugging Facehttps://huggingface.co/Dexmal/DW05-Base
