金磊 发自 凹非寺量子位 | 公众号 QbitAI

整整60000小时的预训练数据。。。。。。

一个新VLA（视觉-语言-行动），，，，，，就这么水灵灵地被“喂”了出来，，，，，，并且照旧开源的那种。。。。。。

这就是蚂蚁灵波刚刚宣布的LingBot-VLA 2.0，，，，，，一个面向重大物理天下使命的通用VLA模子。。。。。。

先来聊聊这60000小时真实物理数据是怎么来的。。。。。。

着实它包括两个部分，，，，，，其中50000小时来自机械人轨迹数据，，，，，，笼罩20种机械人构型；；；另外10000小时来自第一视角人类操作视频。。。。。。

而距蚂蚁灵波1月宣布LingBot-VLA 1.0仅半年时间来，，，，，，数据规模从20000小时直接乘了个3。。。。。。

那么效果又怎样呢？？？？？

来，，，，，，直接上效果：

视频地点：https://mp.weixin.qq.com/s/GBkj3L9z1_ihq6vrUDrbJw

我们从视频中可以看到，，，，，，机械人先从操作台上拿起饮料、水果放进篮子里，，，，，，再拎起篮子移动到冰箱前，，，，，，翻开冰箱门、把工具一件件放进去，，，，，，最后关上冰箱门。。。。。。

一整套长序列的移动操作，，，，，，一气呵成，，，，，，相当丝滑。。。。。。

不过有一说一，，，，，，数据规；；；菇鼋鍪荓ingBot-VLA 2.0亮点的一隅，，，，，，在细扒相关手艺报告后我们发明：

支持20多种机械人构型；；；从双臂扩展到头部、腰部、移动底盘、灵巧手等更完整的行动空间；；；融合LingBot-Depth，，，，，，让机械人获得更强空间明确能力；；；在英伟达RTX 4090上推理延迟低于130ms。。。。。。

而不少网友们看到LingBot-VLA 2.0的宣布后，，，，，，更是直呼：

开源的具身模子正在加速机械人手艺在现实天下中的应用。。。。。。

机械人干活，，，，，，更利索了

接下来，，，，，，我们先继续来直观感受一下在LingBot-VLA 2.0加持之下，，，，，，机械人干真实天下家务活儿的体现怎样。。。。。。

第一个使命是整理灶台。。。。。。

它比适才的冰箱收纳来说，，，，，，越发靠近真实生涯中的厨房场景：

视频地点：https://mp.weixin.qq.com/s/GBkj3L9z1_ihq6vrUDrbJw

机械人面临炉灶、锅架、海绵等一桌子物品，，，，，，需要先将障碍物挪开、取放稳当，，，，，，然后精准地拿起海绵擦拭灶台，，，，，，最后还得把相关物体物归原位。。。。。。

从机械人的体现来看，，，，，，LingBot-VLA 2.0是经受住了真真相形里的一连决媾和细腻交互的磨练。。。。。。

再来看一个使命，，，，，，调料收纳。。。。。。

这类使命更磨练双臂协同和空间关系处理能力，，，，，，机械人要清晰每个物体划分放在哪、相互间距多远、桌面结构长什么样，，，，，，光靠看画面是不敷的，，，，，，还得有空间感。。。。。。

视频地点：https://mp.weixin.qq.com/s/GBkj3L9z1_ihq6vrUDrbJw

再来感受一下带LingBot-Depth 2.0深度热力争、物体界线Token掩码、余弦相似度热图的效果：

视频地点：https://mp.weixin.qq.com/s/GBkj3L9z1_ihq6vrUDrbJw

而这正是LingBot-VLA 2.0默认融合LingBot-Depth之后带来的能力升级，，，，，，精准拿捏住了机械人自身和空间之间的关系。。。。。。

若是我们把这三个案例放到一起，，，，，，LingBot-VLA 2.0要做的事儿就较量清晰了：

它是希望通过统一套具身大脑，，，，，，能够做到迁徙赴任别身体、差别场景、差别使命里。。。。。。

换言之，，，，，，为某个机械人专门训的专用模子不是目的，，，，，，要害是一套能复用的通用具身操作基座。。。。。。

（完整能力视频如下）

视频地点：https://mp.weixin.qq.com/s/GBkj3L9z1_ihq6vrUDrbJw

还学会了展望未来

在看完效果之后，，，，，，接下来的问题就是LingBot-VLA 2.0是怎样做到的。。。。。。

我们先从数听提及。。。。。。

在第一代LingBot-VLA开源时，，，，，，外界就已经关注到一个点，，，，，，真实天下机械人数据越多，，，，，，VLA模子能力越强，，，，，，并且这种提升还没有显着到头。。。。。。

到了LingBot-VLA 2.0，，，，，，这条蹊径还在继续被往前推。。。。。。正如我们适才提到的，，，，，，它的数据管线从9万小时数据中洗濯出5万小时高质量真机数据，，，，，，又从2万小时第一视角人类操作数据中提炼出1万小时有用数据，，，，，，总预训练数据抵达6万小时。。。。。。

但数据量增添还只是表象。。。。。。更要害的是这些数据笼罩了更多机械人形态、多视角、多使命、多行动模式。。。。。。

团队在手艺报告中列出的机械人构型便包括Leju、Franka、AgileX、ARX Lift2、Galaxea R1Pro、Astribot S1、Unitree G1、Fourier GR-2、AgiBot A2等，，，，，，总计20种embodiment。。。。。。

我们知道语言模子吃的是文本，，，，，，但到了VLA这里，，，，，，吃的是“视觉、语言、行动”的组合。。。。。。

它不但要知道“把水果放进冰箱”这句话是什么意思，，，，，，还要知道机械臂该怎么靠近物体，，，，，，夹爪什么时间闭合，，，，，，底盘什么时间移动，，，，，，冰箱门翻开后空间关系怎样转变。。。。。。

以是数据越富厚，，，，，，模子越有时机学到更通用的操作纪律。。。。。。

除了数据够“厚”之外，，，，，，LingBot-VLA 2.0的另一个要害，，，，，，在于它把行动空间买通了。。。。。。

差别机械人有差别枢纽、差别夹爪、差别底盘。。。。。。双臂机械人、人形机械人、移念头械臂，，，，，，在身体结构上差别很大。。。。。。要让统一个VLA模子迁徙赴任别身体上，，，，，，就需要把这些差别映射到一个统一的行动空间里。。。。。。

LingBot-VLA 2.0这次把行动空间从双臂进一步扩展到头部、腰部、移动底盘、灵巧手等自由度。。。。。。

真实天下重大使命往往需要多个身体自由度协同完成，，，，，，LingBot-VLA 2.0的目的就是提升机械人在开放场景、长序列使命和多自由度协同使命中的体现。。。。。。

更有意思的是，，，，，，LingBot-VLA 2.0还学会了展望未来。。。。。。

已往许多VLA模子更像是反馈式执行，，，，，，看到目今画面，，，，，，天生一个行动；；；执行完之后，，，，，，再凭证下一帧视察效果继续修正。。。。。。但这种方式能形成闭环，，，，，，但在长序列使命里容易泛起问题。。。。。。

因此，，，，，，LingBot-VLA 2.0引入了未来深度展望和语义特征展望，，，，，，让模子在天生行动时同时明确目今状态和展望未来状态。。。。。。

详细来讲，，，，，，团队给视觉和文本token特殊挂上两组可学习的query token，，，，，，一组对应目今时刻，，，，，，一组对应未来时刻；；；再划分用认真几何信息的深度模子LingBot-Depth，，，，，，和认真语义、时序信息的自研视频表征模子DINO-Video做蒸馏监视，，，，，，让模子不但明确眼前的场景，，，，，，还能提前预判物体位置、空间关系和使命状态接下来会怎么转变。。。。。。

由此，，，，，，我们便可以把LingBot-VLA 2.0在手艺上的升级归结为：

数据更厚，，，，，，身体笼罩更广，，，，，，行动空间更完整，，，，，，模子还具备一定前瞻式时序明确能力。。。。。。

GM-100上见真章

模子好欠好，，，，，，评测效果也是很好的证实。。。。。。

这次LingBot-VLA 2.0在GM-100多使命Generalist Benchmark上选取9个使命，，，，，，与GR00T N1.7、π0.5、LingBot-VLA 1.0举行比照；；；同时也在两个长程移动操作使命上与π0.5举行比照。。。。。。

值得一提的是，，，，，，Generalist Benchmark考察的是统一个模子在多个使命上的综合体现，，，，，，而非为单个使命划分训练、划分调优，，，，，，再把各自最好的效果拼成一张榜单。。。。。。因此，，，，，，这类评测更靠近真实落地场景，，，，，，也更能反映一个VLA基座模子的通用能力。。。。。。

先看GM-100双臂操作。。。。。。

在AgileX Cobot Magic平台上，，，，，，LingBot-VLA 2.0整体平均效果为66.2/34.4，，，，，，高于GR00T N1.7的36.3/17.8、π0.5的59.1/32.2，，，，，，以及LingBot-VLA 1.0的58.2/30.0。。。。。。

在Galaxea R1 Pro平台上，，，，，，LingBot-VLA 2.0整体平均为34.6/15.6，，，，，，进度分高于GR00T N1.7、π0.5和LingBot-VLA 1.0；；；乐成率与LingBot-VLA 1.0持平，，，，，，但高于GR00T N1.7和π0.5。。。。。。

除此之外，，，，，，团队还做了两个较有代表性的测试：Astribot S1执行物体放入冰箱使命，，，，，，Cobot Magic-ARX X5执行整理灶台使命。。。。。。

每个使命都有ID和OOD两种设置，，，，，，每组15次自力实验。。。。。。OOD设置下，，，，，，机械人初始位置会被扰动；；；在冰箱收纳使命中，，，，，，还会替换为没见过的物体种别，，，，，，用来测试泛化能力。。。。。。

效果上，，，，，，冰箱收纳使命中，，，，，，LingBot-VLA 2.0在ID设置下为77.1/60.0，，，，，，π0.5为65.3/46.7；；；OOD设置下，，，，，，LingBot-VLA 2.0为37.0/13.3，，，，，，π0.5为30.3/6.7。。。。。。

整理灶台使命中，，，，，，LingBot-VLA 2.0在ID设置下为84.3/66.7，，，，，，π0.5为79.9/60.0；；；OOD设置下，，，，，，LingBot-VLA 2.0为67.5/40.0，，，，，，π0.5为62.5/33.3。。。。。。

具身通用大脑，，，，，，越发要害了

放到整个行业来看，，，，，，LingBot-VLA 2.0的意义不止是又一个更强的模子。。。。。。

已往一年，，，，，，机械人硬件本体的转变很快。。。。。。乐聚、智元、星动纪元等公司都在推进差别形态的身体，，，，，，人形机械人、双臂机械人、移念头械臂都在快速迭代。。。。。。

身体越来越多，，，，，，问题也随之泛起。。。。。。

每种机械人都有自己的枢纽构型、传感器设置、控制方式；；；每个场景又有差别物体、空间、使命要求。。。。。。若是每一种本体、每一个使命都要重新适配一套算法，，，，，，本钱会很高，，，，，，规；；；埠苣选！！！！。

LingBot-VLA 2.0想做的，，，，，，就是大脑层的通用化。。。。。。

它用更大规模的真实数据，，，，，，让模子见过更多物理天下里的行动；；；用统一行动体现，，，，，，实验抹平差别本体之间的差别；；；再加上LingBot-Depth和未来展望，，，，，，让机械人对空间和时间有更强的明确。。。。。。

从更久远看，，，，，，具身智能可能会泛起一个趋势：

机械人的身体继续百花齐放，，，，，，但通用大脑的趋势会愈加收敛。。。。。。

One More Thing：

昨天蚂蚁灵波宣布了LingBot-Depth 2.0，，，，，，今天是LingBot-VLA 2.0，，，，，，但预计它的新行动不会仅止于此。。。。。。

由于在一月份的时间，，，，，，蚂蚁灵波就针对具身智能来了一波四连弹。。。。。。

以是，，，，，，对具身智能感兴趣的小同伴，，，，，，可以继续坚持下关注哦~

手艺报告：From Foundation to Application: Improving VLA Models in Practice

报告地点：https://github.com/robbyant/lingbot-vla-v2/blob/main/assets/LingBot_VLA_2_0.pdf

项目页面：https://technology.robbyant.com/lingbot-vla-v2

代码库：https://github.com/robbyant/lingbot-vla-v2

Hugging Face：https://huggingface.co/collections/robbyant/lingbot-vla-v2

ModelScope：https://modelscope.cn/collections/Robbyant/LingBot-VLA-V2

相关研究批注，，，，，，树冠羞避可能由于树木叶芽的光敏素能够通过感受反向散射的远红光信号，，，，，，识别其它树木“邻人”的类型和距离。。。。。。若是吸收到的光镌汰，，，，，，就说明需要阻止生长了，，，，，，阻止自己的枝叶伸入邻近树木的阴影下。。。。。。