金磊 发自 上海量子位 | 公众号 QbitAI
一个新的国产VLA模子降生了，，，并且只有1.5B。。。。。。
Size这么小，，，能好用吗？？？？？
来，，，话未几说，，，我们直接看效果：
视频地点：https://mp.weixin.qq.com/s/TWDuh4NmsamJ52E2A6ZpTw
在上面这个真机演示里，，，两只机械臂围着桌面最先做三明治。。。。。。它们分工相助，，，先取面包，，，再夹起生菜、火腿和鸡蛋，，，一层层叠到一起。。。。。。
再来看下另一段演示：
视频地点：https://mp.weixin.qq.com/s/TWDuh4NmsamJ52E2A6ZpTw
一只宇树机械狗收到“追随前面的人”这条指令后，，，最先一起跟在目的死后。。。。。。
从室外走进办公楼，，，再进入电梯、地下停车场，，，机械狗始终没有跟丢。。。。。。就算周围一直有人经由，，，情形和光线也在转变，，，它照旧能认准一最先指定的谁人人。。。。。。
更要害的是，，，这套能力直接跑在机械狗外地！
电梯和地下停车场往往是网络信号较量差的地方。。。。。。纵然进入弱网甚至无网情形，，，机械狗依然能继续识别目的、妄想行动，，，坚持追随。。。。。。
而在这两段Demo背后，，，则是面壁智能在WAIC时代正式宣布并开源的MiniCPM-Robot系列模子。。。。。。
现在包括两个模子：
MiniCPM-RobotManip：也就是开头控制机械臂做三明治的通用VLA模子，，，参数目只有1.5B。。。。。。MiniCPM-RobotTrack：主要认真机械人的跟踪与导航，，，让机械人能够凭证自然语言指令，，，在动态情形里一连跟住指定目的。。。。。。
和它们一起泛起的，，，尚有开源具身智能推理框架PhyAI，，，认真让这些模子更快地适配硬件、跑到真实机械人上。。。。。。
简朴来说，，，一个认真让机械人“下手干活”，，，一个认真让机械人“认准人、随着走”，，，再配上一套认真高效推理的底座。。。。。。
面壁这次端出来的，，，已经是一套逐渐成形的具身智能组合。。。。。。
跻身第一梯队，，，延迟靠近一半
先来看MiniCPM-RobotManip。。。。。。
虽然参数目只有1.5B，，，但在LIBERO、Calvin、RoboTwin2等主流VLA评测里，，，它的整体体现已经进入第一梯队，，，与π0.5等模子处在相近水平。。。。。。
真正把差别拉开的，，，是对机械人影象力的磨练。。。。。。
许多VLA模子在执行行动时，，，主要凭证目今这一帧画面做判断。。。。。。
好比让机械人点击画面里的第二个按钮5次。。。。。。
若是它看不到前面的画面，，，也记不住自己已经按过一再，，，就很容易按一下便停，，，或者一直按下去。。。。。。
MiniCPM-RobotManip会把历史视察和此前执行过的行动一起纳入判断。。。。。。它知道使命已经举行到哪一步，，，也知道什么时间应该停下来。。。。。。
在专门考察上下文影象的RMBench中，，，π0.5的效果约为10分，，，靠近随机水平，，，MiniCPM-RobotManip则抵达约53分。。。。。。
这项能力对真实机械人很主要。。。。。。
叠衣服、料理桌面、做三明治，，，看起来都是日常小事，，，拆开后却包括一连串行动。。。。。；； ；；；；等酥豢囱矍，，，很容易做到一半便“失忆”；； ；；；；能记着此前的状态，，，才有时机把长使命完整做完。。。。。。
除了记得住，，，机械人还得反映快。。。。。。
面壁给出的单帧推理比照中，，，在H100显卡、bf16精度下，，，MiniCPM-RobotManip单次决议延迟约为120毫秒，，，π0.5约为234毫秒，，，前者靠近后者的一半。。。。。。
这里的“本钱减半”，，，主要是体现在推理延迟和盘算量上。。。。。。
谈天模子多想一秒，，，用户通；； ；；；；鼓艿。。。。。；； ；；；；当勖孔鲆徊蕉纪Ａ粢幻，，，行动马上就会变得僵硬，，，整个使命的完成时间也会被拉长。。。。。。
对VLA来说，，，能不可在有限算力下快速输出下一步行动，，，和榜单分数一样主要。。。。。。
MiniCPM-RobotTrack也走了类似的小尺寸模子蹊径。。。。。。
它以MiniCPM4-0.5B为基础，，，整体参数规模为0.9B，，，主要测试三种真实场景。。。。。。
第一种是单目的跟踪。。。。。。给它一句明确指令，，，机械狗一连随着指定的人。。。。。。
第二种是多人滋扰。。。。。。周围几个人同时移动、交织甚至交流位置，，，模子依然要认准最初的目的。。。。。。
第三种更难，，，指令自己可能较量模糊。。。。。。好比只说“随着穿黑衣服的人”，，，现场又恰恰有多个衣着相近的人，，，模子需要连系画面明确人类究竟指的是谁。。。。。。
在没有举行下游强化学习优化的情形下，，，MiniCPM-RobotTrack在三类使命上的追踪率划分抵达89.8%、73.4%和80.4%，，，均取得开源方案中的最优效果。。。。。。
相比OpenTrackVLA，，，三项追踪率划分提高7.0、14.6和6.5个百分点。。。。。。
在相同的单视角、纯SFT设定下，，，与闭源模子TrackVLA++相比，，，它在单目的跟踪和模糊目的跟踪上的追踪率划分横跨8.8和17.0个百分点，，，模糊目的跟踪的乐成率抵达58.0%。。。。。。
参数小，，，体现却没有显着落伍。。。。。。
机械人模子的竞争，，，也最先从纯粹拼规模，，，转向拼单位算力究竟能换来几多能力。。。。。。
把机械人看到的天下压缩一下
MiniCPM-RobotManip能把尺寸压到1.5B，，，背后离不开面壁已往在多模态模子上的积累。。。。。。
它基于MiniCPM-V 4.6训练而来（开源不到2个月，，，下载量已突破200万）。。。。。。
面壁的MiniCPM-V/O系列已经一连迭代两年多，，，开源总下载量凌驾2500万。。。。。。已往积累的图像明确、视频明确和多模态信息处理能力，，，现在被进一步搬到了机械人身上。。。。。。
机械人执行一次行动，，，需要处理的信息着实许多。。。。。。
一台双臂机械人通；； ；；；；嵬蔽杖錾阆裢返幕，，，包括两个腕部相机和一个主视角相机，，，再加上一段文字指令，，，最后输出一个可以执行的行动。。。。。。
并且，，，这个历程一秒要重复好一再。。。。。。
若是每一张图片都被转换成大宗视觉Token，，，机械人运行得越久，，，需要处理的历史信息就越多，，，盘算量很快就会堆起来。。。。。。
MiniCPM-RobotManip接纳的步伐，，，是只管压缩视觉Token。。。。。。
桌面纹理、墙面图案等和目今使命关系不大的信息，，，不必占用太多Token。。。。。。模子用更短的数据体现保存要害内容，，，单次推理需要处理的信息量也随之下降。。。。。。
信息少了，，，推理自然更快。。。。。。对应到机械臂上，，，就是期待时间更短，，，行动衔接更顺。。。。。。
视觉Token压缩尚有一个更大的用处，，，可以资助机械人以更低本钱保存历史影象。。。。。。
通例要领每获得一张新画面，，，都要把此前的历史重新盘算一遍。。。。。。使命越长，，，盘算量增添得越快。。。。。。
MiniCPM-RobotManip接纳流式盘算，，，前面已经处理过的信息可以继续复用，，，新画面进来后，，，只需要接着往下盘算。。。。。。
这就有点像看一连剧的感受了。。。。。。
通俗做法每更新一集，，，都要从第一集重新看起；； ；；；；流式盘算则会记着之前的剧情，，，直接从最新一集接着看。。。。。。
机械人因此可以带着更长的历史继续执行使命，，，同时阻止盘算量一起暴涨。。。。。。
1.5B的尺寸，，，也和机械人的现实运行需求有关。。。。。。
面壁在将约200毫秒视为机械人操作体验的一道临界线。。。。。。再慢下去，，，机械臂和机械狗的卡顿感就会显着增添。。。。。。
目今大都VLA基础模子都控制在4B以内。。。。。。模子继续做大能带来几多真实操作收益，，，行业仍在验证。。。。。。
到了MiniCPM-RobotTrack这里，，，轻量化的思绪又换了一种实现方式。。。。。。
它把视觉画面、自然语言指令和机械人的控制决议放进统一个模子里统一处理。。。。。。
用户说一句“随着前面穿黑衣服的人”，，，模子会直接连系摄像头画面明确指令，，，再把判断转换成机械狗的运动控制。。。。。。
整个历程不需要特殊装置一套目的检测？？？？？椤⒁惶资侗鹉？？？？？，，，再接一套跟踪系统。。。。。。也不必外接开发板，，，只靠宇树Go2 Edu原装摄像头和外地算力，，，就能完成单目的跟踪、多人滋扰跟踪和模糊目的跟踪。。。。。。
不过，，，真实天下总会泛起训练集里很少见的情形。。。。。。
目的可能突然从镜头前横穿已往，，，也可能快速转弯，，，被其他人短暂盖住。。。。。。几个人同时交织走动时，，，机械狗还要阻止跟错人。。。。。。
这类场景数目少，，，却最容易让模子翻车。。。。。。以是，，，面壁为此搭建了一套自进化数据管线。。。。。。
团队先对原始数据举行检查和洗濯，，，把异常轨迹、过失行动和无效交互剔除掉。。。。。。随后让模子进入仿真和真实机械人情形，，，在一连运行中自动袒露自己的薄弱环节。。。。。。
系统再把这些容易蜕化的场景集中网络起来，，，通过专家战略举行纠偏，，，放回下一轮训练。。。。。。
说得通俗一点，，，这就像给机械狗准备了一本会自动更新的错题本。。。。。。
经由一轮轮闭环训练，，，目的横穿、快速转向、短时遮挡、多人交织这些长尾问题，，，也能一直获得增强。。。。。。
模子训好了，，，装到真机上仍然有一道关。。。。。。
摄像头收罗、画面编码、模子推理、行动天生、指令传输，，，任何一个环节慢下来，，，最终都会反映在机械狗的行动上。。。。。。
面壁围绕宇树Go2的完整运行链路做了系统级优化。。。。。。现在MiniCPM-RobotTrack在机械狗原生外地算力上可以稳固抵达5Hz以上，，，端到端响应延迟约180毫秒。。。。。。
这次开源的内容也不但有模子权重，，，还包括情形装置、模子加载、摄像头接入、文本指令输入、控制接口和一键启动剧本。。。。。。
准备一台Go2 Edu，，，就能凭证开源流程把模子安排起来。。。。。。
外地安排的利益，，，在电梯和停车场的演示里体现得很直接。。。。。。
机械人不必期待画面上传云端，，，也不必等远程服务器返回效果。。。。。。摄像头数据和用户指令留在外地，，，网络信号变差后，，，完整功效依然可以继续运行。。。。。。
直接拔掉网卡，，，机械狗照样能凭证摄像头画面和文字指令，，，完成目的识别、一连跟踪和运动控制。。。。。。
除了MiniCPM-Robot系列之外，，，这次尚有一项容易被忽略的宣布——PhyAI。。。。。。
它是一款面向Physical AI的开源推理框架，，，由明体科技联合北京邮电大学、北京大学研发。。。。。。
具身模子想从实验室跑到真实机械人上，，，中心还要经由硬件适配、量化、算子优化和安排。。。。。。
差别VLA、天下模子的结构差别很大。。。。。。每宣布一个新模子，，，再重新适配一次，，，时间和工程本钱都不低。。。。。。
PhyAI想做的，，，就是把这段路缩短。。。。。。
在RTX 5090上运行π0、π0.5和GR00T时，，，PhyAI相较模子官方客栈划分实现约2.85倍、1.82倍和2.28倍加速。。。。。。
适配MiniCPMRobot系列模子时，，，PhyAI先通过CUDA Graph把推理帧率从10.12Hz提高到33.28Hz，，，再加入为模子定制的融合算子，，，在NVIDIA H20上进一步提高到36.77Hz。。。。。。
前面是模子效果，，，这里解决的是工程效率。。。。。。
模子醒目活，，，还得尽快跑上硬件，，，跑得足够快，，，才华真正进入更多机械人。。。。。。
机械人需要又好又自制的大脑
具身智能行业历来不缺精彩Demo。。。。。。真正难的是脱离展台之后，，，机械人还能不可稳固事情。。。。。。
清华大学人工智能学院助理教授、面壁智能多模态首席科学家姚远在访谈中也提到：
现阶段不少机械人Demo会围绕简单使命收罗大宗数据，，，再举行针对性优化，，，展示效果并不可完全代表基础模子的真实进度。。。。。。面壁更看重模子的基础性、泛化性和通用性，，，希望先把数据、Infra和工程链路打磨好，，，让基础能力提升后自然笼罩更多场景。。。。。。沿着大语言模子的生长履历，，，具身智能最终也要走向“先通后专”，，，先明确物理天下的基本知识，，，再成为做饭、叠衣服或仓储作业等详细领域的专家。。。。。。
展馆、园区和工厂里，，，网络信号不会一直满格。。。。。；； ；；；；等嘶挂媪僖私、数据合规、使命失败和异；； ；；；；指吹纫涣质滴侍。。。。。。
榜单分数再高，，，走到地下停车场便停摆，，，落地空间依然有限。。。。。。
这也是面壁把端侧能力放在主要位置的原因。。。。。。
在与乐聚机械人的相助中，，，面壁把端侧多模态大模子、夸父机械人本体和导航系统组合到了一起，，，推出展厅导览Agent和园区巡检Agent。。。。。。
展厅导览机械人在无网情形下，，，也能基于外地知识库完成离线解说和自由问答。。。。。。它可以明确展厅情形和人的指令，，，妄想导览蹊径，，，同时完成避障。。。。。。
园区巡检机械人则可以识别车辆违停、路面异常和公共设施问题。。。。。。敏感画面直接在外地处理，，，数据留在客户侧。。。。。。
与吉祥汽车的相助，，，则进一步走进了生产仓储场景。。。。。。
面壁和吉祥配合训练VLA模子，，，再通过RoboHarness把VLM、VLA、机械人本体和导航系统接到一起，，，让机械人执行仓储中的长程使命。。。。。。
RoboHarness可以明确成物理天下里的Agent执行框架。。。。。。
上层VLM认真妄想使命，，，VLA和导航系统作为可以挪用的工具。。。。。？？？？？蚣芑够嶂卫沓な姑纳舷挛暮陀跋，，，遇到失败时举行重试和恢复。。。。。。
机械人每完成一次使命，，，运行数据还会进入可治理的数据闭环，，，继续资助模子进化。。。。。。
到这里，，，面壁此次在WAIC带来的具身智能蹊径已经较量清晰了。。。。。。
MiniCPM-RobotManip认真操作，，，让机械臂明确使命、记着历程，，，再把事情做完。。。。。。MiniCPM-RobotTrack认真跟踪导航，，，让机械狗在重大情形里认准目的，，，断网也能继续走。。。。。。PhyAI认真把模子更快地安排到真实硬件上。。。。。。
再往外，，，乐聚和吉祥的相助最先把模子、本体、导航和详细营业流程接起来。。。。。。
大语言模子时代，，，人们习习用参数目判断能力。。。。。。但机械人真正走进物理天下后，，，参数只是其中一个数字。。。。。。
它还得反映够快、记得住、断网能跑，，，数据留得下来，，，遇到意外能够恢复，，，本钱也要控制在企业愿意恒久使用的规模内。。。。。。
从这个角度看，，，1.5B和0.9B的意义，，，也就不止是“小”。。。。。。它们更像是在回覆一个很现实的问题：
当AI真正长脱手脚，，，除了智慧，，，还得跑得动、用得起，，，最后把活干完。。。。。。
GitHub链接：https://github.com/OpenBMB/MiniCPM-Robot
HuggingFace链接：https://huggingface.co/openbmb/MiniCPM-RobotManiphttps://huggingface.co/openbmb/MiniCPM-RobotTrack
