金磊 发自 上海量子位 | 公众号 QbitAI
一个新的国产VLA模子降生了，，并且只有1.5B。。。。。
Size这么。。。。。，能好用吗？？
来，，话未几说，，我们直接看效果：
视频地点：https://mp.weixin.qq.com/s/TWDuh4NmsamJ52E2A6ZpTw
在上面这个真机演示里，，两只机械臂围着桌面最先做三明治。。。。。它们分工相助，，先取面包，，再夹起生菜、火腿和鸡蛋，，一层层叠到一起。。。。。
再来看下另一段演示：
视频地点：https://mp.weixin.qq.com/s/TWDuh4NmsamJ52E2A6ZpTw
一只宇树机械狗收到“追随前面的人”这条指令后，，最先一起跟在目的死后。。。。。
从室外走进办公楼，，再进入电梯、地下停车。。。。。，机械狗始终没有跟丢。。。。。就算周围一直有人经由，，情形和光线也在转变，，它照旧能认准一最先指定的谁人人。。。。。
更要害的是，，这套能力直接跑在机械狗外地！
电梯和地下停车场往往是网络信号较量差的地方。。。。。纵然进入弱网甚至无网情形，，机械狗依然能继续识别目的、妄想行动，，坚持追随。。。。。
而在这两段Demo背后，，则是面壁智能在WAIC时代正式宣布并开源的MiniCPM-Robot系列模子。。。。。
现在包括两个模子：
MiniCPM-RobotManip：也就是开头控制机械臂做三明治的通用VLA模子，，参数目只有1.5B。。。。。MiniCPM-RobotTrack：主要认真机械人的跟踪与导航，，让机械人能够凭证自然语言指令，，在动态情形里一连跟住指定目的。。。。。
和它们一起泛起的，，尚有开源具身智能推理框架PhyAI，，认真让这些模子更快地适配硬件、跑到真实机械人上。。。。。
简朴来说，，一个认真让机械人“下手干活”，，一个认真让机械人“认准人、随着走”，，再配上一套认真高效推理的底座。。。。。
面壁这次端出来的，，已经是一套逐渐成形的具身智能组合。。。。。
跻身第一梯队，，延迟靠近一半
先来看MiniCPM-RobotManip。。。。。
虽然参数目只有1.5B，，但在LIBERO、Calvin、RoboTwin2等主流VLA评测里，，它的整体体现已经进入第一梯队，，与π0.5等模子处在相近水平。。。。。
真正把差别拉开的，，是对机械人影象力的磨练。。。。。
许多VLA模子在执行行动时，，主要凭证目今这一帧画面做判断。。。。。
好比让机械人点击画面里的第二个按钮5次。。。。。
若是它看不到前面的画面，，也记不住自己已经按过一再，，就很容易按一下便停，，或者一直按下去。。。。。
MiniCPM-RobotManip会把历史视察和此前执行过的行动一起纳入判断。。。。。它知道使命已经举行到哪一步，，也知道什么时间应该停下来。。。。。
在专门考察上下文影象的RMBench中，，π0.5的效果约为10分，，靠近随机水平，，MiniCPM-RobotManip则抵达约53分。。。。。
这项能力对真实机械人很主要。。。。。
叠衣服、料理桌面、做三明治，，看起来都是日常小事，，拆开后却包括一连串行动。。。。；；；；等酥豢囱矍埃，很容易做到一半便“失忆”；；；；能记着此前的状态，，才有时机把长使命完整做完。。。。。
除了记得。。。。。，机械人还得反映快。。。。。
面壁给出的单帧推理比照中，，在H100显卡、bf16精度下，，MiniCPM-RobotManip单次决议延迟约为120毫秒，，π0.5约为234毫秒，，前者靠近后者的一半。。。。。
这里的“本钱减半”，，主要是体现在推理延迟和盘算量上。。。。。
谈天模子多想一秒，，用户通；；；；鼓艿。。。。；；；；当勖孔鲆徊蕉纪Ａ粢幻耄，行动马上就会变得僵硬，，整个使命的完成时间也会被拉长。。。。。
对VLA来说，，能不可在有限算力下快速输出下一步行动，，和榜单分数一样主要。。。。。
MiniCPM-RobotTrack也走了类似的小尺寸模子蹊径。。。。。
它以MiniCPM4-0.5B为基。。。。。，整体参数规模为0.9B，，主要测试三种真实场景。。。。。
第一种是单目的跟踪。。。。。给它一句明确指令，，机械狗一连随着指定的人。。。。。
第二种是多人滋扰。。。。。周围几个人同时移动、交织甚至交流位置，，模子依然要认准最初的目的。。。。。
第三种更难，，指令自己可能较量模糊。。。。。好比只说“随着穿黑衣服的人”，，现场又恰恰有多个衣着相近的人，，模子需要连系画面明确人类究竟指的是谁。。。。。
在没有举行下游强化学习优化的情形下，，MiniCPM-RobotTrack在三类使命上的追踪率划分抵达89.8%、73.4%和80.4%，，均取得开源方案中的最优效果。。。。。
相比OpenTrackVLA，，三项追踪率划分提高7.0、14.6和6.5个百分点。。。。。
在相同的单视角、纯SFT设定下，，与闭源模子TrackVLA++相比，，它在单目的跟踪和模糊目的跟踪上的追踪率划分横跨8.8和17.0个百分点，，模糊目的跟踪的乐成率抵达58.0%。。。。。
参数。。。。。，体现却没有显着落伍。。。。。
机械人模子的竞争，，也最先从纯粹拼规模，，转向拼单位算力究竟能换来几多能力。。。。。
把机械人看到的天下压缩一下
MiniCPM-RobotManip能把尺寸压到1.5B，，背后离不开面壁已往在多模态模子上的积累。。。。。
它基于MiniCPM-V 4.6训练而来（开源不到2个月，，下载量已突破200万）。。。。。
面壁的MiniCPM-V/O系列已经一连迭代两年多，，开源总下载量凌驾2500万。。。。。已往积累的图像明确、视频明确和多模态信息处理能力，，现在被进一步搬到了机械人身上。。。。。
机械人执行一次行动，，需要处理的信息着实许多。。。。。
一台双臂机械人通；；；；嵬蔽杖錾阆裢返幕妫，包括两个腕部相机和一个主视角相机，，再加上一段文字指令，，最后输出一个可以执行的行动。。。。。
并且，，这个历程一秒要重复好一再。。。。。
若是每一张图片都被转换成大宗视觉Token，，机械人运行得越久，，需要处理的历史信息就越多，，盘算量很快就会堆起来。。。。。
MiniCPM-RobotManip接纳的步伐，，是只管压缩视觉Token。。。。。
桌面纹理、墙面图案等和目今使命关系不大的信息，，不必占用太多Token。。。。。模子用更短的数据体现保存要害内容，，单次推理需要处理的信息量也随之下降。。。。。
信息少了，，推理自然更快。。。。。对应到机械臂上，，就是期待时间更短，，行动衔接更顺。。。。。
视觉Token压缩尚有一个更大的用处，，可以资助机械人以更低本钱保存历史影象。。。。。
通例要领每获得一张新画面，，都要把此前的历史重新盘算一遍。。。。。使命越长，，盘算量增添得越快。。。。。
MiniCPM-RobotManip接纳流式盘算，，前面已经处理过的信息可以继续复用，，新画面进来后，，只需要接着往下盘算。。。。。
这就有点像看一连剧的感受了。。。。。
通俗做法每更新一集，，都要从第一集重新看起；；；；流式盘算则会记着之前的剧情，，直接从最新一集接着看。。。。。
机械人因此可以带着更长的历史继续执行使命，，同时阻止盘算量一起暴涨。。。。。
1.5B的尺寸，，也和机械人的现实运行需求有关。。。。。
面壁在将约200毫秒视为机械人操作体验的一道临界线。。。。。再慢下去，，机械臂和机械狗的卡顿感就会显着增添。。。。。
目今大都VLA基础模子都控制在4B以内。。。。。模子继续做大能带来几多真实操作收益，，行业仍在验证。。。。。
到了MiniCPM-RobotTrack这里，，轻量化的思绪又换了一种实现方式。。。。。
它把视觉画面、自然语言指令和机械人的控制决议放进统一个模子里统一处理。。。。。
用户说一句“随着前面穿黑衣服的人”，，模子会直接连系摄像头画面明确指令，，再把判断转换成机械狗的运动控制。。。。。
整个历程不需要特殊装置一套目的检测？？椤⒁惶资侗鹉？？椋，再接一套跟踪系统。。。。。也不必外接开发板，，只靠宇树Go2 Edu原装摄像头和外地算力，，就能完成单目的跟踪、多人滋扰跟踪和模糊目的跟踪。。。。。
不过，，真实天下总会泛起训练集里很少见的情形。。。。。
目的可能突然从镜头前横穿已往，，也可能快速转弯，，被其他人短暂盖住。。。。。几个人同时交织走动时，，机械狗还要阻止跟错人。。。。。
这类场景数目少，，却最容易让模子翻车。。。。。以是，，面壁为此搭建了一套自进化数据管线。。。。。
团队先对原始数据举行检查和洗濯，，把异常轨迹、过失行动和无效交互剔除掉。。。。。随后让模子进入仿真和真实机械人情形，，在一连运行中自动袒露自己的薄弱环节。。。。。
系统再把这些容易蜕化的场景集中网络起来，，通过专家战略举行纠偏，，放回下一轮训练。。。。。
说得通俗一点，，这就像给机械狗准备了一本会自动更新的错题本。。。。。
经由一轮轮闭环训练，，目的横穿、快速转向、短时遮挡、多人交织这些长尾问题，，也能一直获得增强。。。。。
模子训好了，，装到真机上仍然有一道关。。。。。
摄像头收罗、画面编码、模子推理、行动天生、指令传输，，任何一个环节慢下来，，最终都会反映在机械狗的行动上。。。。。
面壁围绕宇树Go2的完整运行链路做了系统级优化。。。。。现在MiniCPM-RobotTrack在机械狗原生外地算力上可以稳固抵达5Hz以上，，端到端响应延迟约180毫秒。。。。。
这次开源的内容也不但有模子权重，，还包括情形装置、模子加载、摄像头接入、文本指令输入、控制接口和一键启动剧本。。。。。
准备一台Go2 Edu，，就能凭证开源流程把模子安排起来。。。。。
外地安排的利益，，在电梯和停车场的演示里体现得很直接。。。。。
机械人不必期待画面上传云端，，也不必等远程服务器返回效果。。。。。摄像头数据和用户指令留在外地，，网络信号变差后，，完整功效依然可以继续运行。。。。。
直接拔掉网卡，，机械狗照样能凭证摄像头画面和文字指令，，完成目的识别、一连跟踪和运动控制。。。。。
除了MiniCPM-Robot系列之外，，这次尚有一项容易被忽略的宣布——PhyAI。。。。。
它是一款面向Physical AI的开源推理框架，，由明体科技联合北京邮电大学、北京大学研发。。。。。
具身模子想从实验室跑到真实机械人上，，中心还要经由硬件适配、量化、算子优化和安排。。。。。
差别VLA、天下模子的结构差别很大。。。。。每宣布一个新模子，，再重新适配一次，，时间和工程本钱都不低。。。。。
PhyAI想做的，，就是把这段路缩短。。。。。
在RTX 5090上运行π0、π0.5和GR00T时，，PhyAI相较模子官方客栈划分实现约2.85倍、1.82倍和2.28倍加速。。。。。
适配MiniCPMRobot系列模子时，，PhyAI先通过CUDA Graph把推理帧率从10.12Hz提高到33.28Hz，，再加入为模子定制的融合算子，，在NVIDIA H20上进一步提高到36.77Hz。。。。。
前面是模子效果，，这里解决的是工程效率。。。。。
模子醒目活，，还得尽快跑上硬件，，跑得足够快，，才华真正进入更多机械人。。。。。
机械人需要又好又自制的大脑
具身智能行业历来不缺精彩Demo。。。。。真正难的是脱离展台之后，，机械人还能不可稳固事情。。。。。
清华大学人工智能学院助理教授、面壁智能多模态首席科学家姚远在访谈中也提到：
现阶段不少机械人Demo会围绕简单使命收罗大宗数据，，再举行针对性优化，，展示效果并不可完全代表基础模子的真实进度。。。。。面壁更看重模子的基础性、泛化性和通用性，，希望先把数据、Infra和工程链路打磨好，，让基础能力提升后自然笼罩更多场景。。。。。沿着大语言模子的生长履历，，具身智能最终也要走向“先通后专”，，先明确物理天下的基本知识，，再成为做饭、叠衣服或仓储作业等详细领域的专家。。。。。
展馆、园区和工厂里，，网络信号不会一直满格。。。。；；；；等嘶挂媪僖私、数据合规、使命失败和异；；；；指吹纫涣质滴侍。。。。。
榜单分数再高，，走到地下停车场便停摆，，落地空间依然有限。。。。。
这也是面壁把端侧能力放在主要位置的原因。。。。。
在与乐聚机械人的相助中，，面壁把端侧多模态大模子、夸父机械人本体和导航系统组合到了一起，，推出展厅导览Agent和园区巡检Agent。。。。。
展厅导览机械人在无网情形下，，也能基于外地知识库完成离线解说和自由问答。。。。。它可以明确展厅情形和人的指令，，妄想导览蹊径，，同时完成避障。。。。。
园区巡检机械人则可以识别车辆违停、路面异常和公共设施问题。。。。。敏感画面直接在外地处理，，数据留在客户侧。。。。。
与吉祥汽车的相助，，则进一步走进了生产仓储场景。。。。。
面壁和吉祥配合训练VLA模子，，再通过RoboHarness把VLM、VLA、机械人本体和导航系统接到一起，，让机械人执行仓储中的长程使命。。。。。
RoboHarness可以明确成物理天下里的Agent执行框架。。。。。
上层VLM认真妄想使命，，VLA和导航系统作为可以挪用的工具。。。。？？蚣芑够嶂卫沓な姑纳舷挛暮陀跋螅，遇到失败时举行重试和恢复。。。。。
机械人每完成一次使命，，运行数据还会进入可治理的数据闭环，，继续资助模子进化。。。。。
到这里，，面壁此次在WAIC带来的具身智能蹊径已经较量清晰了。。。。。
MiniCPM-RobotManip认真操作，，让机械臂明确使命、记着历程，，再把事情做完。。。。。MiniCPM-RobotTrack认真跟踪导航，，让机械狗在重大情形里认准目的，，断网也能继续走。。。。。PhyAI认真把模子更快地安排到真实硬件上。。。。。
再往外，，乐聚和吉祥的相助最先把模子、本体、导航和详细营业流程接起来。。。。。
大语言模子时代，，人们习习用参数目判断能力。。。。。但机械人真正走进物理天下后，，参数只是其中一个数字。。。。。
它还得反映够快、记得住、断网能跑，，数据留得下来，，遇到意外能够恢复，，本钱也要控制在企业愿意恒久使用的规模内。。。。。
从这个角度看，，1.5B和0.9B的意义，，也就不止是“小”。。。。。它们更像是在回覆一个很现实的问题：
当AI真正长脱手脚，，除了智慧，，还得跑得动、用得起，，最后把活干完。。。。。
GitHub链接：https://github.com/OpenBMB/MiniCPM-Robot
HuggingFace链接：https://huggingface.co/openbmb/MiniCPM-RobotManiphttps://huggingface.co/openbmb/MiniCPM-RobotTrack
