金磊 发自 上海量子位 | 公众号 QbitAI
一个新的国产VLA模子降生了，，，并且只有1.5B 。。
Size这么小，，，能好用吗？？？？？？
来，，，话未几说，，，我们直接看效果：
视频地点：https://mp.weixin.qq.com/s/TWDuh4NmsamJ52E2A6ZpTw
在上面这个真机演示里，，，两只机械臂围着桌面最先做三明治 。。它们分工相助，，，先取面包，，，再夹起生菜、火腿和鸡蛋，，，一层层叠到一起 。。
再来看下另一段演示：
视频地点：https://mp.weixin.qq.com/s/TWDuh4NmsamJ52E2A6ZpTw
一只宇树机械狗收到“追随前面的人”这条指令后，，，最先一起跟在目的死后 。。
从室外走进办公楼，，，再进入电梯、地下停车场，，，机械狗始终没有跟丢 。。就算周围一直有人经由，，，情形和光线也在转变，，，它照旧能认准一最先指定的谁人人 。。
更要害的是，，，这套能力直接跑在机械狗外地！
电梯和地下停车场往往是网络信号较量差的地方 。。纵然进入弱网甚至无网情形，，，机械狗依然能继续识别目的、妄想行动，，，坚持追随 。。
而在这两段Demo背后，，，则是面壁智能在WAIC时代正式宣布并开源的MiniCPM-Robot系列模子 。。
现在包括两个模子：
MiniCPM-RobotManip：也就是开头控制机械臂做三明治的通用VLA模子，，，参数目只有1.5B 。。MiniCPM-RobotTrack：主要认真机械人的跟踪与导航，，，让机械人能够凭证自然语言指令，，，在动态情形里一连跟住指定目的 。。
和它们一起泛起的，，，尚有开源具身智能推理框架PhyAI，，，认真让这些模子更快地适配硬件、跑到真实机械人上 。。
简朴来说，，，一个认真让机械人“下手干活”，，，一个认真让机械人“认准人、随着走”，，，再配上一套认真高效推理的底座 。。
面壁这次端出来的，，，已经是一套逐渐成形的具身智能组合 。。
跻身第一梯队，，，延迟靠近一半
先来看MiniCPM-RobotManip 。。
虽然参数目只有1.5B，，，但在LIBERO、Calvin、RoboTwin2等主流VLA评测里，，，它的整体体现已经进入第一梯队，，，与π0.5等模子处在相近水平 。。
真正把差别拉开的，，，是对机械人影象力的磨练 。。
许多VLA模子在执行行动时，，，主要凭证目今这一帧画面做判断 。。
好比让机械人点击画面里的第二个按钮5次 。。
若是它看不到前面的画面，，，也记不住自己已经按过一再，，，就很容易按一下便停，，，或者一直按下去 。。
MiniCPM-RobotManip会把历史视察和此前执行过的行动一起纳入判断 。。它知道使命已经举行到哪一步，，，也知道什么时间应该停下来 。。
在专门考察上下文影象的RMBench中，，，π0.5的效果约为10分，，，靠近随机水平，，，MiniCPM-RobotManip则抵达约53分 。。
这项能力对真实机械人很主要 。。
叠衣服、料理桌面、做三明治，，，看起来都是日常小事，，，拆开后却包括一连串行动 。。；； ；；等酥豢囱矍，，，很容易做到一半便“失忆”；；； ；；能记着此前的状态，，，才有时机把长使命完整做完 。。
除了记得住，，，机械人还得反映快 。。
面壁给出的单帧推理比照中，，，在H100显卡、bf16精度下，，，MiniCPM-RobotManip单次决议延迟约为120毫秒，，，π0.5约为234毫秒，，，前者靠近后者的一半 。。
这里的“本钱减半”，，，主要是体现在推理延迟和盘算量上 。。
谈天模子多想一秒，，，用户通常；； ；；鼓艿 。。；； ；；当勖孔鲆徊蕉纪Ａ粢幻，，，行动马上就会变得僵硬，，，整个使命的完成时间也会被拉长 。。
对VLA来说，，，能不可在有限算力下快速输出下一步行动，，，和榜单分数一样主要 。。
MiniCPM-RobotTrack也走了类似的小尺寸模子蹊径 。。
它以MiniCPM4-0.5B为基础，，，整体参数规模为0.9B，，，主要测试三种真实场景 。。
第一种是单目的跟踪 。。给它一句明确指令，，，机械狗一连随着指定的人 。。
第二种是多人滋扰 。。周围几个人同时移动、交织甚至交流位置，，，模子依然要认准最初的目的 。。
第三种更难，，，指令自己可能较量模糊 。。好比只说“随着穿黑衣服的人”，，，现场又恰恰有多个衣着相近的人，，，模子需要连系画面明确人类究竟指的是谁 。。
在没有举行下游强化学习优化的情形下，，，MiniCPM-RobotTrack在三类使命上的追踪率划分抵达89.8%、73.4%和80.4%，，，均取得开源方案中的最优效果 。。
相比OpenTrackVLA，，，三项追踪率划分提高7.0、14.6和6.5个百分点 。。
在相同的单视角、纯SFT设定下，，，与闭源模子TrackVLA++相比，，，它在单目的跟踪和模糊目的跟踪上的追踪率划分横跨8.8和17.0个百分点，，，模糊目的跟踪的乐成率抵达58.0% 。。
参数小，，，体现却没有显着落伍 。。
机械人模子的竞争，，，也最先从纯粹拼规模，，，转向拼单位算力究竟能换来几多能力 。。
把机械人看到的天下压缩一下
MiniCPM-RobotManip能把尺寸压到1.5B，，，背后离不开面壁已往在多模态模子上的积累 。。
它基于MiniCPM-V 4.6训练而来（开源不到2个月，，，下载量已突破200万） 。。
面壁的MiniCPM-V/O系列已经一连迭代两年多，，，开源总下载量凌驾2500万 。。已往积累的图像明确、视频明确和多模态信息处理能力，，，现在被进一步搬到了机械人身上 。。
机械人执行一次行动，，，需要处理的信息着实许多 。。
一台双臂机械人通常；； ；；嵬蔽杖錾阆裢返幕，，，包括两个腕部相机和一个主视角相机，，，再加上一段文字指令，，，最后输出一个可以执行的行动 。。
并且，，，这个历程一秒要重复好一再 。。
若是每一张图片都被转换成大宗视觉Token，，，机械人运行得越久，，，需要处理的历史信息就越多，，，盘算量很快就会堆起来 。。
MiniCPM-RobotManip接纳的步伐，，，是只管压缩视觉Token 。。
桌面纹理、墙面图案等和目今使命关系不大的信息，，，不必占用太多Token 。。模子用更短的数据体现保存要害内容，，，单次推理需要处理的信息量也随之下降 。。
信息少了，，，推理自然更快 。。对应到机械臂上，，，就是期待时间更短，，，行动衔接更顺 。。
视觉Token压缩尚有一个更大的用处，，，可以资助机械人以更低本钱保存历史影象 。。
通例要领每获得一张新画面，，，都要把此前的历史重新盘算一遍 。。使命越长，，，盘算量增添得越快 。。
MiniCPM-RobotManip接纳流式盘算，，，前面已经处理过的信息可以继续复用，，，新画面进来后，，，只需要接着往下盘算 。。
这就有点像看一连剧的感受了 。。
通俗做法每更新一集，，，都要从第一集重新看起；；； ；；流式盘算则会记着之前的剧情，，，直接从最新一集接着看 。。
机械人因此可以带着更长的历史继续执行使命，，，同时阻止盘算量一起暴涨 。。
1.5B的尺寸，，，也和机械人的现实运行需求有关 。。
面壁在将约200毫秒视为机械人操作体验的一道临界线 。。再慢下去，，，机械臂和机械狗的卡顿感就会显着增添 。。
目今大都VLA基础模子都控制在4B以内 。。模子继续做大能带来几多真实操作收益，，，行业仍在验证 。。
到了MiniCPM-RobotTrack这里，，，轻量化的思绪又换了一种实现方式 。。
它把视觉画面、自然语言指令和机械人的控制决议放进统一个模子里统一处理 。。
用户说一句“随着前面穿黑衣服的人”，，，模子会直接连系摄像头画面明确指令，，，再把判断转换成机械狗的运动控制 。。
整个历程不需要特殊装置一套目的检测？？？？？？椤⒁惶资侗鹉？？？？？？，，，再接一套跟踪系统 。。也不必外接开发板，，，只靠宇树Go2 Edu原装摄像头和外地算力，，，就能完成单目的跟踪、多人滋扰跟踪和模糊目的跟踪 。。
不过，，，真实天下总会泛起训练集里很少见的情形 。。
目的可能突然从镜头前横穿已往，，，也可能快速转弯，，，被其他人短暂盖住 。。几个人同时交织走动时，，，机械狗还要阻止跟错人 。。
这类场景数目少，，，却最容易让模子翻车 。。以是，，，面壁为此搭建了一套自进化数据管线 。。
团队先对原始数据举行检查和洗濯，，，把异常轨迹、过失行动和无效交互剔除掉 。。随后让模子进入仿真和真实机械人情形，，，在一连运行中自动袒露自己的薄弱环节 。。
系统再把这些容易蜕化的场景集中网络起来，，，通过专家战略举行纠偏，，，放回下一轮训练 。。
说得通俗一点，，，这就像给机械狗准备了一本会自动更新的错题本 。。
经由一轮轮闭环训练，，，目的横穿、快速转向、短时遮挡、多人交织这些长尾问题，，，也能一直获得增强 。。
模子训好了，，，装到真机上仍然有一道关 。。
摄像头收罗、画面编码、模子推理、行动天生、指令传输，，，任何一个环节慢下来，，，最终都会反映在机械狗的行动上 。。
面壁围绕宇树Go2的完整运行链路做了系统级优化 。。现在MiniCPM-RobotTrack在机械狗原生外地算力上可以稳固抵达5Hz以上，，，端到端响应延迟约180毫秒 。。
这次开源的内容也不但有模子权重，，，还包括情形装置、模子加载、摄像头接入、文本指令输入、控制接口和一键启动剧本 。。
准备一台Go2 Edu，，，就能凭证开源流程把模子安排起来 。。
外地安排的利益，，，在电梯和停车场的演示里体现得很直接 。。
机械人不必期待画面上传云端，，，也不必等远程服务器返回效果 。。摄像头数据和用户指令留在外地，，，网络信号变差后，，，完整功效依然可以继续运行 。。
直接拔掉网卡，，，机械狗照样能凭证摄像头画面和文字指令，，，完成目的识别、一连跟踪和运动控制 。。
除了MiniCPM-Robot系列之外，，，这次尚有一项容易被忽略的宣布——PhyAI 。。
它是一款面向Physical AI的开源推理框架，，，由明体科技联合北京邮电大学、北京大学研发 。。
具身模子想从实验室跑到真实机械人上，，，中心还要经由硬件适配、量化、算子优化和安排 。。
差别VLA、天下模子的结构差别很大 。。每宣布一个新模子，，，再重新适配一次，，，时间和工程本钱都不低 。。
PhyAI想做的，，，就是把这段路缩短 。。
在RTX 5090上运行π0、π0.5和GR00T时，，，PhyAI相较模子官方客栈划分实现约2.85倍、1.82倍和2.28倍加速 。。
适配MiniCPMRobot系列模子时，，，PhyAI先通过CUDA Graph把推理帧率从10.12Hz提高到33.28Hz，，，再加入为模子定制的融合算子，，，在NVIDIA H20上进一步提高到36.77Hz 。。
前面是模子效果，，，这里解决的是工程效率 。。
模子醒目活，，，还得尽快跑上硬件，，，跑得足够快，，，才华真正进入更多机械人 。。
机械人需要又好又自制的大脑
具身智能行业历来不缺精彩Demo 。。真正难的是脱离展台之后，，，机械人还能不可稳固事情 。。
清华大学人工智能学院助理教授、面壁智能多模态首席科学家姚远在访谈中也提到：
现阶段不少机械人Demo会围绕简单使命收罗大宗数据，，，再举行针对性优化，，，展示效果并不可完全代表基础模子的真实进度 。。面壁更看重模子的基础性、泛化性和通用性，，，希望先把数据、Infra和工程链路打磨好，，，让基础能力提升后自然笼罩更多场景 。。沿着大语言模子的生长履历，，，具身智能最终也要走向“先通后专”，，，先明确物理天下的基本知识，，，再成为做饭、叠衣服或仓储作业等详细领域的专家 。。
展馆、园区和工厂里，，，网络信号不会一直满格 。。；； ；；等嘶挂媪僖私、数据合规、使命失败和异常；； ；；指吹纫涣质滴侍 。。
榜单分数再高，，，走到地下停车场便停摆，，，落地空间依然有限 。。
这也是面壁把端侧能力放在主要位置的原因 。。
在与乐聚机械人的相助中，，，面壁把端侧多模态大模子、夸父机械人本体和导航系统组合到了一起，，，推出展厅导览Agent和园区巡检Agent 。。
展厅导览机械人在无网情形下，，，也能基于外地知识库完成离线解说和自由问答 。。它可以明确展厅情形和人的指令，，，妄想导览蹊径，，，同时完成避障 。。
园区巡检机械人则可以识别车辆违停、路面异常和公共设施问题 。。敏感画面直接在外地处理，，，数据留在客户侧 。。
与吉祥汽车的相助，，，则进一步走进了生产仓储场景 。。
面壁和吉祥配合训练VLA模子，，，再通过RoboHarness把VLM、VLA、机械人本体和导航系统接到一起，，，让机械人执行仓储中的长程使命 。。
RoboHarness可以明确成物理天下里的Agent执行框架 。。
上层VLM认真妄想使命，，，VLA和导航系统作为可以挪用的工具 。？？？？？？蚣芑够嶂卫沓な姑纳舷挛暮陀跋，，，遇到失败时举行重试和恢复 。。
机械人每完成一次使命，，，运行数据还会进入可治理的数据闭环，，，继续资助模子进化 。。
到这里，，，面壁此次在WAIC带来的具身智能蹊径已经较量清晰了 。。
MiniCPM-RobotManip认真操作，，，让机械臂明确使命、记着历程，，，再把事情做完 。。MiniCPM-RobotTrack认真跟踪导航，，，让机械狗在重大情形里认准目的，，，断网也能继续走 。。PhyAI认真把模子更快地安排到真实硬件上 。。
再往外，，，乐聚和吉祥的相助最先把模子、本体、导航和详细营业流程接起来 。。
大语言模子时代，，，人们习习用参数目判断能力 。。但机械人真正走进物理天下后，，，参数只是其中一个数字 。。
它还得反映够快、记得住、断网能跑，，，数据留得下来，，，遇到意外能够恢复，，，本钱也要控制在企业愿意恒久使用的规模内 。。
从这个角度看，，，1.5B和0.9B的意义，，，也就不止是“小” 。。它们更像是在回覆一个很现实的问题：
当AI真正长脱手脚，，，除了智慧，，，还得跑得动、用得起，，，最后把活干完 。。
GitHub链接：https://github.com/OpenBMB/MiniCPM-Robot
HuggingFace链接：https://huggingface.co/openbmb/MiniCPM-RobotManiphttps://huggingface.co/openbmb/MiniCPM-RobotTrack
