软件先容

彩天堂方使用指南

第一步：导入文件

翻开软件，，，点击"?添加 彩天堂方"按钮，，，从电脑中选择《彩天堂方》文件，，，或直接将其拖拽至软件界面中。。

第二步：设置剖析

软件会自动识别并剖析导入的文件，，，您可凭证界面提醒选择所需的生涯路径或下载名堂。。

第三步：最先下载

确认无误后，，，点击"最先下载/处理"按钮。。期待进度条读取完毕，，，即可在设定的文件夹中审查下载好的正版文件。。

1.5B开源通用VLA模子，，，冲进具身智能第一梯队，，，彩天堂方

金磊 发自 上海量子位 | 公众号 QbitAI

一个新的国产VLA模子降生了，，，并且只有1.5B。。

Size这么小，，，能好用吗？？？？？？

来，，，话未几说，，，我们直接看效果：

视频地点：https://mp.weixin.qq.com/s/TWDuh4NmsamJ52E2A6ZpTw

在上面这个真机演示里，，，两只机械臂围着桌面最先做三明治。。它们分工相助，，，先取面包，，，再夹起生菜、火腿和鸡蛋，，，一层层叠到一起。。

再来看下另一段演示：

视频地点：https://mp.weixin.qq.com/s/TWDuh4NmsamJ52E2A6ZpTw

一只宇树机械狗收到“追随前面的人”这条指令后，，，最先一起跟在目的死后。。

从室外走进办公楼，，，再进入电梯、地下停车场，，，机械狗始终没有跟丢。。就算周围一直有人经由，，，情形和光线也在转变，，，它照旧能认准一最先指定的谁人人。。

更要害的是，，，这套能力直接跑在机械狗外地！

电梯和地下停车场往往是网络信号较量差的地方。。纵然进入弱网甚至无网情形，，，机械狗依然能继续识别目的、妄想行动，，，坚持追随。。

而在这两段Demo背后，，，则是面壁智能在WAIC时代正式宣布并开源的MiniCPM-Robot系列模子。。

现在包括两个模子：

MiniCPM-RobotManip：也就是开头控制机械臂做三明治的通用VLA模子，，，参数目只有1.5B。。MiniCPM-RobotTrack：主要认真机械人的跟踪与导航，，，让机械人能够凭证自然语言指令，，，在动态情形里一连跟住指定目的。。

和它们一起泛起的，，，尚有开源具身智能推理框架PhyAI，，，认真让这些模子更快地适配硬件、跑到真实机械人上。。

简朴来说，，，一个认真让机械人“下手干活”，，，一个认真让机械人“认准人、随着走”，，，再配上一套认真高效推理的底座。。

面壁这次端出来的，，，已经是一套逐渐成形的具身智能组合。。

跻身第一梯队，，，延迟靠近一半

先来看MiniCPM-RobotManip。。

虽然参数目只有1.5B，，，但在LIBERO、Calvin、RoboTwin2等主流VLA评测里，，，它的整体体现已经进入第一梯队，，，与π0.5等模子处在相近水平。。

真正把差别拉开的，，，是对机械人影象力的磨练。。

许多VLA模子在执行行动时，，，主要凭证目今这一帧画面做判断。。

好比让机械人点击画面里的第二个按钮5次。。

若是它看不到前面的画面，，，也记不住自己已经按过一再，，，就很容易按一下便停，，，或者一直按下去。。

MiniCPM-RobotManip会把历史视察和此前执行过的行动一起纳入判断。。它知道使命已经举行到哪一步，，，也知道什么时间应该停下来。。

在专门考察上下文影象的RMBench中，，，π0.5的效果约为10分，，，靠近随机水平，，，MiniCPM-RobotManip则抵达约53分。。

这项能力对真实机械人很主要。。

叠衣服、料理桌面、做三明治，，，看起来都是日常小事，，，拆开后却包括一连串行动。。唬
；；等酥豢囱矍，，，很容易做到一半便“失忆”；；
；；能记着此前的状态，，，才有时机把长使命完整做完。。

除了记得住，，，机械人还得反映快。。

面壁给出的单帧推理比照中，，，在H100显卡、bf16精度下，，，MiniCPM-RobotManip单次决议延迟约为120毫秒，，，π0.5约为234毫秒，，，前者靠近后者的一半。。

这里的“本钱减半”，，，主要是体现在推理延迟和盘算量上。。

谈天模子多想一秒，，，用户通常唬
；；鼓艿取。唬
；；当勖孔鲆徊蕉纪Ａ粢幻，，，行动马上就会变得僵硬，，，整个使命的完成时间也会被拉长。。

对VLA来说，，，能不可在有限算力下快速输出下一步行动，，，和榜单分数一样主要。。

MiniCPM-RobotTrack也走了类似的小尺寸模子蹊径。。

它以MiniCPM4-0.5B为基础，，，整体参数规模为0.9B，，，主要测试三种真实场景。。

第一种是单目的跟踪。。给它一句明确指令，，，机械狗一连随着指定的人。。

第二种是多人滋扰。。周围几个人同时移动、交织甚至交流位置，，，模子依然要认准最初的目的。。

第三种更难，，，指令自己可能较量模糊。。好比只说“随着穿黑衣服的人”，，，现场又恰恰有多个衣着相近的人，，，模子需要连系画面明确人类究竟指的是谁。。

在没有举行下游强化学习优化的情形下，，，MiniCPM-RobotTrack在三类使命上的追踪率划分抵达89.8%、73.4%和80.4%，，，均取得开源方案中的最优效果。。

相比OpenTrackVLA，，，三项追踪率划分提高7.0、14.6和6.5个百分点。。

在相同的单视角、纯SFT设定下，，，与闭源模子TrackVLA++相比，，，它在单目的跟踪和模糊目的跟踪上的追踪率划分横跨8.8和17.0个百分点，，，模糊目的跟踪的乐成率抵达58.0%。。

参数小，，，体现却没有显着落伍。。

机械人模子的竞争，，，也最先从纯粹拼规模，，，转向拼单位算力究竟能换来几多能力。。

把机械人看到的天下压缩一下

MiniCPM-RobotManip能把尺寸压到1.5B，，，背后离不开面壁已往在多模态模子上的积累。。

它基于MiniCPM-V 4.6训练而来（开源不到2个月，，，下载量已突破200万）。。

面壁的MiniCPM-V/O系列已经一连迭代两年多，，，开源总下载量凌驾2500万。。已往积累的图像明确、视频明确和多模态信息处理能力，，，现在被进一步搬到了机械人身上。。

机械人执行一次行动，，，需要处理的信息着实许多。。

一台双臂机械人通常唬
；；嵬蔽杖錾阆裢返幕，，，包括两个腕部相机和一个主视角相机，，，再加上一段文字指令，，，最后输出一个可以执行的行动。。

并且，，，这个历程一秒要重复好一再。。

若是每一张图片都被转换成大宗视觉Token，，，机械人运行得越久，，，需要处理的历史信息就越多，，，盘算量很快就会堆起来。。

MiniCPM-RobotManip接纳的步伐，，，是只管压缩视觉Token。。

桌面纹理、墙面图案等和目今使命关系不大的信息，，，不必占用太多Token。。模子用更短的数据体现保存要害内容，，，单次推理需要处理的信息量也随之下降。。

信息少了，，，推理自然更快。。对应到机械臂上，，，就是期待时间更短，，，行动衔接更顺。。

视觉Token压缩尚有一个更大的用处，，，可以资助机械人以更低本钱保存历史影象。。

通例要领每获得一张新画面，，，都要把此前的历史重新盘算一遍。。使命越长，，，盘算量增添得越快。。

MiniCPM-RobotManip接纳流式盘算，，，前面已经处理过的信息可以继续复用，，，新画面进来后，，，只需要接着往下盘算。。

这就有点像看一连剧的感受了。。

通俗做法每更新一集，，，都要从第一集重新看起；；
；；流式盘算则会记着之前的剧情，，，直接从最新一集接着看。。

机械人因此可以带着更长的历史继续执行使命，，，同时阻止盘算量一起暴涨。。

1.5B的尺寸，，，也和机械人的现实运行需求有关。。

面壁在将约200毫秒视为机械人操作体验的一道临界线。。再慢下去，，，机械臂和机械狗的卡顿感就会显着增添。。

目今大都VLA基础模子都控制在4B以内。。模子继续做大能带来几多真实操作收益，，，行业仍在验证。。

到了MiniCPM-RobotTrack这里，，，轻量化的思绪又换了一种实现方式。。

它把视觉画面、自然语言指令和机械人的控制决议放进统一个模子里统一处理。。

用户说一句“随着前面穿黑衣服的人”，，，模子会直接连系摄像头画面明确指令，，，再把判断转换成机械狗的运动控制。。

整个历程不需要特殊装置一套目的检测模？？？？？椤⒁惶资侗鹉？？？？？？，，，再接一套跟踪系统。。也不必外接开发板，，，只靠宇树Go2 Edu原装摄像头和外地算力，，，就能完成单目的跟踪、多人滋扰跟踪和模糊目的跟踪。。

不过，，，真实天下总会泛起训练集里很少见的情形。。

目的可能突然从镜头前横穿已往，，，也可能快速转弯，，，被其他人短暂盖住。。几个人同时交织走动时，，，机械狗还要阻止跟错人。。

这类场景数目少，，，却最容易让模子翻车。。以是，，，面壁为此搭建了一套自进化数据管线。。

团队先对原始数据举行检查和洗濯，，，把异常轨迹、过失行动和无效交互剔除掉。。随后让模子进入仿真和真实机械人情形，，，在一连运行中自动袒露自己的薄弱环节。。

系统再把这些容易蜕化的场景集中网络起来，，，通过专家战略举行纠偏，，，放回下一轮训练。。

说得通俗一点，，，这就像给机械狗准备了一本会自动更新的错题本。。

经由一轮轮闭环训练，，，目的横穿、快速转向、短时遮挡、多人交织这些长尾问题，，，也能一直获得增强。。

模子训好了，，，装到真机上仍然有一道关。。

摄像头收罗、画面编码、模子推理、行动天生、指令传输，，，任何一个环节慢下来，，，最终都会反映在机械狗的行动上。。

面壁围绕宇树Go2的完整运行链路做了系统级优化。。现在MiniCPM-RobotTrack在机械狗原生外地算力上可以稳固抵达5Hz以上，，，端到端响应延迟约180毫秒。。

这次开源的内容也不但有模子权重，，，还包括情形装置、模子加载、摄像头接入、文本指令输入、控制接口和一键启动剧本。。

准备一台Go2 Edu，，，就能凭证开源流程把模子安排起来。。

外地安排的利益，，，在电梯和停车场的演示里体现得很直接。。

机械人不必期待画面上传云端，，，也不必等远程服务器返回效果。。摄像头数据和用户指令留在外地，，，网络信号变差后，，，完整功效依然可以继续运行。。

直接拔掉网卡，，，机械狗照样能凭证摄像头画面和文字指令，，，完成目的识别、一连跟踪和运动控制。。

除了MiniCPM-Robot系列之外，，，这次尚有一项容易被忽略的宣布——PhyAI。。

它是一款面向Physical AI的开源推理框架，，，由明体科技联合北京邮电大学、北京大学研发。。

具身模子想从实验室跑到真实机械人上，，，中心还要经由硬件适配、量化、算子优化和安排。。

差别VLA、天下模子的结构差别很大。。每宣布一个新模子，，，再重新适配一次，，，时间和工程本钱都不低。。

PhyAI想做的，，，就是把这段路缩短。。

在RTX 5090上运行π0、π0.5和GR00T时，，，PhyAI相较模子官方客栈划分实现约2.85倍、1.82倍和2.28倍加速。。

适配MiniCPMRobot系列模子时，，，PhyAI先通过CUDA Graph把推理帧率从10.12Hz提高到33.28Hz，，，再加入为模子定制的融合算子，，，在NVIDIA H20上进一步提高到36.77Hz。。

前面是模子效果，，，这里解决的是工程效率。。

模子醒目活，，，还得尽快跑上硬件，，，跑得足够快，，，才华真正进入更多机械人。。

机械人需要又好又自制的大脑

具身智能行业历来不缺精彩Demo。。真正难的是脱离展台之后，，，机械人还能不可稳固事情。。

清华大学人工智能学院助理教授、面壁智能多模态首席科学家姚远在访谈中也提到：

现阶段不少机械人Demo会围绕简单使命收罗大宗数据，，，再举行针对性优化，，，展示效果并不可完全代表基础模子的真实进度。。面壁更看重模子的基础性、泛化性和通用性，，，希望先把数据、Infra和工程链路打磨好，，，让基础能力提升后自然笼罩更多场景。。沿着大语言模子的生长履历，，，具身智能最终也要走向“先通后专”，，，先明确物理天下的基本知识，，，再成为做饭、叠衣服或仓储作业等详细领域的专家。。

展馆、园区和工厂里，，，网络信号不会一直满格。。唬
；；等嘶挂媪僖私、数据合规、使命失败和异常唬
；；指吹纫涣质滴侍狻。

榜单分数再高，，，走到地下停车场便停摆，，，落地空间依然有限。。

这也是面壁把端侧能力放在主要位置的原因。。

在与乐聚机械人的相助中，，，面壁把端侧多模态大模子、夸父机械人本体和导航系统组合到了一起，，，推出展厅导览Agent和园区巡检Agent。。

展厅导览机械人在无网情形下，，，也能基于外地知识库完成离线解说和自由问答。。它可以明确展厅情形和人的指令，，，妄想导览蹊径，，，同时完成避障。。

园区巡检机械人则可以识别车辆违停、路面异常和公共设施问题。。敏感画面直接在外地处理，，，数据留在客户侧。。

与吉祥汽车的相助，，，则进一步走进了生产仓储场景。。

面壁和吉祥配合训练VLA模子，，，再通过RoboHarness把VLM、VLA、机械人本体和导航系统接到一起，，，让机械人执行仓储中的长程使命。。

RoboHarness可以明确成物理天下里的Agent执行框架。。

上层VLM认真妄想使命，，，VLA和导航系统作为可以挪用的工具。。？？？？？蚣芑够嶂卫沓な姑纳舷挛暮陀跋，，，遇到失败时举行重试和恢复。。

机械人每完成一次使命，，，运行数据还会进入可治理的数据闭环，，，继续资助模子进化。。

到这里，，，面壁此次在WAIC带来的具身智能蹊径已经较量清晰了。。

MiniCPM-RobotManip认真操作，，，让机械臂明确使命、记着历程，，，再把事情做完。。MiniCPM-RobotTrack认真跟踪导航，，，让机械狗在重大情形里认准目的，，，断网也能继续走。。PhyAI认真把模子更快地安排到真实硬件上。。

再往外，，，乐聚和吉祥的相助最先把模子、本体、导航和详细营业流程接起来。。

大语言模子时代，，，人们习习用参数目判断能力。。但机械人真正走进物理天下后，，，参数只是其中一个数字。。

它还得反映够快、记得住、断网能跑，，，数据留得下来，，，遇到意外能够恢复，，，本钱也要控制在企业愿意恒久使用的规模内。。

从这个角度看，，，1.5B和0.9B的意义，，，也就不止是“小”。。它们更像是在回覆一个很现实的问题：

当AI真正长脱手脚，，，除了智慧，，，还得跑得动、用得起，，，最后把活干完。。

GitHub链接：https://github.com/OpenBMB/MiniCPM-Robot

HuggingFace链接：https://huggingface.co/openbmb/MiniCPM-RobotManiphttps://huggingface.co/openbmb/MiniCPM-RobotTrack