刷题、话术包装、资源置换。。。。
定焦One（dingjiaoone）原创
作者 | 王璐
编辑 | 魏佳
具身智能赛道一连吸引资源眼光的同时，， ，，，种种相关榜单也越来越多。。。。当“第一”险些成为各家标配时，， ，，，榜单尚有可信度吗？？？
一个多月前，， ，，，千寻智能就履历了尴尬时刻。。。。6月初，， ，，，其具身基座模子Spirit v1.6在RoboArena榜单上以1918分的效果凌驾了英伟达Cosmos3的1880分，， ，，，一度位居“天下第一”；；；；；紧接着，， ，，，千寻宣布完成15亿元A+轮融资，， ，，，三个月内累计完成四轮麋集融资，， ，，，总额靠近50亿元，， ，，，创下具身智能赛道的融资频率新高。。。。
不过，， ，，，业内对评测数据的质疑险些从越日就最先升温。。。。有视察者指出，， ，，，在310次评测纪录中，， ，，，有72%的分数来自两个账号。。。。更值得关注的是，， ，，，RoboArena官方随后宣布声明，， ，，，经回溯视察后移除了部分存疑的评测数据，， ，，，并更新了榜单排名。。。。Spirit v1.6也随之从榜单上除名。。。。
但这一事务并未浇灭玩家们的热情，， ，，，掀开近半年的行业新闻，， ，，，星动纪元、原力灵机、极佳视界、智元、跨维、鹿明……险些每一家头部公司手里都攥着一个“第一”，， ，，，且这些“第一”维度各不相同。。。。
这一情形或许不难明确，， ，，，具身智能现在手艺蹊径还没统一、真机乐成率大多卡在五六成，， ，，，外界想判断一家公司究竟行不可，， ，，，很洪流平上只能依赖榜单。。。？？？傻狈竦募扔懈咝！⒒挂灿忻教澹 ，，，各家标准各不相同、有的还牵涉商单和利益关系时，， ，，，榜单自己还能不可当尺子用，， ，，，就成了一个问题。。。。
一位关注具身赛道的投资人坦言，， ，，，榜单更偏市场行为，， ，，，最多算投资决议的一个参考，， ，，，他关于千寻这件事并不受惊。。。。在他看来，， ，，，真正在意名次的，， ，，，往往不是以财务或手艺为出发点的机构，， ，，，而是一些地方指导基金或偏国资的资金，， ，，，一个“第一”，， ，，，可能正是他们“写在报告里一个较量好的入口”。。。。但也有投资人持差别看法，， ，，，他们以为在手艺门槛高、信息差池称的早期赛道，， ，，，榜单至少提供了一个横向较量的起点。。。。
当“第一”的数目比认真做机械人的公司还多时，， ，，，这些榜单究竟是在测手艺，， ，，，照旧在测讲故事的能力？？？哪些榜单还值得看？？？
01.手艺蹊径还没统一，， ，，，祖先手一个“第一”
我们先来盘一盘现在市面上的榜单，， ，，，建设一个大致印象。。。。据不完全统计，， ，，，现在具身智能的活跃榜单高达20余个。。。。按评测内容，， ，，，这些榜单大致可以分成三类。。。。
VLA操作综合榜，， ，，，考察机械人能不可真干活，， ，，，跑的是使命乐成率，， ，，，代表榜单是RoboChallenge Table30、MolmoSpaces；；；；；
天下模子榜，， ，，，考的是脑内推演对差池，， ，，，考察模子对物理天下的推演，， ，，，不考机械人手脚利倒运索，， ，，，代表是World Arena和WorldModelBench；；；；；
专项基准榜，， ，，，考察“极端情形下会不会露馅”，， ，，，针对单点极端能力，， ，，，好比双臂协同、仿真到真机迁徙，， ，，，代表是RoboTwin 2.0、SimplerEnv、LIBERO 和 CALVIN。。。。它的价值在于，， ，，，在综合榜照不到的极端场景里，， ，，，把模子的短板逼出来。。。。
需要说明的是，， ，，，这三类榜单各有着重、互不替换。。。。真机榜测执行、天下模子榜测推演、专项榜测界线，， ，，，没有任何一个能笼罩具身智能的所有能力。。。。
有了这层坐标，， ，，，近半年具身基座模子的战报就能对号入座。。。。若是把近两个月具身基座模子的战报汇总，， ，，，可以获得一份相当壮观的名单。。。。
今年5月，， ，，，星动纪元Era0宣称拿下RoboChallenge Table30第一；；；；；智元GE-Sim 2.0是World Arena Track1第一；；；；；跨维DSCFuncWorld是World Arena Track2第一。。。。进入6月，， ，，，千寻Spirit v1.6拿下RoboArena第一（后被除名），， ，，，鹿明Prime R0登顶MolmoSpaces。。。。险些每一家都是第一，， ，，，并且都有详细榜单排名作背书。。。。
而乱象，， ，，，也是从种种榜单最先的。。。。
最显着的是，， ，，，榜首像流水席，， ，，，“第一名”替换频仍。。。。
RoboChallenge Table30的榜首，， ，，，已往半年里至少换了四次：先是千寻Spirit v1.5以50.33%的乐成率刷新纪录，， ，，，很快又被极佳视界GigaBrain-0.1、美国波士顿动力Atlas、星动纪元Era0先后逾越。。。。
这个速率，， ，，，比大语言模子的主流榜单更新快得多。。。。2023年到2025年，， ，，，GPT-4、Claude 3、Gemini 1.5在MMLU、GSM8K等榜单上的榜首位置，， ，，，通常能守数月甚至一年，， ，，，即即是2020年到2022年的高速迭代期，， ，，，GPT-3、PaLM也是以月为换榜周期。。。。“当下的具身智能，， ，，，单个模子能霸榜一周就算禁止易。。。。”一家头部具身智能公司的从业者米范体现。。。。
其将主要原因归结为两点。。。。一是物理天下的随机性，， ，，，统一个模子在真机上跑两次，， ，，，乐成率差三到五个百分点很正常，， ，，，光照、物体位置、机械臂公差都会影响效果，， ，，，而MMLU这类大语言模子榜单是牢靠问题、确定性判分，， ，，，统一模子跑一百次分数险些稳固。。。。二是测试使命的果真水平，， ，，，像RoboChallenge的Table30，， ，，，30项使命漫衍是果真的，， ，，，各家可以照着使命专门采数据、微调模子再提交，， ，，，榜首的“保质期”于是被压到了以周计。。。。
更让人疑惑的，， ，，，是统一个榜里会同时冒出好几个“第一”。。。。
World Arena就是典范，， ，，，智元GE-Sim 2.0、跨维DSCFuncWorld对外都称自己“登顶World Arena”，， ，，，但事实是，， ，，，这个榜单含有多条赛道，， ，，，智元GE-Sim 2.0在Track1（感知与行动响应）以68.26分排第一，， ，，，跨维DSCFuncWorld在Track2（数据引擎）排第一。。。。“第一”分属差别个子榜，， ，，，对外却被统一写成了统一句话。。。。
对不熟悉赛道划分的读者来说，， ，，，两家并列的“World Arena第一”的说法险些无法分辨，， ，，，甚至会嫌疑是不是有人在说谎，， ，，，但着实谁都没说错，， ，，，只是不敷准确。。。。
尚有一层更模糊的地带是，， ，，，榜单性子混杂，， ，，，“第一”的含金量却被默认成统一档，， ，，，容易爆发误导。。。。
一些公司的对外口径里，， ，，，经常；；；；嵬绷谐觥澳衬Ｗ釉赗oboChallenge排名第一”，， ，，，和“在某具身智能媒体的测评中也位居第一”。。。。前者是7×24小时真机跑出来的乐成率，， ，，，后者可能只是编辑部闭门讨论、甚至商务相助敲定的名单，， ，，，两者被并排放进一句话，， ，，，含金量却被默认成了统一档。。。。
其中最模糊的是“工业榜”，， ，，，有些榜单顶着“工业”二字，， ，，，但既不是真机锁死的硬榜，， ，，，也不是学术机构背书的benchmark，， ，，，而是咨询公司或媒体合办的打分榜。。。。类似情形也在大语言模子圈泛起过，， ，，，但随着学术榜、商业测评、媒体榜逐渐分层，， ，，，“双料第一”才逐步被拆掉，， ，，，而具身智能，， ，，，眼下正处在谁人尚未分层的阶段。。。。
三种征象叠加，， ，，，效果就是榜单“第一”严重通货膨胀。。。。并且这种通胀不但停留在营销层面，， ，，，一个“第一”的头衔往往能换来关注度、资源和实打实的估值溢价。。。。
02.一个“第一”是怎么造出来的？？？
既然榜单能撬动真金白银，， ，，，怎样把第一造出来，， ，，，也形成了“潜规则”。。。。业内人士先容，， ，，，虽然千寻Spirit v1.6属于极端个例，， ，，，但行业里造“第一”的征象并不少，， ，，，手法大致有三种。。。。
本钱最低、也最普遍的一种方式是话术包装，， ，，，“单科第一”成了“总分第一”，， ，，，焦点是省掉要害限制词。。。。
好比现实拿的是“RoboTwin 2.0双臂协同VLA类Clean档第一”，， ，，，对外就酿成“登顶RoboTwin 2.0”；；；；；现实是“LIBERO-Plus场景泛化专项第一”，， ，，，对外就成了“LIBERO-Plus榜首”。。。。数据没造假、效果也是真的，， ，，，但“第一”所指代的规模被人为放大了。。。。
第二种方式是使用“刷题”等方式直接干预效果。。。。
一条是“照着考题练”。。。。榜单果真的使命漫衍、评分标准、情形参数，， ，，，都可以拿来做定向后训练，， ，，，在一些使命相对牢靠的榜上尤其显着，， ，，，各家可以通过重复“刷题”、过拟合到特定场景换来高分。。。。
米范体现，， ，，，具身领域的部分榜单的测试使命是果真的，， ，，，各家可以针对这些使命专门收罗数据、微调模子后再提交，， ，，，这在具身圈被视为正常迭代，， ，，，不算作弊，， ，，，和LLM领域的“数据泄露、数据污染”有实质区别。。。。
另一条是钻评测机制的误差。。。。有些榜权威性很高，， ，，，机制却有空子可钻。。。。好比RoboArena接纳开放注册、漫衍式评测，， ，，，本意是让更多人加入，， ，，，却留下了三个空子。。。。
图源 / RoboArena官网
一是评测者身份无门槛。。。。任何人都能注册当裁判，， ，，，短期内大宗新账号集中评测统一个模子，， ，，，就能把它的Elo分数快速推高；；；；；
二是匹配不强制全笼罩，， ，，，随机分配敌手不即是必需跟同期在榜者都打一轮，， ，，，评测者领使命时，， ，，，A 是牢靠的，， ，，，B 是从分数相近的模子里随机抽，， ，，，样本不敷大时两个模子完全可能一次都排不上。。。。好比Spiritv1.6早期与DreamZero交手，， ，，，23场后息兵，， ，，，与5月30日入榜的英伟达Cosmos3-Nano-Policy为零对战；；；；；
三是集中刷评，， ，，，用多个账号麋集评测自家模子，， ，，，把负面纪录降低。。。。好比Spirit v1.6的310次评测纪录中，， ，，，72%的分数来自于ECUST和Robotics Lab两个账号，， ，，，它们用224场评测刷出97%胜率，， ，，，把Spirit v1.6推上第一，， ，，，但英伟达用同样条件自测21次，， ，，，胜率0%，， ，，，两组数据摆在一起，， ，，，直接让从业者爆发嫌疑。。。。
事后，， ，，，RoboArena补了规则：评测者必需是无利益关联的第三方，， ，，，堵住自刷账号的入口，， ，，，评测完成率低于20%的账号标为可疑，， ，，，堵住选择性匹配。。。。而处理后，， ，，，千寻跌出榜单。。。。
尚有一种方式最隐藏也最泛滥，， ，，，是资源置换，， ，，，把榜单直接做成生意。。。。
不少媒体榜评选标准并不透明，， ，，，有的爽性与被评工具保存商务相助，， ，，，双方联合发一份“权威报告”，， ，，，把媒体榜和学术benchmark并排包装。。。。它不涉及手艺，， ，，，也不涉及数据，， ，，，只涉及预算和关系。。。。不止一位从业者体现，， ，，，刷榜、买榜等征象并不少见。。。。
这三种手法往往叠加，， ，，，先靠针对性训练或钻空子把分数刷上去，， ，，，再用赛道偷换掩饰泉源，， ，，，最后用话术对外撒播，， ，，，须要时再买个媒体榜背书。。。。层层包装之下，， ，，，“第一”就成了。。。。
这些手法在行业内部并不是神秘。。。。真正的问题在于，， ，，，看透它们需要一定的手艺功底，， ，，，手艺越重大，， ，，，外行越难分辨，， ，，，故事就越容易讲。。。。
03.去掉水分，， ，，，还该信什么？？？
不止一位具身智能从业者坦言，， ，，，他们当下已经不太关注榜单排名了，， ，，，由于榜单能刷、能买，， ，，，即便一切合规，， ，，，物理情形的重大性也让数据很难做到百分百准确。。。。
更深一层的问题是，， ，，，这个行业现在还没有一把“通用的尺子”。。。。
具身智能从业者gashero用“炒鸡蛋”和“拌凉菜”打了一个例如：机械人A善于炒鸡蛋、乐成率90%，， ，，，机械人B善于拌凉菜、乐成率85%，， ，，，但不可就此说A比B强。。。。炒鸡蛋磨练抓取和翻锅，， ，，，拌凉菜磨练精准倒料和搅拌，， ，，，两件事手艺差别、难度差别、评价标准也差别。。。。当下的具身智能赛道还没有一个统一标准，， ，，，能把“炒鸡蛋的能力”和“拌凉菜的能力”折算进统一个打分系统里。。。。
不过，， ，，，这不代表榜简单无是处。。。。从业者普遍以为，， ，，，榜单仍有其参考价值，， ，，，要害在于知道什么值得看，， ，，，以及看完之后还该看什么。。。。
图源 / RoboChallenge官网
综合业内共识，， ，，，真正可信的榜单，， ，，，概略同时具备三个特征。。。。
一是分项透明，， ，，，不是只甩一个“第一”。。。。
岂论综合榜照旧专项榜，， ，，，可信的做法都是把细项逐一拆开。。。。以RoboChallenge Table30为例，， ，，，它测的是30项日常使命的综合乐成率，， ，，，可信之处在于，， ，，，不但告诉读者64.33%这个综合数字，， ，，，还让读者看到30项里哪几项做得好、哪几项掉链子。。。。只报总分、不报细项的榜，， ，，，价值要大打折扣。。。。
二是评测由第三方掌控，， ，，，且有反刷题设计。。。。
MolmoSpaces不允许微调，， ，，，模子直接“裸考”；；；；；LIBERO-Plus则加了光照突变、配景杂乱、相机角度转变等极端扰动，， ，，，专门防止靠死记硬背拿分。。。。它们的配合特点，， ，，，是让刷题变难，， ，，，让泛化成为真正的门槛。。。。
三是看评测机制，， ，，，而不是看更新频率。。。。
更新慢的榜单纷歧定可靠，， ，，，更新快的榜单也纷歧定可刷。。。。有些榜更新慢，， ，，，可能由于真机评测本钱极高，， ，，，好比RoboChallenge一次完整评测周期可能要数周，， ，，，30项使命每项跑10次，， ，，，一共300次真机实验，， ，，，7×24小时一连运行，， ，，，这是物理天下的本钱约束。。。。而有些榜更新快，， ，，，则是机制设计。。。。好比RoboArena接纳了Elo评分系统举行动态排名，， ，，，天天都有新对战数据进来，， ，，，排名自然天天更新。。。。这种快自己不是问题，， ，，，它的可信度取决于机制是否严密、误差是否被补上。。。。
可是，， ，，，既然圈内都知道榜单有水分，， ，，，为什么各人还在拼命刷？？？
谜底在于行业当下的阶段。。。。
眼下这场“第一”的争取战，， ，，，实质上是资源焦虑的产品。。。。今年是具身基座模子麋集迭代的一年，， ，，，早期赛道出货量、营收、订单量都不稳固，， ，，，只能拿榜单顶上。。。。融资导向的阶段没变，， ，，，刷榜这件事就不会停。。。。
当行业进入下一阶段，， ，，，评判的标尺会自然切换，， ，，，例如每年交付几多台、有哪些牢靠客户、是否能盈利。。。。到那时间，， ，，，“第一”的通货膨胀会自然消逝，， ，，，榜单也会退回它本该在的位置。。。。
或许，， ，，，那些不忙着刷榜、只顾着把机械人送进产线的公司，， ，，，才是行业真正的谜底。。。。
*题图由「定焦One」拍摄。。。。应受访者要求，， ，，，文中米范为假名。。。。
