教机械人学会一个新手艺,,,需要几步???
若是你看过波士顿动力机械人的跑酷视频,,,或者 Figure 01 在工厂里搬运箱子的 demo,,,可能会以为机械人已经很智慧了。。。。但一个容易被忽视的事实是:这些机械人展示的每一个手艺,,,背后都是工程师团队数月的数据收罗和模子训练。。。。
已往的标准谜底是,,,专业工程师用腾贵的遥操作装备收罗数百条演示数据、花数小时微调模子参数,,,然后祈祷机械人学会新手艺之后别把旧手艺忘光。。。。
现在,,,这个流程被彻底改写了。。。。8月3日,,,自变量机械人与北京理工大学、清华大学联合宣布并开源了 HOST 框架(Human-to-robot One-Shot Skill AcquisiTion,,,人类到机械人单样本手艺获取。。。。。;;;;;等酥恍柙⒛恳欢纹骄29秒的人类演示视频,,,就能在不更新模子参数、不收罗新数据的情形下执行全新使命。。。。
测试涵盖放水果、堆碗、擦盘子、插笔等50项训练阶段从未见过的桌面操作使命,,,HOST 的手艺复现乐成率抵达62%。。。。凭证揭晓在 arXiv 上的论文(2607.20033),,,相比目今主流的 Pi-0.5 配合微调方案,,,所需数据量镌汰至 1/50,,,学习时间缩短至 1/507,,,乐成率显著领先。。。。
更要害的是,,,HOST 的手艺习得历程不改变模子权重——这意味着它不会“学新忘旧”。。。。论文数据显示,,,在微调方案学习新手艺后,,,最强基线模子(Wall-OSS+SFT)在旧使命上的体现下降至原来的43%,,,而 HOST 险些完整保存了所有已掌握的手艺。。。。
机械人学习范式的转折
机械人学习人类手艺的焦点难点,,,恒久以来被归结为一个问题:怎样弥合机械人与人类之间的“身体鸿沟”???
人类有双臂、五指枢纽、无邪的躯干;;;;;机械人可能是单臂、夹爪甚至轮式底盘。。。。直接的行动映射,,,让机械人照搬人类手臂的轨迹和角度,,,险些不可能乐成,,,由于两者的运动学和动力学模子完全差别。。。。
已往十年,,,行业的主流解法是“大宗数据暴力拟合”:用遥操作装备收罗数以万计的机械人执行轨迹,,,然后训练端到端模子。。。。“这条路走得通,,,但价钱极高。。。。”自变量机械人团队在论文中体现,,,每一次教机械人新手艺,,,都需要专业工程师重新收罗数据、重新微调模子,,,本钱以数万元计。。。。更致命的是,,,这种“专才专用”的模式意味着,,,每一个新手艺的学习都是一次重新再来的历程,,,旧手艺积累的履历险些无法复用。。。。
HOST 的突破在于,,,它将问题的原始出发点从“行动模拟”转向了“效果推理”。。。;;;;;等瞬辉偈酝寄D馊死嗟闹逍卸,,,而是视察人类完成使命后的效果状态,,,再反推自己需要执行的行动序列。。。。这一转变绕开了“人机身体结构差别”这个不可约的难题,,,将学习目的从“复现历程”重新界说为“告竣效果”。。。。
这一思绪借鉴了认知科学中的“视察学习”理论,,,人类在面临生疏使命时,,,并非通过重复试错来掌握手艺,,,而是基于已有履历在脑中模拟行动的预期效果,,,再据此执行。。。。HOST 将这一理论工程化,,,实现了从“训练时微调”到“推理时即获取”的范式转变。。。。
HOST 与古板要领在数据效率、时间效率和手艺保存率上的周全临比
“效果反推”:让机械人学会“想”再“做”
HOST 的焦点立异在于一套“效果先行”的推理范式。。。。与古板要领“看到人类行动 → 映射为机械人行动”的直线思绪差别,,,HOST 的处理流程分为三步:
第一步:使命阶段判断
机械人寓目人类视频时,,,首先判断目今使命举行到哪一阶段。。。。以烹饪为例,,,系统需要识别出“现在是切菜阶段照旧炒菜阶段”。。。。这一判断并非简朴的时间戳对齐,,,而是基于视觉内容的使命进度语义明确。。。。
第二步:视角迁徙
将人类执行完行动后的画面,,,转化为机械人自身视角和身体结构下的画面。。。。这一步解决的是“身体鸿沟”问题——人类用五指完成的使命,,,机械人需要用夹爪完成,,,两者的视觉画面和运动逻辑都需要转换。。。。
第三步:行动反推
从目的画面反推需要执行的行动序列并执行。。。;;;;;等瞬皇窃凇案粗啤比死嘈卸,,,而是在“求解”一个问题:要告竣这个效果状态,,,我应该怎么做???
这种“先想象效果,,,再反推行动”的机制,,,使得 HOST 具备了古板要领不具备的泛化能力。。。。纵然执行历程中物品位置被移动,,,机械人也能凭证目的状态重新妄想行动,,,继续完成使命。。。。
HOST 框架「效果反推」事情流程示意图
HOST 在50项未见过的操作使命上的手艺习得效果
视频学习有一个容易被忽视的难题:人类与机械人的执行速率差别步。。。。
同样经由10秒,,,视频中的人类可能已完成切菜并最先炒菜,,,而机械人仍在切菜阶段。。。。若是按简朴的时间轴对齐,,,机械人将丧失使命进度信息,,,导致后续行动所有错位。。。。
HOST 的解决方案是“按使命进度对齐”战略。。。。系统将视频每一帧和机械人操作的每一步都映射到统一直量空间中,,,再通过动态时间规整(Dynamic Time Warping)算法,,,自动建设人类视频帧与机械人操作方法之间的对应关系。。。。
据论文披露,,,该要领将对齐误差降低了一个数目级——从基于时钟时间对齐的 0.079 降至 0.006(平均绝对进度差),,,使机械人执行与视频树模能够精准同步。。。。这意味着,,,纵然人类以快进或慢速演示,,,机械人也能准确明确每个阶段应该完成的使命目的。。。。这一手艺的工程价值在于:它大幅降低了对人类演示视频的“规范性”要求——通俗人不需要刻意放慢行动或标准化流程,,,随手拍摄的视频即可作为教学素材。。。。
双专家架构:学新不忘旧
HOST 的手艺底座是一个带有视觉展望功效的级联战略模子,,,接纳双专家混淆架构。。。。其焦点设计是将手艺学习拆分为两个阶段。。。。
第一阶段:同体预训练
模子首先在193,462条机械人同体轨迹数据上预训练,,,笼罩229项使命。。。。这一阶段的目的是让机械人学会“追随演示历程”的基本能力——通过展望统一使命另一条轨迹的未来状态和行动来建设基础手艺框架。。。。
第二阶段:人机视频训练
在预训练基础上,,,使用5,847条人类-机械人配对演示数据举行微调。。。。这一阶段将模子的能力从“机械人追随机械人”扩展到“机械人追随人类”,,,实现跨本体迁徙。。。。
这种分阶段训练设计基于数据可获取性的考量。。。;;;;;等酥葱惺姑墓旒J菹喽匀菀资章,,,而人与机械人执行统一使命的配对数据则极为稀缺。。。。通过先使用机械人视频打好基础,,,再向人类视频迁徙,,,HOST 在有限数据条件下实现了高效的跨本体手艺学习。。。。
由于 HOST 在推理时完全不修改模子参数,,,手艺习得更像是“加载了一个新菜谱”而非“重塑了厨师的大脑”。。。。旧手艺以模子权重形式保存,,,新手艺以推理时输入的形式保存,,,两者互不滋扰。。。。统一台机械人,,,今天学会切菜,,,明天学会擦桌子,,,只需替换输入视频即可,,,无需重新设置或训练。。。。
HOST 在旧使命上的体现险些稳固,,,而微调方案学习新手艺后旧手艺保存率大幅下降
HOST 与古板要领在乐成率、数据量、手艺保存率上的比照(基于论文数据整理)
开源的意义:从专业工具到通俗人可用
HOST 的论文、代码和模子权重已所有开源至 GitHub 和 Hugging Face。。。。项目主页提供了完整的文档和示例教程。。。。研究团队体现,,,开源的目的是“将机械人手艺获取从依赖专业职员收罗数据、重复训练的专业流程,,,转变为通俗人通过一段视频即可完成教学的方式”。。。。
这一目的指向具身智能行业最焦点的瓶颈:数据获取本钱。。。。
现在,,,具身智能领域的头部玩家大多走“大规模数据收罗”蹊径——用上百台机械人同时收罗数据,,,训练通用基础模子。。。。但这条路自然保存两个问题:一是遥操作数据收罗本钱极高,,,一条有用演示的本钱可能在数百到上千元;;;;;二是长尾场景笼罩缺乏,,,大大都家庭场景下的使命,,,机械人从未见过,,,而这些有数场景恰恰是用户最需要机械人学会的。。。。
HOST 提供了一条差别的路径:不追求数据规模的无限扩张,,,而是通过算法立异降低单次学习的门槛。。。。若是机械人能够通过寓目一段人类视频就学会新手艺,,,那么“数据”就不再是遥操作工程师的专利——每一个通俗人都可以成为机械人的“先生”。。。。
虽然,,,HOST 并非没有局限。。。。62% 的乐成率在单样本学习场景下已属突破性效果——作为参考,,,人类在仅寓目一次演示后执行生疏使命的首次乐成率也并非100%。。。。但这一数字意味着在近四成场景下机械人仍会失败,,,距离“可靠安排”尚有差别。。。。现在测试的50项使命以桌面操作类为主,,,在更重大的动态场景中体现怎样尚待验证。。。。但正如研究团队在项目主页所言:“HOST 是迈向通用机械人学习的第一步,,,我们希望社区能在此基础上走得更远。。。。”
值得注重的是,,,HOST 的宣布并非伶仃事务。。。。2026年以来,,,具身智能领域泛起“开源加速”的趋势——从谷歌的 Open X-Embodiment 到小米的 Xiaomi-Robotics-1,,,行业正在从“闭门造车”转向“共建生态”。。。。自变量团队选择在项目之初就周全开源,,,无疑顺应了这一趋势。。。。
从更宏观的视角来看,,,HOST 的意义在于它为“机械人的手艺获取”提供了一条差别于“规;;;;;钡穆肪丁。。。在 Scaling Law 仍主导AI叙事的今天,,,HOST 证实晰算法立异同样可以大幅降低数据依赖——这或许为具身智能行业提供了一个值得深思的偏向:与其无限堆数据,,,不如教会机械人怎样更智慧地学习。。。。(本文首发钛媒体APP,,,作者 | AGI-Signal,,,编辑 | 焦燕)
参考资料:
项目地点:https://host-site.host-robotics.workers.dev论文:https://arxiv.org/abs/2607.20033GitHub:https://github.com/CGuangyan-BIT/HOSTHugging Face:https://huggingface.co/papers/2607.20033