诺亚 发自 凹非寺量子位 | 公众号 QbitAI
2009年，，，李飞飞团队正式宣布ImageNet。。
随后，，，以ImageNet为基础形成的大规模视觉识别使命，，，让差别机构第一次能够围绕配合的数据集、种别系统和评测指标训练模子、较量效果。。
得益于这套可以一连扩展、统一较量的数据与评测基础设施，，，图像识别和深度学习最先快速生长。。
17年后，，，李飞飞的博士生Danfei Xu，，，最先为机械人学习寻找类似的协作基础设施。。
Danfei Xu现在担当佐治亚理工学院交互盘算学院助理教授，，，也是机械人学习与推理实验室（RL2）的认真人。。他在斯坦福大学攻读博士时代，，，由李飞飞和Silvio Savarese配合指导。。已往几年，，，他一连研究一个问题：机械人怎样从人类演示中学习，，，并将这些履历迁徙赴任别使命、情形和机械人本体上。。
这条研究线，，，最终汇入了EgoVerse——“第一视角人类操作数据生态”。。
EgoVerse是一套一连增添的第一视角人类操作数据生态与标准。。EgoVerse最新果真的同盟同伴中，，，除了佐治亚理工、斯坦福、苏黎世联邦理工和UC San Diego等学术机构，，，还包括Meta、Scale AI、光轮智能、Mecka AI、MicroAGI、Trace Labs等公司。。
最值得的关注是，，，光轮智能作为唯逐一家中国公司，，，泛起在这个顶级大佬云集的全球标准牌桌上。。
EgoVerse：Danfei想做的不但是一个数据集
机械人学习恒久面临一个显着的数据悖论。。
现在机械人训练仍然依赖真机遥操作，，，每增添一条演示，，，都需要机械人硬件、操作职员、实验园地和复位流程。。收罗速率慢、本钱高，，，能够笼罩的使命和场景也很有限。。
而人类的种种行为自然包括富厚的视觉信息、行动历程、物体交互和使命战略，，，显着是机械人更好的先生。。
第一视角人类数据提供了新的蹊径：先纪录人怎样在真真相形中完成使命，，，再把这些履历迁徙给差别机械人。。
但已往的人类数据集大多是一次性项目。。
差别团队使用各自的收罗装备、坐标系统、行动标签和使命界说，，，数据宣布后也很难一连扩张。。纵然两家机构都收罗了“把杯子放到碟子上”，，，两份数据也未必能够直接放在一起训练。。
Danfei及其相助者因此没有把EgoVerse设计成又一份静态数据集，，，而是做成了一套“活”的协作框架。。
EgoVerse目今果真版本包括1362小时人类演示数据、约8万个episode、1965项使命、240个场景和2087名收罗者。。数据不但包括第一视角视频，，，还提供相机位姿、三维手部信息以及细粒度语言形貌，，，并在差别实验室、差别使命和差别机械人本体上验证人类数据的迁徙效果。。
一套事实标准形成之前，，，往往要先完成几件事：
让加入者接纳配合的数据结构，，，遵守配合的使命语义，，，生产可以相互兼容的数据，，，并用统一要领磨练这些数据是否真的有用。。
EgoVerse正在做的，，，正是这一步：先让全球具身数据最先凭证统一套“语言系统”流动。。
EgoVerse的焦点共建方，，，都是什么配景？？？？？
具身人类数据并不是戴上一副眼镜、录一段视频，，，再加几个标签那么简朴。。完整收罗流程至少包括研究问题界说、收罗硬件、行动迁徙、规；；；擞⑹荼曜⒑突等搜橹。。任何一家机构，，，都很难单独完成所有环节。。
EgoVerse召集了具身领域里最头部的高校、学者、机构举行全球协作，，，配合界说具有划时代意义的数据标准。。
佐治亚理工Danfei Xu教授：具身人类数据收罗蹊径标记性代表，，，EgoVerse的提倡人
佐治亚理工肩负的是EgoVerse的组织中枢和研究框架角色。。Danfei Xu与RL2团队恒久关注机械人怎样从人类数据中学习。。到了EgoVerse，，，问题不再只是“某一批人类视频能不可改善某一台机械人”，，，而是进一步升级为：人类数据的效果能否跨实验室复现？？？？？能否跨机械人本体建设？？？？？数据规模增添时，，，能力是否稳固增添？？？？？哪些类型的数据才真正具有迁徙价值？？？？？
EgoVerse让差别实验室在共享协议下重复实验。。佐治亚理工学院认真的代表使命是object-in-container，，，斯坦福大学认真双臂细腻操作，，，UC San Diego和ETH Zurich则加入长时序双臂使命验证。。由此，，，Danfei搭起一种新的协作方式，，，使已往互不兼容的数据、算法、机械人和实验室，，，最先在共享协议下回覆统一组问题。。
斯坦福Shuran Song教授：UMI发明人，，，让人类操作履历能够迁徙给机械人
人类有柔软无邪的双手，，，机械人可能只有两指夹爪；；；人可以依赖触觉、履历和身体协调完成使命，，，机械人却需要明确的视察和行动体现。。因此，，，人类数据并不会自然酿成机械人能力，，，中心横着一道“具身鸿沟”。。
Shuran Song向导的斯坦福REAL Lab，，，是买通这条路径的代表团队之一。。其团队开创的UMI——Universal Manipulation Interface，，，使用便携式手持夹爪收罗真真相形中的人类操作，，，再将这些演示转化为可安排的机械人战略。。
UMI的要害价值，，，是让数据收罗挣脱牢靠机械人和实验室。。人可以带着装备进入真真相形举行重大长时序使命，，，学习获得的战略还能迁徙赴任别机械人平台。。
简朴说，，，斯坦福要解决的是：让人类履历酿成机械人能执行的行动。。
Meta：为EgoVerse提供专用数据收罗眼镜
第一视角数据收罗首先需要一双及格的“眼睛”。。Meta研发的Project Aria，，，是行业首个专为“大规；；；∧Ｗ印鄙杓频淖ㄓ檬菔章抻布，，，可以纪录第一视角视频、手部行动、相机位姿和空间信息。。装备包括面向前方的RGB相机，，，以及用于SLAM和手部追踪的同步场景相机。。没有这类空间感知能力，，，第一视角数据很容易只是一段“看起来像人在干活”的视频。。Meta解决的是怎样把“人看到了什么”，，，升级为“人在三维天下中怎样行动”。。
Mecka：人类数据先驱，，，把数据收罗从专用眼镜普及到手机
若是一套人类数据生态只能依赖少数专用硬件，，，它能够笼罩的收罗者与真真相形就始终有限。。
Mecka AI推动了一条更便携的收罗蹊径：使用iPhone与轻量化头戴装置完成第一视角收罗，，，再通过云端处理恢复头部轨迹与双手三维要害点。。
这一方案让第一视角数据不再只来自少数机械人实验室，，，而能够进入家庭、市肆、事情场合和更多真实使命情形。。
Mecka AI所解决的，，，是怎样让人类数据收罗从专用装备走向更低门槛、更广笼罩的生产方式。。
Scale AI：人类数据的规；；；圃旃こ
数据采回来之后，，，还要履历洗濯、标注、质检、结构化和版本治理。。
Scale AI从2016年起恒久从事AI数据基础设施建设，，，最早以自动驾驶等场景中的大规模数据处理能力著名。。进入Physical AI阶段后，，，它又把数据工厂数据扩展到机械人数据收罗、标注、人工反馈和模子验证。。
Scale更善于把数据生产酿成一套成熟的运营和处理系统，，，从而在人类演示从几百条酿成几万小时后，，，把大规模、异构的原始收罗效果，，，转化为稳固可用的数据产品。。
光轮智能：在规；；；奶跫下，，，构建人类数据最高质量标准
当具身数据生产真正迈向万万级小时，，，单单依赖收罗工具和后处理，，，无法知足规；；；碌氖葜柿啃枨。。同时，，，收罗装备越多、收罗职员越多、场景越重大的趋势下，，，视角偏移、行动遗漏、使命中止、装备异常和标注纷歧致等问题也会被同步放大。。
数据可以快速增添，，，但真正能被机械人学习的有用信息，，，并纷歧定同步增添。。
而光轮智能补上的，，，是一套贯串端侧收罗、云端处理和仿真验证的质量控制系统。。
与绑定某一款眼镜或收罗装备的方案差别，，，光轮智能的目的是让数据管线兼容差别硬件。。无论原始数据来自Aria、iPhone、头戴相机照旧其他多模态装备，，，都可以进入统一的云端管线，，，通过VIO、三维手部与Body标注、V7级行动语义标注，，，被转化成统一质量标准下的训练资产。。
数据完成处理之后，，，光轮智能还会使用物理仿真SimFoundry和模子评测能力RoboFinals，，，进一步验证行动轨迹、物理关系和使命历程能否被合理还原，，，并判断数据是否真正具有机械人学习价值。。通过一直的回环评价，，，掌握最快速的质量反馈，，，并且一直迭代，，，引领标准。。
因此，，，光轮在EgoVerse中的孝顺，，，是让数据在规；；；幸廊蛔龅皆赐房煽亍⒖缬布统一、价值可验证。。
别的，，，MicroAGI也在探索漫衍式众包收罗，，，通过让操作职员在真实家庭情形中自然完成使命，，，将人类数据生产从实验项目转化为可一连运营的收罗网络。。
规；；；，，，光轮智能怎样界说高质量人类数据
古板数据质量控制，，，通常关注文件是否完整、名堂是否准确、轨迹是否缺失，，，以及标注是否通过。。
但这些指标最多只能证实一条数据在生产流程上“及格”，，，不可证实它真的值得机械人学习。。
一段视频可能拍摄完整，，，行动轨迹却无法被机械人执行；；；一条标注可能切合规范，，，其中的使命历程却缺少要害方法；；；一批数据看起来数目重大，，，现实笼罩的人群、场景与行动漫衍却高度重复。。
光轮智能将人类数据质量拆成三个一连环节。。
首先，，，用Agent驱动数据收罗质量与数据漫衍。。
在光轮智能看来，，，具身数据最大的质量风险，，，经常爆发在收罗现场。。
要害行动是否进入画面？？？？？手与物体的交互是否被遮挡？？？？？使命起点和终点是否完整？？？？？收罗者是否偏离操作要求？？？？？一个episode虽然录制完成，，，是否真正包括完整的学习历程？？？？？
若是这些问题比及数据上传后才被发明，，，往往只能整段作废，，，或者重新组织职员补采。。
光轮智能的Agent驱动收罗系统，，，会围绕装备状态、使命流程、行动完整性和有用视角举行实时检查，，，并在发明风险时推动现场纠偏或补采。。
更主要的是，，，Agent不但认真单条数据质检，，，也可以凭证已有数据漫衍，，，调控下一轮需要收罗的人群、场景、使命与行动类型，，，阻止数据规模增添后泛起大宗重复样本。。
这使数据质量从事后抽检，，，转化为生产历程控制。。
其次，，，通过兼容多种收罗硬件的云端平台，，，实现统一的数据标准。。
无论原始数据来自眼镜、手机、头戴相机照旧其他多模态装备，，，都需要经由云端统一的处理和质量控制，，，才华进入统一个训练系统。。
光轮的处理流程包括视觉惯性里程计，，，也就是VIO，，，用于恢复相机在空间中的运动；；；三维手部与Body标注，，，用于还原人的身体行动和手物交互；；；以及V7级行动标注，，，把一段一连视频进一步切分为可以与使命历程对齐的行动语义。。
光轮智能的人类数据解决方案EgoSuite，，，能够在生产规模上提供三维手部、三维全身姿态和帧级语义标注，，，并强调在遮挡和近距离物体交互情形下维持稳固追踪。。其平台也果真强调对差别商业装备、研究型眼镜、行动相机和定制收罗系统的兼容能力。。
这套思绪可以用一句话概括：硬件可以多元，，，进入模子之前的数据标准必需一致。。
最后，，，用仿真与评测磨练数据价值。。
数据处理完成后，，，还要回覆一个更要害的问题：这些数据，，，是否真的值得机械人学习？？？？？
光轮智能将自研仿真平台SimFoundry与工业级评测平台RoboFinals接入人类数据质量闭环。。SimFoundry将人类数据中的行动轨迹、物体关系和使命流程，，，转化为机械人可执行、可复现的仿真使命；；；RoboFinals则通过标准化评测，，，验证这些数据事实提升了哪些使命，，，又会在哪些机械人本体、场景和物理条件下失效。。
因此，，，数据价值不再由生产方自行界说，，，而是由机械人训练和评测效果配合验证。。评测历程中发明的失败案例，，，也会进一步反馈给收罗端，，，指导下一轮需要增补哪些数据、扩大哪些漫衍、修正哪些收罗规则，，，形成一连优化的数据闭环。。
最终，，，高质量具身人类数据形成一条完整的数据质量闭环：
端侧Agent实时控制收罗质量 → 多种收罗硬件统一接入云端 → VIO、手部、Body Pose与行动语义标准化处理 → SimFoundry将人类数据转化为机械人可执行使命 → RoboFinals验证数据学习价值并定位失败模式 → 评测效果反馈下一轮数据收罗。。
唯一中国公司，，，进入全球两大具身基础设施标准
随着具身智能从单点手艺验证走向规；；；，，，行业竞争正在从模子能力，，，进一步延伸究竟层基础设施与标准系统。。
其中，，，两条要害主线正在形成。。
一条是以EgoVerse为代表的数据基础设施，，，界说高质量具身人类数据怎样收罗、组织、处理、共享和一连迭代；；；另一条是以Newton为代表的物理仿真基础设施，，，界说机械人怎样在遵照真实物理纪律的仿真天下中完成训练、验证和评测。。
Newton由NVIDIA、Google DeepMind和Disney Research联合提倡，，，由NVIDIA、Google DeepMind、Disney Research、光轮智能和Toyota Research Institute（TRI）五家企业配合组成手艺指导委员会（TSC），，，一连界说机械人仿真与物理建模的手艺蹊径，，，正逐渐成为全球具身智能的主要物理仿真基础设施。。
前者解决机械人从那里获得可规；；；难奥睦，，，后者解决这些履历怎样在物理天下中被复现和验证。。数据与仿真，，，配合组成物理AI走向规；；；牧酱蟮鬃。。
光轮智能成为现在唯一同时加入这两套国际标准系统的中国企业。。
在EgoVerse中，，，光轮带入的是一套贯串人类数据生产全流程的质量系统：从端侧Agent治理收罗历程，，，到多种硬件数据进入统一云端管线，，，再到通过仿真与模子评考试证数据价值。。人类数据质量由此从依赖人工抽检和履历判断，，，走向可界说、可较量、可验证、可一连优化的工程标准。。
在Newton中，，，光轮加入物理求解、仿真资产、机械人训练与评测等焦点能力建设，，，推动真实天下中的物体、使命和物理历程，，，转化为机械人可以交互、训练和验证的仿真基础设施。。
这意味着，，，光轮加入界说的不但是某一种数据名堂，，，也不但是某一套仿真工具，，，而是毗连真实天下数据、物理仿真、模子训练与能力验证的底层标准。。
若是说ImageNet为视觉AI建设了配合的数据基础设施，，，那么EgoVerse与Newton则划分从数据和仿真两个偏向，，，为物理AI建设新的全球基础设施。。
光轮同时进入EgoVerse与Newton，，，加入建设的已经不但是今天的工具链，，，而是未来全球具身智能工业配合遵照的底层基础设施。。这也意味着，，，中国企业最先从标准的使用者，，，走向全球物理 AI 基础设施规则的配合界说者。。
