凯时AG

泉æºï¼šæ¯›å®å‘天下分享“三蹦å­â€è„±é”€å¤–洋作者: è¢ä¸­ä»¥ï¼š

Gravity:é¢å‘长程é‡å¤§ä½¿å‘½çš„统一具身智能框架

é¢ä¸´ä½¿å‘½é“¾é•¿ã€æƒ…å½¢ä¸ç¡®å®šã€è¯¯å·®æ˜“累积且需细腻接触与自主纠错的é‡å¤§æ“作,,,,现有方案难以兼顾"明确"与"预判"。。。。。。Gravity 给出一套é¢å‘长程ã€é‡å¤§ã€å¯æ³›åŒ–机械人使命的统一具身智能框架:以 MoT(Mixture-of-Transformers)为骨架,,,,èžåˆ VLM 的指令与场景明确ã€ä½¿å‘½æŽ¨ç†,,,,以åŠå¤©ä¸‹æ¨¡å­å¯¹æœªæ¥çжæ€çš„展望与å­ç›®çš„评估;;ï¼›ï¼›åŒæ—¶å¼•入触觉/力觉ã€å…ˆéªŒçŸ¥è¯†ï¼ˆPriors)ã€å¤šæ¨¡æ€å­ä½¿å‘½åŽ†ç¨‹ç›‘è§†ã€ä½¿å‘½é˜¶æ®µä¸Žå®Œæˆåº¦ï¼ˆStage/Progress)输出åŠçŸ­æ’久影象??,,,,并由强化学习驱动真机安排åŽçš„一连自进化。。。。。。一å¥è¯æ¦‚括:会明确,,,,更会预判与天生;;ï¼›;训练时把天下学é€,,,ï¼ŒæŽ¨ç†æ—¶ä»¥æžç®€é“¾è·¯å®žæ—¶è¡ŒåЍ;;ï¼›;安排之åŽ,,,,越用越强。。。。。。

â–²Gravity 框架总体架构示æ„

六大手艺特点

1.åŒè„‘èžåˆï¼šæ˜Žç¡®ä¸Žå¤©ç”Ÿä¸€ä½“化的基座模å­

业内主æµè¹Šå¾„ä¿å­˜å‰²è£‚:VLA å…·å¤‡åœºæ™¯æ˜Žç¡®ã€æŒ‡ä»¤éµç…§ä¸Žè¡ŒåŠ¨å¤©ç”Ÿèƒ½åŠ›,,,,但对情形动æ€ä¸Žè¡ŒåЍæ’久效果建模缺ä¹;;;;WAM 能模拟未æ¥è½¬å˜,,,,å´ç¼ºä¹é«˜å±‚语义明确与使命妄想。。。。。。Gravity 构建 AR Transformer 与 Diffusion Transformer ååŒçš„"åŒè„‘èžåˆ"架构:AR Transformer 作为认知决议中枢,,,,明确指令ã€è¯†åˆ«è¯­ä¹‰ã€å‰–æžç›®çš„,,,,并将é‡å¤§ä½¿å‘½å‰–æžä¸ºå¯æ‰§è¡Œçš„阶段与å­ä½¿å‘½;;;;Diffusion Transformer è®¤çœŸåŠ¨æ€æŽ¨æ¼”ä¸Žè¡ŒåŠ¨å¤©ç”Ÿ,,,,通过展望未æ¥çŠ¶æ€æ¼«è¡æ¨¡æ‹Ÿè¡ŒåЍ影å“ã€è¯„估效果,,,,æå‰è¯†åˆ«ç¢°æ’žã€æ»‘è½ã€é®æŒ¡ã€æŠ“å–失败等风险。。。。ã€‚ã€‚ä¸¤è€…åœ¨ä½¿å‘½è¯­ä¹‰ã€æƒ…形状æ€ä¸Žè¡ŒåŠ¨è¡¨å¾å±‚颿·±åº¦è€¦åˆ,,,,使机械人在执行å‰å¯¹å¤šç§å€™é€‰æˆ˜ç•¥ä¸¾è¡Œå†…部模拟与风险评估,,,,形æˆ"感知—明确—妄想—推演—执行"闭环。。。。。。由此机械人从"看到什么就åšä»€ä¹ˆ"å‡çº§ä¸º"先想清晰å†è¡ŒåЍ",,,,显著æå‡é•¿æµç¨‹ã€å¤šçº¦æŸã€é«˜é£Žé™©ä½œä¸šçš„乿ˆçއ,,,,适用于细密装é…ã€é‡å¤§åˆ†æ‹£ã€æŸ”性制造ã€è£…备æ“作等场景。。。。。。

2.深认知,,,,快行动:多维表å¾å­¦ä¹ ,,,,精简行动推ç†

训练阶段,,,,模å­å€ŸåŠ© 3D 空间结构ã€Flowã€å¯ä¾›æ€§ã€è¯­ä¹‰ã€åŠ¨åŠ›å­¦ã€ç‰©ç†å±žæ€§ã€åœºæ™¯å›¾ç­‰å¤šç»´ä¸­å¿ƒè¡¨å¾,,,,从几何ã€è¿åЍã€åŠŸæ•ˆã€å…³ç³»ä¸Žç‰©ç†çºªå¾‹å¤šå±‚颿˜Žç¡®æƒ…å½¢,,,,æé«˜ç›‘视密度ã€é•Œæ±°æ·å¾„学习,,,,æå‡é‡å¤§ä½¿å‘½çš„能力上é™ã€æ³›åŒ–æ€§ä¸Žé²æ£’性。。。。。。推ç†é˜¶æ®µ,,,,这些表å¾ä¸å†æ˜¾å¼å¤©ç”Ÿ,,,,而作为éšå¼çŸ¥è¯†æœåŠ¡äºŽè¡ŒåŠ¨å†³è®®ï¼šå…³é—­éžé¡»è¦è§£ç åˆ†æ”¯,,,,çœåŽ»ä¸­å¿ƒæ•ˆæžœåŽå¤„ç†ä¸Žä¼ è¾“,,,,åªè¾“出行动与使命进度,,,,从而缩短推ç†è·¯å¾„ã€é™ä½Žç®—åŠ›æ˜¾å­˜æœ¬é’±ã€æå‡æŽ§åˆ¶é¢‘çŽ‡ä¸Žå®žæ—¶æ€§。。。。。。其实质是能力与效率的解耦——能力在训练中åšåŠ æ³•,,,,延迟在推ç†ä¸­åšå‡æ³•。。。。。。这一"训练é‡ã€æŽ¨ç†è½»"设计已率先由 Gravity 4D(基于 Diffusion Transformer çš„ 4D WAM)è½åœ°å¹¶èŽ·å®žéªŒéªŒè¯。。。。。。

3.触觉与力觉:从时空几何建模走å‘物ç†äº¤äº’建模

ä»…é è§†è§‰çš„ 4D 模å­èƒ½å½¢è²Œå‡ ä½•ã€è¿åŠ¨ä¸Žå½¢å˜,,,,å´éš¾ä»¥æ„ŸçŸ¥è´¨é‡ã€åˆšåº¦ã€æ‘©æ“¦ä¸ŽæŽ¥è§¦ç¨³å›ºæ€§。。。。。。Gravity 把触觉与力觉视为一等模æ€,,,,使模å­ä»Ž"视察天下"èµ°å‘"通过交互明确天下",,,,å‡çº§ä¸ºè§†è§‰â€”触觉/力觉ååŒçš„物ç†äº¤äº’智能。。。。。。

4.使命æ„识 + 分层影象:为长程使命而生

长程使命的è¦å®³åœ¨äºŽä¸€è¿žæ˜Žç¡®"目今处于哪个阶段ã€å·²å®Œæˆä»€ä¹ˆã€ä¸‹ä¸€æ­¥åšä»€ä¹ˆã€å¼‚å¸¸åŽæ€Žæ ·æ¢å¤"。。。。ã€‚ã€‚å¤æ¿ç«¯åˆ°ç«¯æ¨¡å­ç¼ºä¹æ˜¾å¼ä½¿å‘½çжæ€,,,ï¼Œæ˜“æ³›èµ·æ–¹æ³•é—æ¼ã€é‡å¤æ“作ã€é˜¶æ®µåˆ‡æ¢è¿‡å¤±æˆ–å¼‚å¸¸åŽæ— æ³•ç»§ç»­。。。。。。为此,,,,Gravity å¼•å…¥æ˜¾å¼ Stage/Progress çŠ¶æ€æœºåˆ¶,,,,一连输出使命阶段与完æˆè¿›åº¦,,,,实时判断å­ä½¿å‘½æ˜¯å¦å®Œæˆã€æ˜¯å¦çŸ¥è¶³åˆ‡æ¢æ¡ä»¶ã€æ˜¯å¦åç¦»ç›®çš„ã€æ˜¯å¦éœ€æš‚åœé‡è¯•或回退,,,,使使命进度æˆä¸ºå¯è§†å¯Ÿã€å¯è¯ é‡Šã€å¯å¹²é¢„的结构化信æ¯。。。。。。

在此基础上构建与使命时间结构匹é…的分层影象:**短时影象(秒级)**ç”± Diffusion Transformer 天生,,,,形貌近期视察ã€è¡ŒåŠ¨è½¨è¿¹ã€ç‰©ä½“è¿åŠ¨è¶‹åŠ¿ä¸ŽæŽ¥è§¦çŠ¶æ€,,,,资助明确一连行动的因果关系,,,ï¼Œå°†å‰²è£‚çš„é™æ€å›¾åƒè½¬åŒ–为具速率ã€åå‘ã€æƒ¯æ€§çš„一连动æ€åŽ†ç¨‹;;;;**æ’久影象(数秒至数分钟)**ç”± AR Transformer 天生,,,ï¼Œçºªå½•ä½¿å‘½ç›®çš„ã€æ‰§è¡Œé˜¶æ®µã€è¦å®³äº‹åŠ¡ã€åކå²å†³è®®ä¸Žå¼‚常原因等语义信æ¯,,,,跨越多个行动片断维æŒä½¿å‘½ä¸Šä¸‹æ–‡。。。。。。短时影象解决"最近爆å‘了什么ã€ç›®ä»Šè¡ŒåŠ¨æ˜¯å¦æœ‰ç”¨",,,,æ’久影象解决"为什么执行ã€å®Œæˆåˆ°å“ªã€ä¸‹ä¸€é˜¶æ®µæ˜¯ä»€ä¹ˆ",,,,两者与 Stage/Progress ååŒ,,,,支æŒå±€éƒ¨é‡è¯•ã€æ–¹æ³•å›žé€€ã€æˆ˜ç•¥åˆ‡æ¢æˆ–请求人工介入,,,,实现长æµç¨‹ä½œä¸šçš„稳固ã€å¯æŽ§ã€å¯è¯ é‡Šä¸Žå¯æ¢å¤,,,,并自然适é…制造执行ã€ä»“储调ç†ä¸Žäººæœºå作等系统。。。。。。

5.机械人 Skill:注入专家知识,,,,少数æ®å†·å¯åЍ,,,,清é™å¯æŽ§

Gravity 显å¼å¼•å…¥ Robot Skill 与先验知识注入,,,,支æŒå°†æ“作手册ã€å·¥è‰ºè§„范ã€ä¸“å®¶æ ‘æ¨¡ã€æ ‡å‡†ä½œä¸šç¨‹åºã€æ‰‹è‰ºåº“ã€çº¦æŸæ¡ä»¶ä¸Žæ¸…é™è§„则纳入训练与推ç†,,,,使模å­ä»¥è¡Œä¸šå±¥åŽ†ä¸ºåŸºç¡€åœ¨æ˜Žç¡®è§„åˆ™ä¸‹å­¦ä¹ ä¸Žæ‰§è¡Œ。。。。。。Robot Skill å°†é‡å¤§æ“作å°è£…为标准化ã€å¯å¤ç”¨ã€å¯ç»„åˆçš„能力å•ä½,,,,上层按使命与现场状æ€é€‰æ‹©ç»„åˆ,,,,形æˆ??榛⒖哨故å·é—¹è‘±é‚¢ä½Ž;;ï¼›;专家知识用于界说手艺适用æ¡ä»¶ã€ä¹æˆæ ‡å‡†ä¸Žå¼‚常处ç†,,,,阻止åªé¡¾å®Œæˆè€Œå¿½è§†å·¥è‰ºä¸Žæ¸…é™。。。。。。进入新场景时å¯ç”¨å°‘釿 ‘模连系既有手艺与先验快速适é…,,,,é™ä½Žæ•°æ®ä¸Žè®­ç»ƒæœ¬é’±,,,,并在差别本体ã€å·¥ä½é—´è¿å¾™å¤ç”¨。。。。。。Gravity 由此实现"å°‘æ•°æ®ã€å¿«æ³›åŒ–"与"有界线ã€å¯å®¡è®¡ã€èƒ½ç®¡æŽ§"。。。。。。

6.安排å³è¿›åŒ–:越用越强

夿¿æ¨¡å­æŽ¥çº³"离线训练ã€ä¸€æ¬¡å®‰æŽ’"çš„é™æ€æ¨¡å¼,,,,上线åŽéš¾ä»¥è‡ªåŠ¨æ²‰æ·€å±¥åŽ†,,,ï¼Œé«˜ä»·å€¼æ•°æ®æ— æ³•转化为能力。。。。。。Gravity 通过 Evaluation Model 与强化学习,,,,建设"安排—åé¦ˆâ€”è¯„ä¼°â€”æ•°æ®æ²‰æ·€â€”å†è®­ç»ƒâ€”å†å®‰æŽ’"的一连进化闭环。。。。ã€‚ã€‚çœŸçœŸç›¸å½¢ä¸­æ¯æ¬¡ä¹æˆã€å¤±è´¥ã€äººå·¥æŽ¥å—与专家纠正都被结构化纪录,,,,由 Evaluation Model 从完æˆåº¦ã€è¡ŒåŠ¨ç¨³å›ºæ€§ã€å·¥è‰ºè´¨é‡ã€æ‰§è¡Œæ•ˆçŽ‡ä¸Žæ¸…é™åˆè§„等维度自动评估。。。。ã€‚ã€‚ä¹æˆæ ·æœ¬æç‚¼é«˜è´¨é‡è½¨è¿¹ä¸Žæœ‰ç”¨æ‰‹è‰ºç»„åˆ,,,,强化最佳实践;;ï¼›;失败样本定ä½å¤±è´¥é˜¶æ®µå¹¶å‰–æžå…¶ä¸Žæ„ŸçŸ¥è¯¯å·®ã€å¦„想误差ã€è¡ŒåŠ¨æ‰§è¡Œã€æƒ…å½¢è½¬å˜æˆ–清é™çº¦æŸçš„å…³è”;;ï¼›;专家纠正行动信æ¯å¯†åº¦é«˜,,,,å¯å¿«é€Ÿä¿®æ­£é•¿å°¾åœºæ™¯çš„行为误差。。。。。。通过离线强化学习ã€å勤学习ã€å¤±è´¥æ ·æœ¬é‡åŠ æƒä¸Žé’ˆå¯¹æ€§å†è®­ç»ƒ,,,,将è¿è¡Œå±¥åŽ†ä¸€è¿žè½¬åŒ–ä¸ºæ›´ä¼˜æˆ˜ç•¥,,,,使安排现场从能力使用端å˜ä¸ºæ•°æ®ç”Ÿäº§ç«¯ä¸Žè¿­ä»£é©±åŠ¨ç«¯。。。。。。éšç€è§„模扩大,,,,跨工ä½ã€è£…备ã€åœºæ™¯çš„履历在清é™éš”离与质é‡ç­›é€‰ä¸‹æ±‡èš,,,,形æˆè·¨åœºæ™¯å±¥åކå¤ç”¨ä¸Žèƒ½åŠ›è¿å¾™。。。。。。使用越久ã€ç¬¼ç½©è¶Šå¹¿,,,,应对长尾与é‡å¤§å·¥å†µçš„能力越强,,,,最终形æˆç”±çœŸå®žæ•°æ®ã€è¡Œä¸šçŸ¥è¯†ã€æ‰‹è‰ºèµ„产与å馈闭环组æˆçš„一连å¤åˆ©ä¼˜åŠ¿ä¸Žæ‰‹è‰ºå£åž’。。。。。。

结语:一个统一框架下的具身智能

明确ã€é¢„判ã€è¡ŒåЍã€å½±è±¡ã€å…ˆéªŒã€è¿›åŒ–——六者在 Gravity 中被统一进统一套 MoT åŒè„‘æž¶æž„,,,,其目的始终一致:让机械人在真实天下中真正干活,,,,真正爆å‘客户价值。。。。。。现在 Gravity VLA 与 Gravity 4D WAM 作为部分??æ©å´–æ°åš·æ¶ž,,,,我们将一连推进完整 Gravity 系统的构建,,,,并在åŽç»­å®£å¸ƒæ›´å¤šå¸Œæœ›。。。。。。

@蔡宜è“:kaiyun全站APP登录官网官网版,,,,许昕回应夺冠:马龙选中的人ä¸ä¼šå·®
@谢晓玲:男å­å¼€æ— çŠ¯ç½ªçºªå½•è¯å®žå‘明曾被劳教
@张阿行:习近平在这场大会上å‘出伟大招呼

ã€ç½‘站地图】