软件先容

揭秘mg4355网址背后的秘密使用指南

第一步：导入文件

翻开软件，，，，，，点击"?添加 揭秘mg4355网址背后的秘密"按钮，，，，，，从电脑中选择《揭秘mg4355网址背后的秘密》文件，，，，，，或直接将其拖拽至软件界面中。。。。。。

第二步：设置剖析

软件会自动识别并剖析导入的文件，，，，，，您可凭证界面提醒选择所需的生涯路径或下载名堂。。。。。。

第三步：最先下载

确认无误后，，，，，，点击"最先下载/处理"按钮。。。。。。期待进度条读取完毕，，，，，，即可在设定的文件夹中审查下载好的正版文件。。。。。。

李飞飞第一篇「触觉」论文：机械人会盲摸麻将了，，，，，，揭秘mg4355网址背后的秘密

文章转载于量子位

作者：贾浩楠

嚯！这阵容，，，，，，谁组的局？？？

李飞飞，，，，，，ImageNet涤讪人，，，，，，美国三院院士
；；；；；
；

Trevor Darrell，，，，，，伯克利BAIR联合首创人，，，，，，他的Caffe深度学习框架曾是盘算机视觉领域最普遍使用的平台之一
；；；；；
；

Jitendra Malik，，，，，，R-CNN的焦点孝顺者之一，，，，，，深刻影响了盘算机视觉的生长轨迹，，，，，，同样美国三院院士
；；；；；
；

Pieter Abbeel，，，，，，深度强化学习先驱，，，，，，伯克利机械人学习实验室主任、BAIR实验室联合主任。。。。。。ACM盘算奖得主
；；；；；
；

Ken Goldberg，，，，，，机械人学泰斗，，，，，，30年前就深耕机械人抓取和自动化，，，，，，IEEE会士
；；；；；
；

Jim Fan，，，，，，英伟达GEAR实验室掌舵者，，，，，，具身智能领域最受瞩目的年轻学者之一。。。。。。

具身智能学术圈，，，，，，可能是第一次迎来云云全明星阵营。。。。。。

有模子的、算力的、本体的、数据的等等…..在各自细分赛道上如雷贯耳的big name们，，，，，，齐聚具身智能，，，，，，但关注点嘛~一下就让人好奇起来：

不是当下大热的机械人通用大脑，，，，，，而是——灵巧手。。。。。。

T-Rex从何而起，，，，，，要解决什么问题？？？

自动驾驶靠纯视觉，，，，，，是有可能解决问题的，，，，，，但机械人，，，，，，尤其是灵巧手却很难。。。。。。

这是一个直观且浅易的事实：

手指、手掌举行细密重大操作时，，，，，，很难只用摄像头纪录运动数据。。。。。。

360°无死角的视频数据量有多重大暂且不说，，，，，，首先机位就没法安排。。。。。。差别使命种别，，，，，，很难像自动驾驶那样形成标准化数据集——模子泛化性受限。。。。。。

自然而然，，，，，，给模子加入触觉这个数据模态，，，，，，就成了一石三鸟的要领：感知精度更高、操作更精准细腻，，，，，，以及可以形成较为标准的数据集。。。。。。

但反知识的事情泛起了：

同样的灵巧手、同样的使命，，，，，，T-Rex团队把触觉力信号直接拼接到一个预训练好的VLA模子里，，，，，，想给它“加点手感”——效果使命乐成率从17%掉到了6%。。。。。。

触觉不是想加就能加的，，，，，，论文把原因拆成了三层。。。。。。

第一层，，，，，，数据太贵。。。。。。

现有的大规
；；；；；
；等耸菁饕嫦蚱叫屑凶Α礁种敢荒笠环，，，，，，遥操作门槛低。。。。。。但灵巧手有22个自由度，，，，，，操作员要戴数据手套，，，，，，每一个手势都要准确映射到机械手上，，，，，，还要包管视觉、触觉、枢纽状态严酷对齐，，，，，，现在灵巧手遥操作本钱是平行夹爪的5到10倍。。。。。。

第二层，，，，，，频率对不上。。。。。。视觉模子处理一帧图像动辄几百毫秒，，，，，，只能跑到5到10Hz。。。。。。但触觉反映需要毫秒级，，，，，，20Hz以上才华捕获到“正在滑”和“已经滑了”的临界点。。。。。。

两种信号塞进统一个低频Transformer，，，，，，视觉来缺乏看，，，，，，触觉来缺乏反映。。。。。。

第三层，，，，，，表征太浅。。。。。。许多要领把触觉当成一个静态的数字——“目今压力5牛顿”。。。。。。但触觉实质是时序信号：滑动、插入、按压、搓动，，，，，，每种接触状态都有力随时间转变的奇异模式。。。。。。

好，，，，，，问题在这里，，，，，，先看看T-Rex团队解决的怎么样。。。。。。

在12项真实天下的灵巧操作使命上，，，，，，T-Rex平均乐成率抵达65%，，，，，，比最强纯视觉基线的35%横跨了30个百分点。。。。。。

翻书页96%对68%，，，，，，开锁70%对0%——纯视觉方案在这个使命上完全被碾压。。。。。。

消融实验更直接：把T-Rex的触觉输入所有拿掉，，，，，，乐成率从65%掉到42%，，，，，，降了23个百分点——12项使命里凌驾三分之一的有用操作纯靠“手感”撑着。。。。。。

数据效率也很惊人：仅给10条微调演示时，，，，，，经由中期训练的T-Rex能抵达约40%乐成率，，，，，，没经由中期训练的模子直接归零。。。。。。

这说明模子不是“背下了”数据，，，，，，而是真正明确了“搓”“捏”“拧”这些行动的通用手感。。。。。。

一句话总结：视觉数据对灵巧手来说，，，，，，实质上是不敷用的——触觉不是锦上添花，，，，，，而是必选项。。。。。。

谁先解决“触觉怎么加”的架构问题，，，，，，谁就可能在灵巧手这个赛道上卡住位置。。。。。。

怎么做到的？？？

T-Rex的焦点思绪并不重大——给触觉单独开一条高速通路，，，，，，而不是让它和视觉挤在统一条慢车道上。。。。。。

整体架构叫Mixture-of-Transformer-Experts，，，，，，三个专家分工明确。。。。。。

Latent Expert处理视觉和语言，，，，，，展望未来的视觉表征，，，，，，相当于给模子提供一个“接下来会爆发什么”的阵势感。。。。。。

Action Expert做低频行动妄想，，，，，，参数目1.41B，，，，，，是三个专家里最大的谁人，，，，，，跑一次管一个行动块。。。。。。

Tactile Expert做高频触觉精修，，，，，，参数目只有0.62B，，，，，，轻量到可以频仍触发。。。。。。

要害机制是Cascaded Flow Matching：

扩散去噪通常需要10步才华从一团随机噪声酿成一个清洁的行动轨迹，，，，，，而T-Rex在第4步处一切两半：

前6步由Action Expert完成，，，，，，天生一个“大偏向对了但缺乏手感细节”的半制品
；；；；；
；后4步由Tactile Expert接手，，，，，，注入实时触觉数据完成精修。。。。。。

为什么是第4步？？？作者团队通过实验比照发明太早切，，，，，，Action Expert去噪步数太少，，，，，，继续不了大规模人类视频预训练获得的先验知识
；；；；；
；太晚切，，，，，，行动漫衍已经定型，，，，，，触觉信号进来也来缺乏修正了。。。。。。

第4步恰利益在“该有的形状都有了，，，，，，但细节还能改”的黄金位置。。。。。。

这就像写文章：主编（Action Expert）定好大框架后就去忙别的了，，，，，，四个编辑（Tactile Expert）在差别的节点上轮替检查细节，，，，，，不需要主编每次都回来重看一遍全文。。。。。。

触觉信号怎么编码是另一个要害设计。。。。。。

触觉传感器有零点漂移和高频噪声，，，，，，直接拿原始电压值喂给模子，，，，，，模子很可能把传感器噪声当成接触特征学进去。。。。。。

T-Rex用VQ-VAE把已往16帧。。。。。ㄔ0.5秒）的力历史压缩成64个离散码字。。。。。。差别接触状态——按压、插入、滑动——会被自动聚类赴任别的码字上。。。。。。

这样一来，，，，，，传感器漂移被过滤掉了，，，，，，触觉信号还变得可诠释——你能看到模子“明确”了什么类型的接触。。。。。。

两个工程细节，，，，，，第一个：让码本“活起来”。。。。。。 VQ-VAE码本，，，，，，理训练时经常泛起“码本坍塌”——大部分抽屉空着，，，，，，少数几个塞满种种杂乱状态。。。。。。T-Rex的做法是按期检查哪些抽屉闲置，，，，，，自动塞点数据进去“激活”它，，，，，，确保所有码字都被使用起来。。。。。。

第二个，，，，，，给“有手感”的时刻更高权重。。。。。。 阻止模子化90%的精神去学好“零接触”这个最容易学的状态，，，，，，而忽略真正有价值的接触瞬间。。。。。。T-Rex给高力帧更高的学习权重，，，，，，让模子把算力集中在要害接触点上。。。。。。

论文正文不会写、但做灵巧手工程化的人一看就懂。。。。。。

最后是训练战略。。。。。。

T-Rex接纳三阶段训练：

先在大规模人类视频上预训练（22,889小时），，，，，，让模子看懂“人是怎么动的”
；；；；；
；

再用100小时遥操作数据做中期训练，，，，，，笼罩207种物体和22种行动基元——目的是把人类视频里的运动知识迁徙到机械人本体上，，，，，，而不是死磕某个详细使命。。。。。。

最后用约100条使命演示做后训练，，，，，，快速适配特定需求。。。。。。

其中最焦点是中期训练，，，，，，解决了一个基础问题：人手抓杯子的方式和机械手抓杯子的方式纷歧样，，，，，，战略纷歧样，，，，，，受力反馈也纷歧样。。。。。。若是直接拿人类视频训练出来的模子去操控机械人，，，，，，它不知道怎么把“看来的”转化成“做出来的”。。。。。。

中期训练就是用100小时的遥操作数据，，，，，，把这道鸿沟填上。。。。。。它不是让模子死磕某一个详细使命，，，，，，而是让模子接触207种物体和22种行动基元的组合，，，，，，明确“搓”这个行动在差别物体上应该怎么执行、“捏”这个行动需要多大的力。。。。。。

这就像一个人学完游泳理论后，，，，，，在浅水区把蛙泳、自由泳、仰泳都练了一遍——不追求速率，，，，，，只追求“会用”。。。。。。

有了这个基础，，，，，，最后阶段只用100条使命演示就能快速适配——由于模子已经知道“手感”是什么了，，，，，，只需要知道“用在哪儿”。。。。。。

T-Rex的手艺蹊径清晰指向一个判断——视觉和触觉在灵巧操作中不是主从关系，，，，，，而是并行关系。。。。。。

它用一个异步架构解决了频率不匹配的底层矛盾，，，，，，用一套时序编码把漂移的传感器信号酿成了可诠释的离散词汇，，，，，，用一组基元组合的笼罩战略替换了特定使命的深度堆叠。。。。。。

这三件事单看都不是“发明新数学”，，，，，，但组合在一起，，，，，，为灵巧手的触觉使用提供了一套可复用的系统方案。。。。。。

灵巧手，，，，，，保存一个“第一性原理”吗？？？

灵巧手赛道眼下最热闹的争论，，，，，，集中在两个地方：枢纽运动形式和自由度数目。。。。。。

腱绳照旧连杆？？？丝杠照旧齿轮？？？11个自由度够用照旧得干到27个？？？差别厂商各执一词，，，，，，手艺蹊径远未收敛。。。。。。

这些争论虽然都有意义——传动方案决议本钱、可靠性和使用寿命，，，，，，自由度决议灵巧水平的上限——但学术前沿的焦点关注，，，，，，不在这些问题中的任何一个上面。。。。。。

由于一个更深层的问题很少被讨论：有了这些硬件，，，，，，算法能不可用好？？？

古板大模子范式险些以视觉数据为主，，，，，，没有针对触觉模态的有用使用方案。。。。。。T-Rex论文里谁人17%掉到6%的实验，，，，，，恰恰说明晰这一点——不是触觉没用，，，，，，是现有多模态大模子架构消化不了触觉。。。。。。

T-Rex团队的探索最大价值可能在这里： 跳出硬件参数的争论，，，，，，回到一个更基础的问题——灵巧手做细腻操作，，，，，，究竟需要什么数据？？？

枢纽形式和自由度数目解决的是“能不可动”的问题，，，，，，触觉数据解决的是“能不可感知和反映”的问题，，，，，，由此衍生出需要什么样的触觉数据这个系统化问题，，，，，，并给出了一个能泛化的方案。。。。。。

虽然，，，，，，T-Rex这项研究得以完成，，，，，，一个要害条件是Sharpa Wave提供的硬件基础——22个自由度、180Hz高频触觉信号、稳固的传感器输出。。。。。。

灵巧手的硬件天花板顶高了，，，，，，T-Rex才得以在算法层面去够这个上限。。。。。。

反过来，，，，，，T-Rex的算法探索也给硬件提出了新要求：手掌区域需要触觉感知，，，，，，差别传感器的数据名堂需要统一。。。。。。

T-Rex的软件、SHARPA的硬件探索偏向，，，，，，后续可能会给这个细分领域带来更深刻的转变。。。。。。

首先灵巧手可能从具身智能本体中分化出来，，，，，，成为一个自力赛道——占整机本钱15%到20%，，，，，，经济上可行，，，，，，手艺上门槛也足够高。。。。。。

但若是触觉数据成为焦点壁垒，，，，，，灵巧手就不但仅是执行器，，，，，，而是整个感知-决议-执行链条中数据价值最高的一环。。。。。。谁掌握触觉数据的收罗能力和模子训练能力，，，，，，谁就掌握了议价权。。。。。。

第二个转变，，，，，，更多专用场景的具身应用可能被启发。。。。。。目今具身智能的主流叙事是“通用”——一个模子解决所有使命。。。。。。

但这个叙事在接触麋集型使命上遇到了难题，，，，，，由于通用数据里触觉是缺失的。。。。。。T-Rex则证实的是另一种可能性：在一个足够详细的笔直场景里，，，，，，用专用的数据模态（触觉）、专用的架构设计（异步级联）、专用的数据网络战略（基元×物体），，，，，，可以取得比“通用”方案好得多的效果。。。。。。

这条路径若是走通，，，，，，会启发更多人去寻找类似的高价值专用场景。。。。。。

T-Rex的孝顺不是发明了“新数学”，，，，，，而是把现有工具组合成一套可用的系统方案，，，，，，试图建设具身智能触觉数据统一的收罗、训练范式，，，，，，推动灵巧手真正scale up起来。。。。。。

项目地点：https://tactile-reactive-dexterous.github.io/

作者简介

牛丹彤，，，，，，UC Berkeley PhD Candidate，，，，，，NVIDIA Gear Lab实习生，，，，，，导师Trevor Darrell，，，，，，主要从事具身灵巧手大模子的研究，，，，，，曾以第一作者或配合第一作者身份在CVPR, ICML, ICLR等国际顶级聚会上揭晓论文8篇，，，，，，向导或主要孝顺T-Rex，，，，，，EgoScale等事情，，，，，，现在谷歌学术引用1100+。。。。。。

刘卓洋，，，，，，北京大学元培学院本科生，，，，，，导师仉尚航，，，，，，现在在UC Berkeley会见，，，，，，导师Trevor Darrell，，，，，，主要从事具身多模态推理大模子偏向的研究，，，，，，曾以第一作者或配合第一作者身份在ICML, ICLR, NeurIPS, ICRA等国际顶级聚会上揭晓论文6篇，，，，，，其他加入论文共计15篇，，，，，，现在谷歌学术引用400余次。。。。。。曾获2026商汤奖学金（天下30人），，，，，，2025北京大学学术新星提名，，，，，，北京大学元培学院年度科研奖励，，，，，，北京大学新生奖学金等。。。。。。

Trevor Darrell教授，，，，，，最广为人知的效果是开发了Caffe深度学习库。。。。。。这个库在深度学习领域具有主要的职位，，，，，，为众多的研究职员和开发者提供了便捷的工具，，，，，，极大地推动了深度学习手艺的生长。。。。。。

Trevor Darrell现在是加州大学伯克利分校Berkeley DeepDrive研究中心的主任。。。。。。同时担当伯克利EECS系盘算机科学分部的教职，，，，，，并受聘于加州大学隶属的国际盘算机科学研究所（ICSI）。。。。。。研究偏向涵盖大规模感知学习算法，，，，，，包括物体与行为识别及检测，，，，，，并应用于机械人及移动装备的多模态交互等多种场景。。。。。。他的研究兴趣包括盘算机视觉、机械学习、盘算机图形学以及基于感知的人机交互界面。。。。。。

点个“爱心”，，，，，，再走 吧