不开颅,,,,读脑准确率从8%飙到61%,,,,Meta怎么做到的
上周,,,,Meta宣布了一项研究:让人戴着头盔打字,,,,AI从脑电波里还原出你打的是什么句子,,,,全程不需要任何手术,,,,平均准确率61%,,,,最好的加入者抵达78%。。。。
这次宣布的是 Brain2Qwerty 的第二个版本(v2)。。。。Brain2Qwerty 是 Meta FAIR 实验室开发的脑信号解码模子,,,,名字顾名思义:从大脑到键盘。。。。去年 v1 挂出预印本时已经引起过一波关注,,,,现在刚被 Nature Neuroscience 正式吸收,,,,v2 紧随着宣布,,,,且往前迈了一大步。。。。
这个数字,,,,是已往三十年非侵入式脑机接口最好效果的快要8倍。。。。
为什么这件事值得关注????由于就在今年,,,,中国刚刚批准了全球第一款侵入式脑机接口医疗器械上市,,,,脑机接口也被写进了医保价钱目录。。。。这个领域在中国正一步步落地。。。。而Meta这项研究,,,,让“不开颅”这条路头一回显得靠谱了。。。。
(论文地点:https://ai.meta.com/research/publications/accurate-decoding-of-natural-sentences-from-non-invasive-brain-recordings/ )
不开颅,,,,为什么一直没跑通
要明确这次突破的意义,,,,得先相识脑机接口领域一直分两条路在走。。。。
侵入式方案,,,,效果好,,,,但价钱是开颅手术、熏染风险、以及植入装备可能在数年后衰减失效。。。。Neuralink的芯片需要机械人手术植入,,,,已资助几位ALS(渐冻症,,,,运动神经元病的一种,,,,患者逐渐损失运动能力)患者恢复打字能力,,,,部分患者打字速率已凌驾每分钟40词,,,,最新一代装备更高。。。。
今年3月,,,,中国博????涤肭寤笱Я涎蟹⒌牟纺玫饺虻谝徽徘秩胧侥曰涌谝搅破餍抵,,,,32例临床试验中,,,,脊髓损伤患者通过意念控制气下手套完成抓握,,,,主要临床终点达标率100%。。。。
希望意接受手术的患者,,,,始终是少数。。。。
那些不想开颅的人,,,,恒久只有一个替换方案:戴个EEG(脑电图)头盔。。。。它通过贴在头皮上的电极收罗脑电信号,,,,自制、无创,,,,几百块能买到消耗级产品。。。。问题是颅骨会把电信号散射得面目全非,,,,就像隔着磨砂玻璃看灯。。。。三十年来,,,,EEG方案解码单词的准确率,,,,恒久卡在8%左右(针对大词汇表一连句子解码的基线数字)。。。。100个词,,,,猜对8个。。。。
8%这个数字,,,,没有任何适用价值。。。。
Meta FAIR实验室的做法,,,,是换掉信号源。。。。
去年的 v1 版还需要把脑信号按每个按键切成小窗口再拼起来解码,,,,v2 的要害升级在于,,,,不再切窗口了:一个一连 MEG 信号直接出整句话,,,,全程异步。。。。这一步让“靠近实时解码”这件事从不可能酿成了可能。。。。
他们用的是MEG(脑磁图),,,,一种检测神经元放电时爆发的微弱磁场的装备。。。。颅骨对磁场险些是透明的,,,,MEG拿到的信号比EEG清晰得多。。。。价钱是装备重大:一台古板MEG扫描仪造价两三百万美元,,,,必需放在磁屏障室里,,,,体积和核磁共振机械差未几。。。。
实验设置并不重大,,,,9名康健自愿者,,,,每人戴上有306个传感器的MEG头盔一连打字,,,,每人约10小时,,,,总计约22,000个句子。。。。打字时系统同步纪录大脑运动皮层爆发的信号,,,,之后AI从这些信号里还原出他们打的是什么。。。。
平均单词准确率61%(即单词过失率WER为39%),,,,最好的加入者78%(WER 22%),,,,其中47%的句子只差一个词以内。。。。比照之前非侵入式方案最好效果8%,,,,目今最好的侵入式方案WER约2%。。。。
实验可信吗????
实验样本有9个人,,,,并且全是康健自愿者,,,,没有一个脑损伤患者。。。。脑损伤后神经皮层会爆发功效重组,,,,康健大脑上训练出来的解码器能否直接用在患者身上,,,,现在完全未知。。。。Meta官方也没有回避这一点,,,,他们在博客中明确写道:这是研究,,,,不是产品。。。。
一是论文展示的缩放曲线。。。。从1小时训练数据到10小时,,,,字符过失率(CER,,,,权衡字符级别解码准确度的指标)从约0.5一连下降到约0.25,,,,全程没有泛起平台期。。。。这里变好的是模子:数据越多,,,,AI学到的脑电纪律越准确,,,,解码能力越强,,,,跟加入者熟不熟悉装备无关。。。。这意味着继续网络数据,,,,准确率还会继续涨,,,,并且涨得有纪律可循。。。。
二是传感器消融实验。。。。论文测试了只用150个传感器取代306个时,,,,准确率损失几多:WER只上升5.7个百分点。。。。这个数字很要害,,,,由于下一代可衣着OPM-MEG(光泵磁力仪脑磁图,,,,一种不需要液氦冷却、传感器可以直接戴在头上的新型装备)传感器数目会更少,,,,这个实验说明“传感器减半,,,,性能不会崩”,,,,为未来更便携的方案留了口。。。。
不过值得事先知道的配景是,,,,实验在西班牙巴斯克认知、大脑与语言中心完成,,,,加入者都是西班牙母语者,,,,打的也是西班牙语句子。。。。也就是说,,,,这套要领至少在西班牙语上跑通了。。。。中文能不可用、怎么用,,,,现在完全没人试过。。。。
为什么这次的准确率能跳起来????
Brain2Qwerty v2 的架构分三层:底层 Conformer 编码器(一种擅优点理时序信号的神经网络结构)直接从原始 MEG 信号端到端学习,,,,不再依赖手工设计的特征提取流程;;;;;;中层做词对齐;;;;;;顶层是微调过的 Qwen3-4B 大语言模子(LLM,,,,即大型语言模子),,,,认真从充满噪声的词序列里重修完整句子。。。。
这里“微调”在于,,,,Meta 用的是 LoRA(低秩适配)要领,,,,rank 只有 2。。。。这意味着他们只动了 Qwen3-4B 里少少几个参数,,,,就让一个通用大模子学会了读脑电波。。。。反过来说明,,,,LLM 内部已经积累的语义能力,,,,对明确“噪声很大但委屈可辨”的脑信号可能比我们预想的更有用。。。。
免费的代码,,,,和一道人接的题
最后这一层是要害。。。。MEG 信号噪声很大,,,,字符级解码一定会蜕化。。。。LLM 的作用,,,,是用语义上下文做纠错,,,,就像你在嘈杂情形里听人语言,,,,单个字没听清,,,,但靠前后句意能猜出整句话。。。。消融实验显示,,,,去掉这一层,,,,准确率显著下降。。。。
这三层也不是一口吻训完的。。。。论文接纳了渐进式训练战略:前 150 轮只练字符识别,,,,150 轮后加入词级别的比照学习让模子学会对齐词向量,,,,225 轮后才引入 LLM:先认字、再组词、最后造句,,,,跟人学语言的路数差未几。。。。
论文里还藏了一个不太起眼但意味深长的细节。。。。Meta 团队在开发这套系统时,,,,安排了 AI Agent 去探索解码管线的种种优化偏向:自动天生和测试差别的训练设置、试探差别的超参数组合,,,,最后由人类工程师从中挑选最佳方案。。。。
换句话说,,,,这不但是“用 AI 解码脑信号”,,,,更是“用 AI 帮人类写出解码脑信号的 AI”。。。。这种要领论上的突破,,,,可能比 v2 的详细数值更值得注重。。。。它意味着脑机接口的研究方式自己,,,,也在被 AI 重塑。。。。
Meta同时开源了完整训练代码,,,,协议CC BY-NC 4.0:非商业用途免费,,,,商业用途要单独谈授权。。。。
这个行动和Meta推Llama的逻辑一样:开源换生态,,,,让全球研究者都用统一套工具链,,,,从而界说行业基础设施标准。。。。商业价值锁在"非商业"那道门后面。。。。任何想把这套系统推向临床的机构,,,,都要经由Meta。。。。
Meta自己不会去做医疗器械,,,,不做临床,,,,不争手术室。。。。它走的是另一条路:在“非侵入解码算法”这一层做工具提供商,,,,谁想在这条赛道上造产品,,,,最终要么用它的工具链,,,,要么自己重新发明轮子。。。。
回到中国。。。。
今年3月博????的弥,,,,蹊径医疗同日宣布完成5亿元战略融资(阿里领投、腾讯跟投),,,,名堂塔科技天使轮1.5亿刷新纪录。。。。这些钱,,,,险些所有押在侵入式蹊径上。。。。侵入式的逻辑很清晰:信号质量高、临床效果确定、羁系路径已经跑通了一次。。。。
国家医保局去年已为脑机接口单自力项,,,,设立了“侵入式脑机接口置入费”和“非侵入式脑机接口适配费”两个价钱项目,,,,广东率先落地,,,,非侵入适配费定价约960元。。。。脑机接口这件事,,,,在中国已经走出了实验室。。。。
Brain2Qwerty v2的泛起,,,,并不是说侵入式偏向走错了。。。。而是非侵入的天花板,,,,不再是“没用”,,,,而是“还不敷好、但在快速变好”。。。。
目今最大的空缺是代码开源了,,,,但没有接球手。。。。Meta FAIR是研究机构,,,,不做临床试验。。。。谁来用这套工具链在真实患者身上跑出第一批数据,,,,决议了这条路能走多快。。。。中国有MEG装备的神经科学实验室并不少。。。。这是个实打实的时机。。。。
脑机接口已经不是十年后的事。。。。
全球第一张侵入式医疗器械证发到了中国企业手里,,,,医保价钱目录里已经有了这一行,,,,政府事情报告把它和量子科技、6G并列。。。。
Meta这项研究提出的问题很简朴:这件事,,,,非要在头上开个洞吗????
谜底还没有。。。。但不开颅这件事,,,,不再像个笑话了。。。。
(本文首发钛媒体APP,,,,作者|硅谷Tech_news,,,,编辑|林深)
@陈喜雯:千亿平台官网,,,,曝穆杰塔巴不会现身哈梅内伊葬礼@叶怡文:华北等地雨势强劲 局地或现大暴雨
@郭学竹:韩国游客给中国孩子韩币做纪念
热门排行
- 1 皇冠和365
- 2 fh体育平台
- 3 正版365官方
- 4 u乐app专业版
- 5 北单app官方正式版
- 6 真人网络游戏
- 7 万博狼队官网预约
- 8 beplay体育娱乐
- 9 尊龙z6旗舰厅