本月研究机构转达最新政策起底一驾校“文盲包过”生意 很兴奋为您解答这个问题，，，，，让我来帮您详细说明一下。。。。。。品牌授权报修电话，，，，，快速上门服务

云南省红河哈尼族彝族自治州绿春县重庆市市辖区北碚区山东省泰安市东平县蚌埠市龙子湖区甘肃省兰州市江西省九江市武宁县阿克苏地区新和县辽宁省沈阳市沈河区辽宁省大连市旅顺口区贵州省铜仁市印江土家族苗族自治县黑龙江省鹤岗市贵州省安顺市普定县青海省海南藏族自治州贵德县北海市海城区广东省惠州市龙门县山东省枣庄市台儿庄区山东省东营市垦利区福建省三明市梅列区乌鲁木齐市沙依巴克区向阳区管庄地区元氏县平顶山市卫东区向阳区管庄地区濮阳市南乐县黑龙江省伊春市金林区蚌埠市蚌山区阿克苏地区新和县延庆区康庄镇黑龙江省鹤岗市平山县岗南镇山东省泰安市东平县四川省德阳市广汉市蓟州区东施古镇长安区广安街道桥西区东华街道黑龙江省鸡西市鸡冠区平山县东回舍镇向阳区双井街道蓟州区东赵各庄镇向阳区酒仙桥街道喀什地区叶城县黑龙江省七台河市桃山区四川省广元市四川省宜宾市翠屏区四川省广元市四川省广安市岳池县山西省晋都会泽州县陕西省宝鸡市眉县银川市贺兰县吉林省长春市双阳区山西省朔州市山阴县密云区高岭镇密云区古北口镇信阳市平桥区江西省景德镇市昌江区四川省德阳市广汉市合肥市瑶海区云南省丽江市宁蒗彝族自治县和田地区陕西省汉中市西乡县上海市市辖区嘉定区云南省红河哈尼族彝族自治州绿春县四川省甘孜藏族自治州九龙县青海省海北藏族自治州门源回族自治县江苏省南通市启东市福建省南平市湖北省宜昌市夷陵区辽宁省沈阳市沈河区西藏阿里地区日土县山东省东营市垦利区北辰区青秀区江苏省徐州市丰县江苏省连云港市赣榆区山东省聊都会茌平区山西省晋中市榆社县山东省潍坊市青州市西藏拉萨市达孜区山东省东营市垦利区桥西区东华街道四川省宜宾市江安县湖北省宜昌市宜都会广东省珠海市斗门区静海区大邱庄镇芜湖市南陵县甘肃省陇南市武都区昌平区小汤山镇山西省晋中市太谷区塔城地区和布克赛尔蒙古自治县海南省儋州市焦作市中站区平山县岗南镇贵州省安顺市普定县山东省德州市齐河县山东省淄博市临淄区山东省滨州市青海省果洛藏族自治州江苏省徐州市丰县山东省德州市齐河县蚌埠市蚌山区

本月羁系部分宣布行业新报告在数学上把希罕注重力做对！腾讯Hy开源HiLS-Attention: 盘算更少效果更好, 外推512倍，，，，，很兴奋为您解答这个问题，，，，，让我来帮您详细说明一下:官方服务专线，，，，，支持多品牌报修

合肥市庐阳区甘肃省甘南藏族自治州山东省烟台市龙口市蚌埠市蚌山区甘肃省庆阳市镇原县平山县上观音堂乡山东省青岛市城阳区赞皇县西龙门乡辽宁省沈阳市沈河区开封市通许县博尔塔拉蒙古自治州温泉县元氏县四川省凉山彝族自治州昭觉县密云区不老屯镇贵州省六盘水市水城县蚌埠市蚌山区昌平区延寿镇向阳区双井街道四川省凉山彝族自治州昭觉县塔城地区和布克赛尔蒙古自治县向阳区小关街道山东省枣庄市台儿庄区贵州省铜仁市印江土家族苗族自治县乌鲁木齐市沙依巴克区黑龙江省大兴安岭地区呼玛县山西省运都会夏县焦作市辽宁省本溪市溪湖区湖北省恩施土家族苗族自治州建始县向阳区小关街道江西省宜春市宜丰县密云区古北口镇焦作市沁阳市青海省海北藏族自治州门源回族自治县广东省云浮市新兴县西乡塘区山东省东营市垦利区焦作市沁阳市甘肃省陇南市井陉县吴家窑乡山东省东营市垦利区辽宁省辽阳市白塔区焦作市山西省晋都会泽州县哈密市伊吾县四川省成都会新都区海南省三沙市西沙区向阳区小关街道平山县岗南镇伊犁哈萨克自治州昭苏县青海省玉树藏族自治州治多县合肥市瑶海区洛阳市汝阳县福建省南平市建瓯市四川省乐山市四川省宜宾市江安县信阳市平桥区山东省青岛市城阳区门头沟区大峪街道江苏省徐州市丰县四川省凉山彝族自治州昭觉县行唐县龙州镇武清区汊沽港镇陕西省商洛市山阳县武清区上马台镇江西省宜春市奉新县蚌埠市龙子湖区江苏省南京市浦口区向阳区酒仙桥街道海南省儋州市陕西省西安市未央区山西省晋中市太谷区怀柔区雁栖地区辽宁省沈阳市沈河区山东省威海市青海省玉树藏族自治州治多县黑龙江省大兴安岭地区呼玛县焦作市中站区密云区河南寨镇山西省晋都会高平市西青区精武镇江西省萍乡市上栗县蓟州区官庄镇焦作市沁阳市阿克苏地区新和县北辰区四川省甘孜藏族自治州九龙县内蒙古锡林郭勒盟镶黄旗丰台区和义街道江西省鹰潭市余江区山东省威海市武清区汊沽港镇吉林省四平市铁西区山西省晋中市灵石县长安区广安街道陕西省汉中市南郑区河东区东新街道山东省烟台市龙口市广东省江门市昌平区回龙观街道

全球服务区域:井陉县测鱼镇山东省泰安市泰山区哈密市伊吾县桂林市秀峰区焦作市沁阳市昌平区小汤山镇吉林省长春市双阳区南开区长虹街道桥西区留营街道黑龙江省伊春市金林区山西省忻州市宁武县辽宁省辽阳市白塔区云南省玉溪市新平彝族傣族自治县向阳区豆各庄地区南开区体育中心街道静海区大邱庄镇内蒙古锡林郭勒盟正镶白旗清静区南市街道辽宁省铁岭市开原市湖北省宜昌市夷陵区四川省凉山彝族自治州昭觉县重庆市县巫山县广东省汕头市南澳县元氏县苏村乡陕西省宝鸡市千阳县广东省汕头市龙湖区怀柔区雁栖地区怀柔区宝山镇青海省海南藏族自治州贵德县昌平区小汤山镇平顶山市湛河区甘肃省陇南市武都区山西省临汾市安泽县山西省忻州市宁武县焦作市中站区平顶山市湛河区合肥市瑶海区陕西省咸阳市兴平市甘肃省陇南市武都区甘肃省天水市秦州区山西省阳泉市平定县河东区大直沽街道塔城地区和布克赛尔蒙古自治县河东区东新街道北辰区甘肃省定西市渭源县辽宁省锦州市义县云南省丽江市宁蒗彝族自治县黑龙江省哈尔滨市巴彦县青海省海南藏族自治州贵德县青海省海北藏族自治州门源回族自治县陕西省咸阳市兴平市向阳区酒仙桥街道甘肃省甘南藏族自治州四川省乐山市上海市市辖区嘉定区湖北省宜昌市西陵区云南省普洱市景东彝族自治县四川省德阳市广汉市长安区广安街道内蒙古锡林郭勒盟镶黄旗甘肃省天水市秦州区山东省威海市辽宁省沈阳市浑南区山东省德州市齐河县河西区桃园街道贵州省六盘水市水城县井陉县吴家窑乡昌平区延寿镇山西省朔州市山阴县新乐市协神乡辽宁省锦州市义县甘肃省庆阳市镇原县河东区大直沽街道内蒙古锡林郭勒盟正镶白旗行唐县龙州镇海淀区青龙桥街道湖北省恩施土家族苗族自治州恩施市山西省朔州市山阴县山东省潍坊市青州市昌平区回龙观街道武清区汊沽港镇甘肃省庆阳市镇原县崇左市宁明县广东省广州市越秀区平山县东回舍镇赞皇县院头镇元氏县苏村乡怀柔区龙山街道内蒙古鄂尔多斯市鄂托克旗焦作市中站区四川省宜宾市翠屏区黑龙江省绥化市明水县甘肃省白银市景泰县信阳市平桥区隆安县平山县上观音堂乡山西省忻州市定襄县北辰区平顶山市湛河区

稍早前相关部分宣布新政策在数学上把希罕注重力做对！腾讯Hy开源HiLS-Attention: 盘算更少效果更好, 外推512倍，，，，，很兴奋为您解答这个问题，，，，，让我来帮您详细说明一下:售后服务维修中心电话，，，，，支持多渠道服务

天下服务区域：西藏山南市四川省宜宾市江安县甘肃省甘南藏族自治州昌平区回龙观街道山东省滨州市芜湖市南陵县平山县宅北乡山西省晋中市灵石县南开区体育中心街道四川省甘孜藏族自治州丹巴县辽宁省铁岭市清河区江西省宜春市宜丰县黑龙江省鹤岗市福建省莆田市城厢区重庆市县巫山县福建省福州市罗源县江苏省徐州市丰县内蒙古锡林郭勒盟正镶白旗陕西省宝鸡市眉县辽宁省大连市旅顺口区新乐市协神乡西城区月坛街道桥西区苑东街道桂林市兴安县洛阳市汝阳县丰台区和义街道北辰区江西省吉安市永新县向阳区豆各庄地区四川省德阳市广汉市甘肃省陇南市内蒙古乌海市乌达区广东省佛山市三水区井陉县测鱼镇内蒙古锡林郭勒盟正镶白旗贵州省六盘水市水城县上海市市辖区嘉定区西藏山南市辽宁省大连市旅顺口区固原市西吉县西乡塘区云南省丽江市宁蒗彝族自治县向阳区小关街道四川省成都会双流区上海市市辖区嘉定区长安区南村镇新乐市协神乡山西省晋中市榆社县内蒙古兴安盟乌兰浩特市山东省枣庄市台儿庄区密云区古北口镇江苏省徐州市丰县四川省宜宾市江安县山西省晋中市太谷区内蒙古乌海市乌达区湖北省宜昌市夷陵区门头沟区大峪街道青海省海南藏族自治州贵德县湖北省宜昌市宜都会贵州省铜仁市印江土家族苗族自治县西藏拉萨市达孜区西藏山南市贡嘎县重庆市市辖区北碚区海南省儋州市芜湖市南陵县赵县沙河店镇西藏山南市海南省？？？谑忻览记鞑匕⒗锏厍胀料劐а羰心侠窒匚淝迩下硖ㄕ蚋＝ㄊ∧掀绞泄愣」阒菔性叫闱魇∑枷缡猩侠跸毓愣∩峭肥心习南亟帐×聘凼懈佑芮橙崆浇值浪拇ㄊ∫吮鍪戌钕夭角邮僬蛟舷厮沾逑缂质〕ご菏兴羟质“咨绞谢虢磐饭登笥值浪骋迩崭劢值乐厍焓邢匚咨较睾北省宜昌市宜都会辽宁省本溪市溪湖区湖北省宜昌市宜都会青海省海西蒙古族藏族自治州德令哈市向阳区酒仙桥街道丰台区和义街道洛阳市汝阳县贵州省铜仁市玉屏侗族自治县陕西省汉中市西乡县昌平区回龙观街道山东省威海市广东省深圳市西城区天桥街道广东省汕头市龙湖区陕西省汉中市西乡县

售后服务上门服务电话，，，，，智能分配票据：在数学上把希罕注重力做对！腾讯Hy开源HiLS-Attention: 盘算更少效果更好, 外推512倍

让大模子 "读得更长" 一直是 Agent、深度推理和海量资料整合等场景的刚需，，，，，但标准全注重力机制的盘算量随序列长度呈平方级增添，，，，，始终是横亘在长上下文建模眼前的三座大山。。。。。。

本周，，，，，腾讯混元团队正式开源 HiLS-Attention（分层地标希罕注重力），，，，，提出了一种全新的分块希罕注重力范式，，，，，首次在数学层面上同时解决了 chunk 主要性预计的 "表达力缺乏" 和选择历程的 "端到端不可导" 两大基础难题，，，，，真正将希罕注重力做到了 "Done Right"。。。。。。

在 345M 至 7B 参数规模上的系统验证显示：HiLS-Attention 在随笔本场景下语言建模疑心度（PPL）与全注重力险些重合，，，，，在 8K 训练条件下可实现 4M 上下文（512 倍）免训外推，，，，，512K 上下文下的 prefill 与单步 decode 划分加速 13.5 倍和 15.7 倍。。。。。。

更主要的是，，，，，该要领在部分长上下文检索使命上反超了全注重力自己 —— 效率与效果的 "二选一" 逆境被首次同时突破。。。。。。相关论文与代码已在 GitHub 上果真。。。。。。

论文问题：Hierarchical Sparse Attention Done Right: Toward Infinite Context Modeling论文链接：https://arxiv.org/pdf/2607.02980代码链接：https://github.com/Tencent-Hunyuan/HiLS-Attention

一、长上下文的老浩劫：

全注重力扛不动，，，，，希罕注重力又 "禁绝"

让大模子读得更长，，，，，险些是今天所有 Agent、深度推理、海量资料整合使命的刚需。。。。。。

但 "读得长" 对标准的全注重力（Full Attention）来说，，，，，一直是三座大山：

盘算量是平方级的：序列翻倍，，，，，算力翻四倍；；；；长度外推差：训练 8K，，，，，测试 32K 就最先崩；；；；KV Cache 随长度线性膨胀，，，，，显存很快吃不必。。。。。。

于是各人把眼光投向分块希罕注重力（Chunk-wise Sparse Attention）：把上下文切成一个个 chunk，，，，，每个 query 只挑最相关的 Top-K 个 chunk去算注重力，，，，，多余的 kv cache 卸载到 cpu memory, 盘算和显存开销都被控制在常数，，，，，看起来思绪很是优美。。。。。。

但现实是：迄今为止，，，，，没有任何一种分块希罕注重力能真正追平全注重力。。。。。。

图：最直接的证据 —— 即便让 345M 模子在 RULER 使命上训练，，，，，现有分块希罕注重力依然打不满全注重力。。。。。。

问题的根子在哪？？？——chunk 选禁绝。。。。。。

二、现有要领为什么会 "选错 chunk"？？？

mean /max logits 的先天缺陷

要选对 chunk，，，，，条件是能准确预计每个 chunk 的 "主要性"。。。。。。

图：从最质朴的 block sparse attention 出发 —— 一个 chunk 的主要性，，，，，就是它内部所有 token 注重力质量的总和

基于上图，，，，，形式上有:

按 Zc 从大到小取 Top-K，，，，，选出来的就是和全注重力完全一致的准确排序。。。。。。问题在于：想准确算出 Zc，，，，，就得把 query 和 chunk 里每一个 token 都点积一遍 —— 这即是又把全注重力算了一遍，，，，，希罕的意义荡然无存。。。。。。

现有要领是怎么造的？？？最主流的是均值池化（mean pooling）：直接把 chunk 内所有 key 求平均当摘要 key。。。。。。稍作推导就会发明，，，，，它算出来的分数着实就是 token logit 的均值

NSA、InfLLM v2、MoBA 等都属此类；；；；另一类要领（如 MiniMax 希罕注重力）则改用max logits来近似。。。。。。

也就是说：

mean logits 只在 "chunk 内注重力匀称漫衍" 时才准；；；；max logits 只在 "单个 token 独吞注重力" 时才准。。。。。。

可真实场景里，，，，，logit 漫衍随 query随 head随数据强烈转变，，，，，基础不会乖乖落在某一种极端。。。。。。效果就是：无论用 mean 照旧 max，，，，，都是在用一个只在极端情形才建设的署理去硬凑 LogSumExp，，，，，从而系统性地错估 chunk 主要性，，，，，打乱 chunk 排序，，，，，让真正要害的 chunk 落选

这一点在实验里看得很清晰：在最简朴的单针大海捞针使命上，，，，，用均值池化的 NSA / DashAttention / InfLLM v2 在 8K 域内就已经显着掉点—— 由于大海捞针恰恰是 "少数针 token 独吞注重力" 的高度集中漫衍，，，，，而均值池化会把这种尖峰稀释掉

三、想用 "参数化 summary" 救场。。。。？？？

先过端到端反传这一关

既然非参数化的 mean/max 表达力不敷，，，，，那很自然的想法是：给每个 chunk 学一个参数化的 summary，，，，，让它更有表达力地概括整块内容。。。。。。

听起来对，，，，，但这里藏着一个被险些所有现有要领忽略的致命断点

现有要领即便用了参数化 summary，，，，，也只拿它来打分选 Top-K。。。。。。一旦 Top-K 的 chunk ID 被 "硬选" 出来，，，，，summary 和打分就被扬弃了，，，，，不再加入后续的注重力盘算。。。。。。

这意味着什么？？？

意味着语言建模（LM）loss 的梯度，，，，，基础传不到 summary 和选择分数上。。。。。。

Top-K 选择是一个离散不可导的操作。。。。。。打分→排序→选 ID，，，，，这条链路梯度无法反传到 summary，，，，，LM loss 无法告诉 summary："你这次把主要的 chunk 排低了，，，，，下次该调高一点。。。。。。"

于是 summary 的学习酿成了 "盲训"—— 它学不会去抑制无关 chunk、抬高对展望真正有用的 chunk。。。。。。选择历程没有被端到端优化，，，，，再有表达力的 summary 也无济于事。。。。。。

这就引出了两个 research question：

RQ1. 数学表达能力足够的 chunk 主要性预计.

RQ2. chunk summary 必需能随着 LM loss 端到端训练.

把这两点同时做到，，，，，才算把希罕注重力"做对"

四、思绪：HiLS-Attention ——

把 chunk 选择酿成可微分的 "分层 softmax"

腾讯混元提出HiLS-Attention（Hierarchical Landmark Sparse Attention，，，，，分层地标希罕注重力）。。。。。。它的焦点，，，，，是把上面两个诉求拆成两个问题逐一攻破。。。。。。

RQ1：用 "一阶泰勒睁开" 结构表征能力足够的 chunk 算分函数

一个直觉的想法是对 LogSumExp 举行一阶泰勒睁开，，，，，视察数学性子。。。。。。研究团队发明，，，，，chunk 的对数主要性可以被近似成一个很是优雅的形式：

它由两部分组成：

RQ2：怎样让 chunk summary 随着 LM loss 端到端训练？？？

光有好 summary 还不敷 —— 要解决谁人致命断点：让梯度真正流到 summary 上。。。。。。

HiLS 的做法是把注重力权重分层因式剖析成两级 softmax：

图：先按 summary 算每个 chunk 应该分摊几多饼，，，，，再由 chunk 内 token 继续分饼

chunk 内（intra-chunk）softmax：在每个被选中的 chunk 内部，，，，，决议 token 之间的相对权重；；；；

断点被买通了。。。。。。chunk 选择第一次成为了在 LM 目的下端到端可学习的历程，，，，，并且训练和推理全程都是真希罕（native sparse training）。。。。。。

一个反直觉的彩蛋：它不但是 "模拟" 全注重力，，，，，还更准

研究团队最初是想让 HiLS 去迫近 "全注重力诱导的 chunk 选择"（即质朴 BSA）。。。。。。但实验给了惊喜：

HiLS 不但追平了质朴 BSA，，，，，还在长上下文检索上反超了全注重力自己。。。。。。

原因可能在于压缩自己能去噪。。。。。。全注重力有个固有误差。。。。。褐灰桓 token 的 logit 不是负无限，，，，，它就会分到一点点注重力质量。。。。。。上下文越长，，，，，这些无关 token 的细小噪声越积越多，，，，，反而污染了检索信号。。。。。。而 HiLS 把多个 key 压缩成一个 summary key 时，，，，，差池齐的噪声相互抵消共享的语义信号被保存，，，，，于是检索反而更清洁 —— 这正是它在变量追踪（VT）这类多跳使命上能比全注重力横跨多达 50% 的泉源。。。。。。

五、实验：从 345M 到 7B，，，，，周全验证

345M → 1.4B → 7B三个标准上做了系统验证，，，，，结论高度一致：

随笔本不掉点：345M 与 1.4B 从零训练时，，，，，HiLS 在各上下文长度、各训练阶段的 PPL 与全注重力险些重合，，，，，8K 处持平甚至略低；；；；超长外推炸裂：仅用 8K 训练，，，，，外推到 4M（512 倍）仍坚持 90%+ 大海捞针准确率，，，，，远超全注重力；；；；低本钱刷新存量模子：把 OLMo3-7B 这类全注重力模子转成 HiLS，，，，，只要续训 50B token 即可实现切换。。。。。。短程使命不掉点，，，，，长序列使命 LongBench 在 in-domain 长度甚至能逾越全注重力基线，，，，，无缝继续 HiLS 的外推能力，，，，，在 out-of-domain length 显著碾压 YaRN 等种种 baseline；；；；推理还更快：512K 上下文下，，，，，prefill 快 13.5×、单步 decode 快 15.7×。。。。。。

希罕注重力恒久以来的 "效率 — 性能" 二选一逆境，，，，，被第一次同时突破了。。。。。。

六、写在最后

转头看这条逻辑链着实很清晰：

1. 希罕注重力的瓶颈是chunk 选错

2. 选错的泉源是mean /max logits 系统性失准

3. 想用参数化 summary 调解，，，，，又卡在端到端反传断点上

4.HiLS 用泰勒线性化（提出足够表达力的估分函数）+ 分层 softmax（把署理分数送进前向），，，，，一举解决了表达力和可微分两个问题。。。。。。

HiLS 证实晰：希罕注重力可以同时提升效率和效果。。。。。。效果提升的泉源或许源自压缩导致去噪，，，，，带来更纯净的检索表征。。。。。。

这，，，，，才是把分层希罕注重力 "Done Right" 的样子。。。。。。

本月官方渠道宣布行业新报告在数学上把希罕注重力做对！腾讯Hy开源HiLS-Attention: 盘算更少效果更好, 外推512倍

让大模子 "读得更长" 一直是 Agent、深度推理和海量资料整合等场景的刚需，，，，，但标准全注重力机制的盘算量随序列长度呈平方级增添，，，，，始终是横亘在长上下文建模眼前的三座大山。。。。。。

本周，，，，，腾讯混元团队正式开源 HiLS-Attention（分层地标希罕注重力），，，，，提出了一种全新的分块希罕注重力范式，，，，，首次在数学层面上同时解决了 chunk 主要性预计的 "表达力缺乏" 和选择历程的 "端到端不可导" 两大基础难题，，，，，真正将希罕注重力做到了 "Done Right"。。。。。。

在 345M 至 7B 参数规模上的系统验证显示：HiLS-Attention 在随笔本场景下语言建模疑心度（PPL）与全注重力险些重合，，，，，在 8K 训练条件下可实现 4M 上下文（512 倍）免训外推，，，，，512K 上下文下的 prefill 与单步 decode 划分加速 13.5 倍和 15.7 倍。。。。。。

更主要的是，，，，，该要领在部分长上下文检索使命上反超了全注重力自己 —— 效率与效果的 "二选一" 逆境被首次同时突破。。。。。。相关论文与代码已在 GitHub 上果真。。。。。。

论文问题：Hierarchical Sparse Attention Done Right: Toward Infinite Context Modeling论文链接：https://arxiv.org/pdf/2607.02980代码链接：https://github.com/Tencent-Hunyuan/HiLS-Attention

一、长上下文的老浩劫：

全注重力扛不动，，，，，希罕注重力又 "禁绝"

让大模子读得更长，，，，，险些是今天所有 Agent、深度推理、海量资料整合使命的刚需。。。。。。

但 "读得长" 对标准的全注重力（Full Attention）来说，，，，，一直是三座大山：

盘算量是平方级的：序列翻倍，，，，，算力翻四倍；；；；长度外推差：训练 8K，，，，，测试 32K 就最先崩；；；；KV Cache 随长度线性膨胀，，，，，显存很快吃不必。。。。。。

于是各人把眼光投向分块希罕注重力（Chunk-wise Sparse Attention）：把上下文切成一个个 chunk，，，，，每个 query 只挑最相关的 Top-K 个 chunk去算注重力，，，，，多余的 kv cache 卸载到 cpu memory, 盘算和显存开销都被控制在常数，，，，，看起来思绪很是优美。。。。。。

但现实是：迄今为止，，，，，没有任何一种分块希罕注重力能真正追平全注重力。。。。。。

图：最直接的证据 —— 即便让 345M 模子在 RULER 使命上训练，，，，，现有分块希罕注重力依然打不满全注重力。。。。。。

问题的根子在哪？？？——chunk 选禁绝。。。。。。

二、现有要领为什么会 "选错 chunk"？？？

mean /max logits 的先天缺陷

要选对 chunk，，，，，条件是能准确预计每个 chunk 的 "主要性"。。。。。。

图：从最质朴的 block sparse attention 出发 —— 一个 chunk 的主要性，，，，，就是它内部所有 token 注重力质量的总和

基于上图，，，，，形式上有:

按 Zc 从大到小取 Top-K，，，，，选出来的就是和全注重力完全一致的准确排序。。。。。。问题在于：想准确算出 Zc，，，，，就得把 query 和 chunk 里每一个 token 都点积一遍 —— 这即是又把全注重力算了一遍，，，，，希罕的意义荡然无存。。。。。。

现有要领是怎么造的？？？最主流的是均值池化（mean pooling）：直接把 chunk 内所有 key 求平均当摘要 key。。。。。。稍作推导就会发明，，，，，它算出来的分数着实就是 token logit 的均值

NSA、InfLLM v2、MoBA 等都属此类；；；；另一类要领（如 MiniMax 希罕注重力）则改用max logits来近似。。。。。。

也就是说：

mean logits 只在 "chunk 内注重力匀称漫衍" 时才准；；；；max logits 只在 "单个 token 独吞注重力" 时才准。。。。。。

可真实场景里，，，，，logit 漫衍随 query随 head随数据强烈转变，，，，，基础不会乖乖落在某一种极端。。。。。。效果就是：无论用 mean 照旧 max，，，，，都是在用一个只在极端情形才建设的署理去硬凑 LogSumExp，，，，，从而系统性地错估 chunk 主要性，，，，，打乱 chunk 排序，，，，，让真正要害的 chunk 落选

这一点在实验里看得很清晰：在最简朴的单针大海捞针使命上，，，，，用均值池化的 NSA / DashAttention / InfLLM v2 在 8K 域内就已经显着掉点—— 由于大海捞针恰恰是 "少数针 token 独吞注重力" 的高度集中漫衍，，，，，而均值池化会把这种尖峰稀释掉

三、想用 "参数化 summary" 救场。。。。？？？

先过端到端反传这一关

既然非参数化的 mean/max 表达力不敷，，，，，那很自然的想法是：给每个 chunk 学一个参数化的 summary，，，，，让它更有表达力地概括整块内容。。。。。。

听起来对，，，，，但这里藏着一个被险些所有现有要领忽略的致命断点

现有要领即便用了参数化 summary，，，，，也只拿它来打分选 Top-K。。。。。。一旦 Top-K 的 chunk ID 被 "硬选" 出来，，，，，summary 和打分就被扬弃了，，，，，不再加入后续的注重力盘算。。。。。。

这意味着什么？？？

意味着语言建模（LM）loss 的梯度，，，，，基础传不到 summary 和选择分数上。。。。。。

Top-K 选择是一个离散不可导的操作。。。。。。打分→排序→选 ID，，，，，这条链路梯度无法反传到 summary，，，，，LM loss 无法告诉 summary："你这次把主要的 chunk 排低了，，，，，下次该调高一点。。。。。。"

于是 summary 的学习酿成了 "盲训"—— 它学不会去抑制无关 chunk、抬高对展望真正有用的 chunk。。。。。。选择历程没有被端到端优化，，，，，再有表达力的 summary 也无济于事。。。。。。

这就引出了两个 research question：

RQ1. 数学表达能力足够的 chunk 主要性预计.

RQ2. chunk summary 必需能随着 LM loss 端到端训练.

把这两点同时做到，，，，，才算把希罕注重力"做对"

四、思绪：HiLS-Attention ——

把 chunk 选择酿成可微分的 "分层 softmax"

腾讯混元提出HiLS-Attention（Hierarchical Landmark Sparse Attention，，，，，分层地标希罕注重力）。。。。。。它的焦点，，，，，是把上面两个诉求拆成两个问题逐一攻破。。。。。。

RQ1：用 "一阶泰勒睁开" 结构表征能力足够的 chunk 算分函数

一个直觉的想法是对 LogSumExp 举行一阶泰勒睁开，，，，，视察数学性子。。。。。。研究团队发明，，，，，chunk 的对数主要性可以被近似成一个很是优雅的形式：

它由两部分组成：

RQ2：怎样让 chunk summary 随着 LM loss 端到端训练？？？

光有好 summary 还不敷 —— 要解决谁人致命断点：让梯度真正流到 summary 上。。。。。。

HiLS 的做法是把注重力权重分层因式剖析成两级 softmax：

图：先按 summary 算每个 chunk 应该分摊几多饼，，，，，再由 chunk 内 token 继续分饼

chunk 内（intra-chunk）softmax：在每个被选中的 chunk 内部，，，，，决议 token 之间的相对权重；；；；

断点被买通了。。。。。。chunk 选择第一次成为了在 LM 目的下端到端可学习的历程，，，，，并且训练和推理全程都是真希罕（native sparse training）。。。。。。

一个反直觉的彩蛋：它不但是 "模拟" 全注重力，，，，，还更准

研究团队最初是想让 HiLS 去迫近 "全注重力诱导的 chunk 选择"（即质朴 BSA）。。。。。。但实验给了惊喜：

HiLS 不但追平了质朴 BSA，，，，，还在长上下文检索上反超了全注重力自己。。。。。。

原因可能在于压缩自己能去噪。。。。。。全注重力有个固有误差。。。。。褐灰桓 token 的 logit 不是负无限，，，，，它就会分到一点点注重力质量。。。。。。上下文越长，，，，，这些无关 token 的细小噪声越积越多，，，，，反而污染了检索信号。。。。。。而 HiLS 把多个 key 压缩成一个 summary key 时，，，，，差池齐的噪声相互抵消共享的语义信号被保存，，，，，于是检索反而更清洁 —— 这正是它在变量追踪（VT）这类多跳使命上能比全注重力横跨多达 50% 的泉源。。。。。。

五、实验：从 345M 到 7B，，，，，周全验证

345M → 1.4B → 7B三个标准上做了系统验证，，，，，结论高度一致：

随笔本不掉点：345M 与 1.4B 从零训练时，，，，，HiLS 在各上下文长度、各训练阶段的 PPL 与全注重力险些重合，，，，，8K 处持平甚至略低；；；；超长外推炸裂：仅用 8K 训练，，，，，外推到 4M（512 倍）仍坚持 90%+ 大海捞针准确率，，，，，远超全注重力；；；；低本钱刷新存量模子：把 OLMo3-7B 这类全注重力模子转成 HiLS，，，，，只要续训 50B token 即可实现切换。。。。。。短程使命不掉点，，，，，长序列使命 LongBench 在 in-domain 长度甚至能逾越全注重力基线，，，，，无缝继续 HiLS 的外推能力，，，，，在 out-of-domain length 显著碾压 YaRN 等种种 baseline；；；；推理还更快：512K 上下文下，，，，，prefill 快 13.5×、单步 decode 快 15.7×。。。。。。

希罕注重力恒久以来的 "效率 — 性能" 二选一逆境，，，，，被第一次同时突破了。。。。。。

六、写在最后

转头看这条逻辑链着实很清晰：

1. 希罕注重力的瓶颈是chunk 选错

2. 选错的泉源是mean /max logits 系统性失准

3. 想用参数化 summary 调解，，，，，又卡在端到端反传断点上

4.HiLS 用泰勒线性化（提出足够表达力的估分函数）+ 分层 softmax（把署理分数送进前向），，，，，一举解决了表达力和可微分两个问题。。。。。。

HiLS 证实晰：希罕注重力可以同时提升效率和效果。。。。。。效果提升的泉源或许源自压缩导致去噪，，，，，带来更纯净的检索表征。。。。。。

这，，，，，才是把分层希罕注重力 "Done Right" 的样子。。。。。。

列车进入西藏前，，，，，唐古拉山镇是青海境内最后一站。。。。。。这里平均海拔4700米以上，，，，，常住生齿约2000人。。。。。。通车前，，，，，进城难、看病难、上学难，，，，，急危重症患者转诊时间经常数日以上，，，，，孩子上学需要跋涉数百公里。。。。。。

凯时AG

起底一驾校“文盲包过”生意