让大模子 "读得更长" 一直是 Agent、深度推理和海量资料整合等场景的刚需 ， ，，，，，但标准全注重力机制的盘算量随序列长度呈平方级增添 ， ，，，，，始终是横亘在长上下文建模眼前的三座大山。。。。。
本周 ， ，，，，，腾讯混元团队正式开源 HiLS-Attention（分层地标希罕注重力） ， ，，，，，提出了一种全新的分块希罕注重力范式 ， ，，，，，首次在数学层面上同时解决了 chunk 主要性预计的 "表达力缺乏" 和选择历程的 "端到端不可导" 两大基础难题 ， ，，，，，真正将希罕注重力做到了 "Done Right"。。。。。
在 345M 至 7B 参数规模上的系统验证显示：HiLS-Attention 在随笔本场景下语言建模疑心度（PPL）与全注重力险些重合 ， ，，，，，在 8K 训练条件下可实现 4M 上下文（512 倍）免训外推 ， ，，，，，512K 上下文下的 prefill 与单步 decode 划分加速 13.5 倍和 15.7 倍。。。。。
更主要的是 ， ，，，，，该要领在部分长上下文检索使命上反超了全注重力自己 —— 效率与效果的 "二选一" 逆境被首次同时突破。。。。。相关论文与代码已在 GitHub 上果真。。。。。
论文问题：Hierarchical Sparse Attention Done Right: Toward Infinite Context Modeling论文链接：https://arxiv.org/pdf/2607.02980代码链接：https://github.com/Tencent-Hunyuan/HiLS-Attention
一、长上下文的老浩劫：
全注重力扛不动 ， ，，，，，希罕注重力又 "禁绝"
让大模子读得更长 ， ，，，，，险些是今天所有 Agent、深度推理、海量资料整合使命的刚需。。。。。
但 "读得长" 对标准的全注重力（Full Attention）来说 ， ，，，，，一直是三座大山：
盘算量是平方级的：序列翻倍 ， ，，，，，算力翻四倍；；长度外推差：训练 8K ， ，，，，，测试 32K 就最先崩；；KV Cache 随长度线性膨胀 ， ，，，，，显存很快吃不必。。。。。
于是各人把眼光投向分块希罕注重力（Chunk-wise Sparse Attention）：把上下文切成一个个 chunk ， ，，，，，每个 query 只挑最相关的 Top-K 个 chunk去算注重力 ， ，，，，，多余的 kv cache 卸载到 cpu memory, 盘算和显存开销都被控制在常数 ， ，，，，，看起来思绪很是优美。。。。。
但现实是：迄今为止 ， ，，，，，没有任何一种分块希罕注重力能真正追平全注重力。。。。。
图：最直接的证据 —— 即便让 345M 模子在 RULER 使命上训练 ， ，，，，，现有分块希罕注重力依然打不满全注重力。。。。。
问题的根子在哪？？？？——chunk 选禁绝。。。。。
二、现有要领为什么会 "选错 chunk"？？？？
mean /max logits 的先天缺陷
要选对 chunk ， ，，，，，条件是能准确预计每个 chunk 的 "主要性"。。。。。
图：从最质朴的 block sparse attention 出发 —— 一个 chunk 的主要性 ， ，，，，，就是它内部所有 token 注重力质量的总和
基于上图 ， ，，，，，形式上有:
按 Zc 从大到小取 Top-K ， ，，，，，选出来的就是和全注重力完全一致的准确排序。。。。。问题在于：想准确算出 Zc ， ，，，，，就得把 query 和 chunk 里每一个 token 都点积一遍 —— 这即是又把全注重力算了一遍 ， ，，，，，希罕的意义荡然无存。。。。。
现有要领是怎么造的？？？？最主流的是均值池化（mean pooling）：直接把 chunk 内所有 key 求平均当摘要 key。。。。。稍作推导就会发明 ， ，，，，，它算出来的分数着实就是 token logit 的均值
NSA、InfLLM v2、MoBA 等都属此类；；另一类要领（如 MiniMax 希罕注重力）则改用max logits来近似。。。。。
也就是说：
mean logits 只在 "chunk 内注重力匀称漫衍" 时才准；；max logits 只在 "单个 token 独吞注重力" 时才准。。。。。
可真实场景里 ， ，，，，，logit 漫衍随 query随 head随数据强烈转变 ， ，，，，，基础不会乖乖落在某一种极端。。。。。效果就是：无论用 mean 照旧 max ， ，，，，，都是在用一个只在极端情形才建设的署理去硬凑 LogSumExp ， ，，，，，从而系统性地错估 chunk 主要性 ， ，，，，，打乱 chunk 排序 ， ，，，，，让真正要害的 chunk 落选
这一点在实验里看得很清晰：在最简朴的单针大海捞针使命上 ， ，，，，，用均值池化的 NSA / DashAttention / InfLLM v2 在 8K 域内就已经显着掉点—— 由于大海捞针恰恰是 "少数针 token 独吞注重力" 的高度集中漫衍 ， ，，，，，而均值池化会把这种尖峰稀释掉
三、想用 "参数化 summary" 救。。。。？？？？
先过端到端反传这一关
既然非参数化的 mean/max 表达力不敷 ， ，，，，，那很自然的想法是：给每个 chunk 学一个参数化的 summary ， ，，，，，让它更有表达力地概括整块内容。。。。。
听起来对 ， ，，，，，但这里藏着一个被险些所有现有要领忽略的致命断点
现有要领即便用了参数化 summary ， ，，，，，也只拿它来打分选 Top-K。。。。。一旦 Top-K 的 chunk ID 被 "硬选" 出来 ， ，，，，，summary 和打分就被扬弃了 ， ，，，，，不再加入后续的注重力盘算。。。。。
这意味着什么？？？？
意味着语言建模（LM）loss 的梯度 ， ，，，，，基础传不到 summary 和选择分数上。。。。。
Top-K 选择是一个离散不可导的操作。。。。。打分→排序→选 ID ， ，，，，，这条链路梯度无法反传到 summary ， ，，，，，LM loss 无法告诉 summary："你这次把主要的 chunk 排低了 ， ，，，，，下次该调高一点。。。。。"
于是 summary 的学习酿成了 "盲训"—— 它学不会去抑制无关 chunk、抬高对展望真正有用的 chunk。。。。。选择历程没有被端到端优化 ， ，，，，，再有表达力的 summary 也无济于事。。。。。
这就引出了两个 research question：
RQ1. 数学表达能力足够的 chunk 主要性预计.
RQ2. chunk summary 必需能随着 LM loss 端到端训练.
把这两点同时做到 ， ，，，，，才算把希罕注重力"做对"
四、思绪：HiLS-Attention ——
把 chunk 选择酿成可微分的 "分层 softmax"
腾讯混元提出HiLS-Attention（Hierarchical Landmark Sparse Attention ， ，，，，，分层地标希罕注重力）。。。。。它的焦点 ， ，，，，，是把上面两个诉求拆成两个问题逐一攻破。。。。。
RQ1：用 "一阶泰勒睁开" 结构表征能力足够的 chunk 算分函数
一个直觉的想法是对 LogSumExp 举行一阶泰勒睁开 ， ，，，，，视察数学性子。。。。。研究团队发明 ， ，，，，，chunk 的对数主要性可以被近似成一个很是优雅的形式：
它由两部分组成：
RQ2：怎样让 chunk summary 随着 LM loss 端到端训练？？？？
光有好 summary 还不敷 —— 要解决谁人致命断点：让梯度真正流到 summary 上。。。。。
HiLS 的做法是把注重力权重分层因式剖析成两级 softmax：
图：先按 summary 算每个 chunk 应该分摊几多饼 ， ，，，，，再由 chunk 内 token 继续分饼
chunk 内（intra-chunk）softmax：在每个被选中的 chunk 内部 ， ，，，，，决议 token 之间的相对权重；；
断点被买通了。。。。。chunk 选择第一次成为了在 LM 目的下端到端可学习的历程 ， ，，，，，并且训练和推理全程都是真希罕（native sparse training）。。。。。
一个反直觉的彩蛋：它不但是 "模拟" 全注重力 ， ，，，，，还更准
研究团队最初是想让 HiLS 去迫近 "全注重力诱导的 chunk 选择"（即质朴 BSA）。。。。。但实验给了惊喜：
HiLS 不但追平了质朴 BSA ， ，，，，，还在长上下文检索上反超了全注重力自己。。。。。
原因可能在于压缩自己能去噪。。。。。全注重力有个固有毛。。。。。褐灰桓 token 的 logit 不是负无限 ， ，，，，，它就会分到一点点注重力质量。。。。。上下文越长 ， ，，，，，这些无关 token 的细小噪声越积越多 ， ，，，，，反而污染了检索信号。。。。。而 HiLS 把多个 key 压缩成一个 summary key 时 ， ，，，，，差池齐的噪声相互抵消共享的语义信号被保存 ， ，，，，，于是检索反而更清洁 —— 这正是它在变量追踪（VT）这类多跳使命上能比全注重力横跨多达 50% 的泉源。。。。。
五、实验：从 345M 到 7B ， ，，，，，周全验证
345M → 1.4B → 7B三个标准上做了系统验证 ， ，，，，，结论高度一致：
随笔本不掉点：345M 与 1.4B 从零训练时 ， ，，，，，HiLS 在各上下文长度、各训练阶段的 PPL 与全注重力险些重合 ， ，，，，，8K 处持平甚至略低；；超长外推炸裂：仅用 8K 训练 ， ，，，，，外推到 4M（512 倍）仍坚持 90%+ 大海捞针准确率 ， ，，，，，远超全注重力；；低本钱刷新存量模子：把 OLMo3-7B 这类全注重力模子转成 HiLS ， ，，，，，只要续训 50B token 即可实现切换。。。。。短程使命不掉点 ， ，，，，，长序列使命 LongBench 在 in-domain 长度甚至能逾越全注重力基线 ， ，，，，，无缝继续 HiLS 的外推能力 ， ，，，，，在 out-of-domain length 显著碾压 YaRN 等种种 baseline；；推理还更快：512K 上下文下 ， ，，，，，prefill 快 13.5×、单步 decode 快 15.7×。。。。。
希罕注重力恒久以来的 "效率 — 性能" 二选一逆境 ， ，，，，，被第一次同时突破了。。。。。
六、写在最后
转头看这条逻辑链着实很清晰：
1. 希罕注重力的瓶颈是chunk 选错
2. 选错的泉源是mean /max logits 系统性失准
3. 想用参数化 summary 调解 ， ，，，，，又卡在端到端反传断点上
4.HiLS 用泰勒线性化（提出足够表达力的估分函数）+ 分层 softmax（把署理分数送进前向） ， ，，，，，一举解决了表达力和可微分两个问题。。。。。
HiLS 证实晰：希罕注重力可以同时提升效率和效果。。。。。效果提升的泉源或许源自压缩导致去噪 ， ，，，，，带来更纯净的检索表征。。。。。
这 ， ，，，，，才是把分层希罕注重力 "Done Right" 的样子。。。。。
