让大模子 "读得更长" 一直是 Agent、深度推理和海量资料整合等场景的刚需，，但标准全注重力机制的盘算量随序列长度呈平方级增添，，始终是横亘在长上下文建模眼前的三座大山。。。。。。

本周，，腾讯混元团队正式开源 HiLS-Attention（分层地标希罕注重力），，提出了一种全新的分块希罕注重力范式，，首次在数学层面上同时解决了 chunk 主要性预计的 "表达力缺乏" 和选择历程的 "端到端不可导" 两大基础难题，，真正将希罕注重力做到了 "Done Right"。。。。。。

在 345M 至 7B 参数规模上的系统验证显示：HiLS-Attention 在随笔本场景下语言建模疑心度（PPL）与全注重力险些重合，，在 8K 训练条件下可实现 4M 上下文（512 倍）免训外推，，512K 上下文下的 prefill 与单步 decode 划分加速 13.5 倍和 15.7 倍。。。。。。

更主要的是，，该要领在部分长上下文检索使命上反超了全注重力自己 —— 效率与效果的 "二选一" 逆境被首次同时突破。。。。。。相关论文与代码已在 GitHub 上果真。。。。。。

论文问题：Hierarchical Sparse Attention Done Right: Toward Infinite Context Modeling论文链接：https://arxiv.org/pdf/2607.02980代码链接：https://github.com/Tencent-Hunyuan/HiLS-Attention

一、长上下文的老浩劫：

全注重力扛不动，，希罕注重力又 "禁绝"

让大模子读得更长，，险些是今天所有 Agent、深度推理、海量资料整合使命的刚需。。。。。。

但 "读得长" 对标准的全注重力（Full Attention）来说，，一直是三座大山：

盘算量是平方级的：序列翻倍，，算力翻四倍；；；长度外推差：训练 8K，，测试 32K 就最先崩；；；KV Cache 随长度线性膨胀，，显存很快吃不必。。。。。。

于是各人把眼光投向分块希罕注重力（Chunk-wise Sparse Attention）：把上下文切成一个个 chunk，，每个 query 只挑最相关的 Top-K 个 chunk去算注重力，，多余的 kv cache 卸载到 cpu memory, 盘算和显存开销都被控制在常数，，看起来思绪很是优美。。。。。。

但现实是：迄今为止，，没有任何一种分块希罕注重力能真正追平全注重力。。。。。。

图：最直接的证据 —— 即便让 345M 模子在 RULER 使命上训练，，现有分块希罕注重力依然打不满全注重力。。。。。。

问题的根子在哪？？？？——chunk 选禁绝。。。。。。

二、现有要领为什么会 "选错 chunk"？？？？

mean /max logits 的先天缺陷

要选对 chunk，，条件是能准确预计每个 chunk 的 "主要性"。。。。。。

图：从最质朴的 block sparse attention 出发 —— 一个 chunk 的主要性，，就是它内部所有 token 注重力质量的总和

基于上图，，形式上有:

按 Zc 从大到小取 Top-K，，选出来的就是和全注重力完全一致的准确排序。。。。。。问题在于：想准确算出 Zc，，就得把 query 和 chunk 里每一个 token 都点积一遍 —— 这即是又把全注重力算了一遍，，希罕的意义荡然无存。。。。。。

现有要领是怎么造的？？？？最主流的是均值池化（mean pooling）：直接把 chunk 内所有 key 求平均当摘要 key。。。。。。稍作推导就会发明，，它算出来的分数着实就是 token logit 的均值

NSA、InfLLM v2、MoBA 等都属此类；；；另一类要领（如 MiniMax 希罕注重力）则改用max logits来近似。。。。。。

也就是说：

mean logits 只在 "chunk 内注重力匀称漫衍" 时才准；；；max logits 只在 "单个 token 独吞注重力" 时才准。。。。。。

可真实场景里，，logit 漫衍随 query随 head随数据强烈转变，，基础不会乖乖落在某一种极端。。。。。。效果就是：无论用 mean 照旧 max，，都是在用一个只在极端情形才建设的署理去硬凑 LogSumExp，，从而系统性地错估 chunk 主要性，，打乱 chunk 排序，，让真正要害的 chunk 落选

这一点在实验里看得很清晰：在最简朴的单针大海捞针使命上，，用均值池化的 NSA / DashAttention / InfLLM v2 在 8K 域内就已经显着掉点—— 由于大海捞针恰恰是 "少数针 token 独吞注重力" 的高度集中漫衍，，而均值池化会把这种尖峰稀释掉

三、想用 "参数化 summary" 救。。。。。？？？？

先过端到端反传这一关

既然非参数化的 mean/max 表达力不敷，，那很自然的想法是：给每个 chunk 学一个参数化的 summary，，让它更有表达力地概括整块内容。。。。。。

听起来对，，但这里藏着一个被险些所有现有要领忽略的致命断点

现有要领即便用了参数化 summary，，也只拿它来打分选 Top-K。。。。。。一旦 Top-K 的 chunk ID 被 "硬选" 出来，，summary 和打分就被扬弃了，，不再加入后续的注重力盘算。。。。。。

这意味着什么？？？？

意味着语言建模（LM）loss 的梯度，，基础传不到 summary 和选择分数上。。。。。。

Top-K 选择是一个离散不可导的操作。。。。。。打分→排序→选 ID，，这条链路梯度无法反传到 summary，，LM loss 无法告诉 summary："你这次把主要的 chunk 排低了，，下次该调高一点。。。。。。"

于是 summary 的学习酿成了 "盲训"—— 它学不会去抑制无关 chunk、抬高对展望真正有用的 chunk。。。。。。选择历程没有被端到端优化，，再有表达力的 summary 也无济于事。。。。。。

这就引出了两个 research question：

RQ1. 数学表达能力足够的 chunk 主要性预计.

RQ2. chunk summary 必需能随着 LM loss 端到端训练.

把这两点同时做到，，才算把希罕注重力"做对"

四、思绪：HiLS-Attention ——

把 chunk 选择酿成可微分的 "分层 softmax"

腾讯混元提出HiLS-Attention（Hierarchical Landmark Sparse Attention，，分层地标希罕注重力）。。。。。。它的焦点，，是把上面两个诉求拆成两个问题逐一攻破。。。。。。

RQ1：用 "一阶泰勒睁开" 结构表征能力足够的 chunk 算分函数

一个直觉的想法是对 LogSumExp 举行一阶泰勒睁开，，视察数学性子。。。。。。研究团队发明，，chunk 的对数主要性可以被近似成一个很是优雅的形式：

它由两部分组成：

RQ2：怎样让 chunk summary 随着 LM loss 端到端训练？？？？

光有好 summary 还不敷 —— 要解决谁人致命断点：让梯度真正流到 summary 上。。。。。。

HiLS 的做法是把注重力权重分层因式剖析成两级 softmax：

图：先按 summary 算每个 chunk 应该分摊几多饼，，再由 chunk 内 token 继续分饼

chunk 内（intra-chunk）softmax：在每个被选中的 chunk 内部，，决议 token 之间的相对权重；；；

断点被买通了。。。。。。chunk 选择第一次成为了在 LM 目的下端到端可学习的历程，，并且训练和推理全程都是真希罕（native sparse training）。。。。。。

一个反直觉的彩蛋：它不但是 "模拟" 全注重力，，还更准

研究团队最初是想让 HiLS 去迫近 "全注重力诱导的 chunk 选择"（即质朴 BSA）。。。。。。但实验给了惊喜：

HiLS 不但追平了质朴 BSA，，还在长上下文检索上反超了全注重力自己。。。。。。

原因可能在于压缩自己能去噪。。。。。。全注重力有个固有毛。。。。。。褐灰桓 token 的 logit 不是负无限，，它就会分到一点点注重力质量。。。。。。上下文越长，，这些无关 token 的细小噪声越积越多，，反而污染了检索信号。。。。。。而 HiLS 把多个 key 压缩成一个 summary key 时，，差池齐的噪声相互抵消共享的语义信号被保存，，于是检索反而更清洁 —— 这正是它在变量追踪（VT）这类多跳使命上能比全注重力横跨多达 50% 的泉源。。。。。。

五、实验：从 345M 到 7B，，周全验证

345M → 1.4B → 7B三个标准上做了系统验证，，结论高度一致：

随笔本不掉点：345M 与 1.4B 从零训练时，，HiLS 在各上下文长度、各训练阶段的 PPL 与全注重力险些重合，，8K 处持平甚至略低；；；超长外推炸裂：仅用 8K 训练，，外推到 4M（512 倍）仍坚持 90%+ 大海捞针准确率，，远超全注重力；；；低本钱刷新存量模子：把 OLMo3-7B 这类全注重力模子转成 HiLS，，只要续训 50B token 即可实现切换。。。。。。短程使命不掉点，，长序列使命 LongBench 在 in-domain 长度甚至能逾越全注重力基线，，无缝继续 HiLS 的外推能力，，在 out-of-domain length 显著碾压 YaRN 等种种 baseline；；；推理还更快：512K 上下文下，，prefill 快 13.5×、单步 decode 快 15.7×。。。。。。

希罕注重力恒久以来的 "效率 — 性能" 二选一逆境，，被第一次同时突破了。。。。。。

六、写在最后

转头看这条逻辑链着实很清晰：

1. 希罕注重力的瓶颈是chunk 选错

2. 选错的泉源是mean /max logits 系统性失准

3. 想用参数化 summary 调解，，又卡在端到端反传断点上

4.HiLS 用泰勒线性化（提出足够表达力的估分函数）+ 分层 softmax（把署理分数送进前向），，一举解决了表达力和可微分两个问题。。。。。。

HiLS 证实晰：希罕注重力可以同时提升效率和效果。。。。。。效果提升的泉源或许源自压缩导致去噪，，带来更纯净的检索表征。。。。。。

这，，才是把分层希罕注重力 "Done Right" 的样子。。。。。。

深圳SEO就业攻略：解密Discuz内链发明检查

〖One〗在数字营销领域，，SEO是提升网站可见性的焦点。。。。。。关于三明地区的企业而言，，实验外地化SEO尤为主要。。。。。。清代学者章学诚在《文史通义》中强调“因地制宜”，，这一头脑同样适用于网络推广。。。。。。三明SEO需细密连系外地文化、工业特色及用户搜索习惯，，才华从众多竞争者中脱颖而出。。。。。。

〖Two〗举行三明SEO，，主要使命是要害词的外地化挖掘。。。。。。不应只关注“茶叶”、“机械”等宽泛词汇，，而应深入融合地区标识，，例如“三明特产红茶”、“沙县小吃品牌加盟”等长尾词。。。。。。这正如《孙子兵法》所言“知己知彼”，，充分相识外地用户的详细需求与搜索意图，，是内容创作与页面优化的基石。。。。。。

〖Three〗外地目录与地图的优化是三明SEO不可或缺的一环。。。。。。确保企业在百度地图、高德地图及外地黄页中的信息准确、完整且一致，，能显著提升外地可信度。。。。。。同时，，起劲获取来自三明外地网站或社区的真实推荐与评价，，这些高质量的外部链接犹如古板商业中的“口碑相传”，，能有用增强网站在搜索引擎中的权威性。。。。。。

〖Four〗内容建设应扎根于三明本土。。。。。？？？？梢晕啤叭魃糜喂ヂ浴薄ⅰ坝腊仓窆ひ迪热荨钡戎魈獯醋髟茨谌，，并勉励外地用户互动与分享。。。。。。从的手艺排查角度出发，，页面需要交接异常泉源、影响规模和复测依据。。。。。。唐代刘禹锡云“山不在高，，有仙则名”，，网站内容无需包括万象，，但若能一连提供针对三明用户有价值的“仙气”——即奇异、适用的信息，，便能逐步积累权重，，获得稳固而精准的流量。。。。。。

网站推广排名优化：从战略到执行的深度剖析

〖One〗在当今数字营销领域，，网站推广排名优化早已不是纯粹的技巧堆砌。。。。。。昔人云：“凡事预则立，，不预则废。。。。。。”搜索引擎优化（SEO）同样云云。。。。。。一个乐成的推广妄想，，始于对网站自身状态、目的受众及竞争情形的清晰诊断。。。。。。这犹如中医的“望闻问切”，，需先相识“体质”，，才华开出有用的“药方”。。。。。。忽略这一基础战略，，后续所有手艺操作都可能事倍功半。。。。。。

〖Two〗内容的价值始终是排名的基石。。。。。。有句老话说得好：“酒香不怕巷子深。。。。。。”在信息时代，，这句话可演变为“内容优不怕链接少”。。。。。。创作真正能解决用户问题、提供奇异看法的高质量内容，，是吸引自然点击与分享的焦点。。。。。。搜索引擎的算法日益智能，，其基础目的始终是筛选并推荐对用户最有资助的信息。。。。。。因此，，内容建设不应是为搜索引擎写作，，而是为你的读者服务。。。。。。

〖Three〗手艺层面的优化组成了网站的“高速公路”。。。。。。这包括确保网站加载速率迅捷、移动装备浏览体验友好、URL结构清晰合理等。。。。。。这些要素配合决议了搜索引擎爬虫能否顺畅抓取内容，，以及用户会见时是否感应便捷。。。。。。一个手艺架构优异的网站，，犹如拥有结实地基和流通蹊径的都会，，能更好地迎接“访客”（用户与爬虫），，为排名提升打下坚实物理基础。。。。。。

〖Four〗最后，，可一连的排名离不开外部情形的建设与维护，，即所谓“外链为皇”。。。。。。但这并非指盲目追求链接数目，，而是重在质量与相关性。。。。。。这与古板商业中建设信誉和口碑异曲同工。。。。。。来自权威、相关领域网站的推荐，，犹如获得了业内的背书，，能显著提升网站在搜索引擎眼中的权威度。。。。。。同时，，社交媒体上的用户互动与品牌提及，，也组成了日益主要的信号，，配合推动排名恒久稳固地居于前线。。。。。。

SEO就业之路：机缘与挑战并存

〖One〗随着互联网深度融入社会经济，，SEO（搜索引擎优化）作为数字营销的焦点手艺，，其就业远景备受关注。。。。。。行业报告显示，，企业对线上流量的争取日趋强烈，，掌握SEO手艺的人才需求一连增添。。。。。。这并非空穴来风，，早在互联网商业兴起之初，，通过优化获取自然流量的价值就已凸显，，现在更成为企业数字化转型的标配岗位。。。。。。

〖Two〗SEO就业偏向泛起多元化趋势。。。。。。从业者不但可任职于种种企业的市场或运营部分，，认真官网与内容的优化；；；也能在专业的数字营销机构担当照料，，为差别客户制订战略。。。。。。别的，，自主创业提供SEO服务或运营内容网站，，也是一条可行路径。。。。。。这种多样性意味着，，具备扎实SEO手艺的人才，，拥有较辽阔的职业选择空间。。。。。。

〖Three〗然而，，通往乐成的SEO就业之路并非坦途。。。。。。搜索引擎算法一直更新，，要求从业者必需坚持一连学习的状态，，紧跟行业动态。。。。。。同时，，SEO效果通常需要时间积累，，这要求从业者兼具耐心与战略头脑，，能够平衡短期执行与恒久妄想。。。。。。那些仅掌握牢靠套路而不求甚解者，，极易在手艺迭代中被镌汰。。。。。。

〖Four〗综上所述，，SEO领域为求职者提供了切实的机缘，，但其对学习能力与实战履历的要求也组成了门槛。。。。。。有意于此的求职者，，应系统学习原理，，起劲通过实践积累案例，，并作育数据剖析与内容创作等关联能力。。。。。。云云，，方能在瞬息万变的数字浪潮中，，涤讪稳固的职业基石。。。。。。

深圳搜索SEO：洞悉外地化战略，，抢占湾区流量先机

〖One〗在深圳这座立异之城，，搜索引擎优化（SEO）早已逾越纯粹的手艺操作，，演变为企业数字化生涯的战略焦点。。。。。。正如营销巨匠菲利普·科特勒所言：“真正的营销，，是创立价值。。。。。。”深圳搜索SEO的主要价值，，便在于精准毗连外地海量需求与优质供应。。。。。。企业需深入明确“粤港澳大湾区”这一地区语境，，将自身营业与“高科技”、“供应链”、“跨境电商”等外地强势工业要害词深度融合，，从而在搜索效果中建设鲜明的区位身份与专业权威。。。。。。

〖Two〗乐成的外地SEO，，根植于对用户意图的深刻洞察。。。。。。深圳网民搜索行为迅速而务实，，他们可能寻找“福田区软件外包服务”或“宝安固态电池供应商”。。。。。。因此，，内容创作必需紧扣这些具象场景，，提供切实的解决方案。。。。。。历史履历批注，，无论是古板制造业照旧新兴科技业，，那些一连产出解答外地客户详细问题内容的企业，，其线上可见性与信任度往往随时间复利增添，，最终修建起坚实的品牌护城河。。。。。。

〖Three〗手艺架构是深圳搜索SEO的隐形基石。。。。。。网站需要针对深圳外地搜索引擎的使用习惯举行优化，，确保移动端加载速率如深圳效率般迅捷。。。。。。同时，，全心治理“百度地图”、“腾讯位置”等平台上的商户信息，，确保名称、地点、电话（NAP）绝对一致且实时更新。。。。。。这些细节犹如都会交通网络，，流通无误才华指导潜在客户顺遂抵达，，任何细小错漏都可能导致商机流失。。。。。。

〖Four〗展望未来，，深圳搜索SEO的竞争维度将一连升级。。。。。。随着人工智能与语义搜索的生长，，优化战略必需越发智能化、人性化。。。。。。企业不应止步于要害词排名，，更需关注用户在深圳外地生涯、商业生态中的完整旅程，，提供端到端的价值体验。。。。。。唯有将SEO融入整体营销战略，，使其与深圳“敢闯敢试”的都会精神同频共振，，方能在强烈的流量竞争中立于不败之地，，真正捕获湾区生长的时代盈利。。。。。。

Discuz! SEO优化：从经典论坛程序到搜索引擎友好平台的蜕变

〖One〗在中文互联网社区生长的长河中，，Discuz! 无疑是一座主要的里程碑。。。。。。作为一款经典的论坛建站系统，，其强盛的社群功效和普遍的用户基础曾引领了一个时代。。。。。。然而，，随着搜索引擎成为网络流量的主要入口，，怎样让基于Discuz!构建的论坛内容更好地被搜索引擎收录与明确，，即“Discuz SEO”，，成为了站长们必需攻克的课题。。。。。。这不但是手艺的调解，，更是运营头脑的转变。。。。。。

〖Two〗论坛内容因其用户天生、动态交互的特征，，在SEO上面临奇异挑战。。。。。。大宗重复的页面模板、动态URL参数以及用户对话中碎片化的内容，，都可能成为搜索引擎爬虫明确的障碍。。。。。。唬；厥自缙谕居呕渲鳌禨EO艺术》中的看法，，网站结构清晰、内容易于抓取是排名的基础。。。。。。因此，，Discuz SEO的主要使命即是优化程序底层，，例如通过伪静态手艺将动态链接转化为静态形式，，这犹如为爬虫铺设了一条平展的索引蹊径。。。。。。

〖Three〗内容始终是SEO的焦点。。。。。。在Discuz论坛中，，高质量的帖子与回帖是名贵的原创资源。。。。。。优化需要指导用户天生对访客真正有价值的内容，，并确保这些内容能被有用组织。。。。。。例如，，合理设置版块分类、勉励深度讨论形成“盖楼”效应，，都能增添页面的内容厚度与唯一性。。。。。。这印证了搜索引擎优化领域一直的原则：为用户创立价值的内容，，最终会获得搜索引擎的青睐。。。。。。

〖Four〗外部链接建设与内部链接结构的完善同样不可或缺。。。。。。Discuz系统自带的友情链接、门户文章推送以及相关帖子推荐功效，，都是构建内部链接网络的利器。。。。。。合理的站内链接能够平衡权重转达，，指导爬虫发明更多深层内容。。。。。。同时，，一个活跃、专业的论坛自然能吸引其他网站的引用，，形成高质量的外部链接。。。。。。将论坛视为一个动态的内容生态举行运营，，而非简朴的发帖机械，，是Discuz SEO实现长效生长的要害所在。。。。。。