这项研究效果已被软件工程领域顶会 ASE 2026 吸收。。。。。。论文第一作者为港科大 CSE 博士生刘泽森 ，，，，，通讯作者为佘东冬教授。。。。。。
在大语言模子 Agent 走向真实安排后 ，，，，，一个越来越常见的问题是：上下文太长了。。。。。。
现在的 AI Agent 动辄需要处理超长上下文 ，，，，，既要看系统提醒词、工具说明 ，，，，，又要翻阅历史对话和检索文档。。。。。。为了省钱、省算力并降低延迟 ，，，，，许多开发者会给系统加上 “提醒词压缩”（Prompt Compression）？？？ ？？？ ，，，，，把冗长的上下文浓缩后再喂给大模子。。。。。。
但这招真的清静吗？？？ ？？？
香港科技大学的一项最新研究给出了否认谜底。。。。。。他们发明 ，，，，，这个原本用来 “提效” 的组件 ，，，，，竟然会悄悄重写系统的清静界线 ，，，，，成为大模子应用中的全新攻击面。。。。。。
论文链接：https://arxiv.org/pdf/2510.22963代码链接：https://github.com/zsLiu2003/Comattack
研究配景：压缩不但是省 token ，，，，，而是在重写清静界线
古板针对 LLM Agent 的攻击 ，，，，，如 prompt injection、jailbreak 或 RAG poisoning ，，，，，通常默认一个条件：攻击内容必需进入后端 LLM 的有用上下文 ，，，，，并被模子看成恶意指令执行。。。。。。
但在 prompt-compressed pipeline 中 ，，，，，情形爆发了转变。。。。。。
后端 LLM 看到的并不是原始 prompt ，，，，，而是经由压缩器处理后的 compressed prompt。。。。。。唬；谎灾 ，，，，，压缩器决议哪些系统规则、使命证据和上下文信息会被保存 ，，，，，哪些会在预算限制下被扬弃。。。。。。
这带来一个新的清静问题：攻击者纷歧定需要让恶意指令穿过压缩器 ，，，，，也纷歧定需要让攻击 payload 在压缩后仍然可读。。。。。。攻击者只需要在压缩前扰动非可信输入 ，，，，，例如用户请求或外部文档 ，，，，，就可能改变压缩器的保存决议 ，，，，，使要害清静规则或使命证据在后端推理前被删除。。。。。。
一个直观的例子是：系统提醒词中包括「must never use shell」这样的清静约束。。。。。。攻击者无法直接修改系统提醒词 ，，，，，但可以在用户请求后添加一段短扰动。。。。。。压缩后 ，，，，，清静约束中的要害否认词可能被丧失 ，，，，，后端 LLM 最终看到的是一个被削弱的规则 ，，，，，从而执行本应拒绝的请求。。。。。。
焦点看法：Adversarial Information Loss
为了量化这种风险 ，，，，，研究团队提出了 “反抗性信息损失”（AIL）的看法。。。。。。简朴来说 ，，，，，就是看攻击者能不可通详尽小的扰动 ，，，，，居心放大压缩历程中的信息流失 ，，，，，把不应丢的要害内容挤掉。。。。。。它不是简朴地问压缩质量好欠好 ，，，，，而是问：在攻击者保存时 ，，，，，压缩后的 prompt 是否会诱导后端 Agent 做出与正常压缩显着差别、且清静相关的过失行为。。。。。。
手艺焦点：COMA 怎样攻击黑盒压缩 Agent？？？ ？？？
在真实系统中 ，，，，，攻击者通常不知道压缩器参数、压缩预算 ，，，，，也看不到真实 compressed prompt。。。。。。因此 ，，，，，论文提出了一个 transfer-based black-box attack 框架：COMA。。。。。。
COMA 的焦点头脑是两阶段优化。。。。。。
第一阶段 ，，，，，COMA 在压缩空间中寻找一个会诱导后端过失行为的目的 compressed prompt。。。。。。例如 ，，，，，它会定位哪些要害 token 或要害证据一旦被删除 ，，，，，就会导致工具选择过失、问答过失 ，，，，，或系统清静规则失效。。。。。。
第二阶段 ，，，，，COMA 在压缩前输入中搜索一个扰动 ，，，，，使得经由 surrogate compressor 压缩后 ，，，，，输出尽可能靠近第一阶段找到的目的压缩效果。。。。。。最后 ，，，，，候选扰动会被放到真实黑盒 Agent pipeline 中举行端到端验证。。。。。。
实验效果：六种压缩器、三类使命下均有用
研究团队在三类使命上评估了 COMA：Agent Tool Selection、Question Answering 和 System Prompt Corruption ，，，，，笼罩六种常见 prompt compressors ，，，，，包括 extractive 与 abstractive 两类压缩方式。。。。。。
实验效果显示 ，，，，，COMA 在所有 18 个设置中都取得最高攻击乐成率 ，，，，，平均 ASR 抵达 0.71 ，，，，，而最强的非压缩感知攻击 baseline 仅为 0.21。。。。。。与此同时 ，，，，，无攻击设置和移除压缩器后的 COMA 设置都靠近 0.01 ，，，，，说明该攻击并不是通俗恶意提醒词导致的 ，，，，，而是确实来自 prompt compression 引入的攻击面。。。。。。
COMA 也体现出较强泛化性。。。。。。在差别压缩预算下 ，，，，，纵然正常压缩险些不会造成过失 ，，，，，攻击仍能显著放大失败率。。。。。。在差别后端 LLM 家族和模子规模上 ，，，，，COMA 的平均 ASR 仍抵达 0.69 ，，，，，说明后端模子替换并不可基础解决问题：一旦要害上下文已经在压缩阶段被删除 ，，，，，后端模子往往无法恢复。。。。。。
论文进一步剖析了攻击机制。。。。。。效果显示 ，，，，，COMA 的 Critical Token Removal Rate 与 ASR 高度一致：它并不是简朴添加噪声 ，，，，，而是在可控地指导压缩器删除少量行为要害内容。。。。。。关于系统提醒词破损使命 ，，，，，一旦清静规则中的要害 token 被移除 ，，，，，拒绝条件就会直接消逝。。。。。。
真实案例：从 VSCode Cline 到 LangChain Agent
为了验证风险是否能迁徙到真实 Agent pipeline ，，，，，论文构建了两个案例。。。。。。
第一个案例来自 VSCode Cline。。。。。。正常情形下 ，，，，，Agent 会拒绝读取 workspace 外部的敏感文件；；；但加入 COMA 扰动后 ，，，，，压缩器削弱了系统提醒词中的要害约束 ，，，，，后端模子最终触发了对敏感文件的读取行为。。。。。。
第二个案例来自 LangChain + Ollama 的 ReAct Agent。。。。。。正常情形下 ，，，，，Agent 会为代码特征抽取使命选择准确工具；；；攻击后 ，，，，，压缩后的工具形貌爆发偏移 ，，，，，Agent 被诱导选择过失工具。。。。。。
这两个案例说明 ，，，，，prompt compression 的风险并不局限于离线 benchmark ，，，，，而可能影响真实软件工程 Agent 和工具挪用 Agent。。。。。。
怎样防御：隔离是要害
面临这种新型攻击 ，，，，，现有的防御手段（如基于疑心度的检测）往往会大打折扣。。。。。。为此 ，，，，，研究团队给出了一个很是务实且有用的缓解方案：隔离压缩（Isolated Compression）。。。。。。
焦点思绪很简朴：别把系统提醒词、可信上下文和用户输入的不可信内容混在统一个预算池里压缩。。。。。。系统应该将可信与非可信输入脱离处理 ，，，，，并在重组拼接时加上明确的界线标记。。。。。。实验证实 ，，，，，这种结构性防御在保唬；は低程嵝汛史矫婧苁怯杏 ，，，，，防御乐成率能抵达 96%。。。。。。由于非可信内容不再与系统护栏共享压缩预算 ，，，，，攻击者就很难通过外部输入去 “挤占” 清静规则的生涯空间了。。。。。。
这项事情提醒了什么
这项研究展现了 LLM Agent 安排中的一个要害问题：许多为了效率引入的系统组件 ，，，，，并不是简朴的工程优化 ，，，，，而会改变模子最终看到的信息 ，，，，，从而改变整个 pipeline 的清静界线。。。。。。
因此 ，，，，，关于未来的 LLM Agent 系统 ，，，，，清静剖析不可只盯着后端 LLM 自己 ，，，，，也需要笼罩缓存、检索、压缩、工具编排等中心层。。。。。。尤其是在长上下文和 agentic workflow 越来越普遍的场景下 ，，，，，怎样在效率与清静之间建设更可靠的系统界线 ，，，，，将成为 Trustworthy Agentic AI 的焦点问题之一。。。。。。
