泉源：为什么说不要容易带孩子旅行作者： 郭如和：

从模子到Harness
，，AI Agent的下半场该怎样评测清静？？？？

关于 AI 清静的大部分讨论
，，恒久以来都集中在模子自己。
。模子是否对齐？？？？是否容易被 jailbreak？？？？是否会拒绝危险请求？？？？这些问题虽然主要
，，但在今天
，，它们已经不是唯一、甚至不再是最焦点的问题。
。

真正被安排的 agent
，，并不是裸模子。
。无论是 Claude Code 自动提交 PR
，，Codex 修复 issue
，，照旧能够直接操作资金的客服助手
，，它们都运行在一个 execution harness 之中。
。Harness 决议了模子能挪用哪些工具、能会见哪些资源、信息怎样在差别子 agent 之间流动、何时终止执行
，，以及系统如那里置过失恢复。
。模子只是提出行动
，，真正决议行为界线的是 harness。
。

这意味着
，，许多真正危险的失败
，，已经不再爆发在“最终回覆”这一层
，，而是爆发在执行历程自己。
。一个看似“对齐优异”的模子
，，若是被放进权限界线松散的 harness 中
，，依然可能悄悄执行越权操作。
。而只评测最终谜底的 benchmark
，，往往会把这种系统判断为“乐成完成使命”。
。

近期
，，Claw-Eval 和 ClawsBench 等事情已经最先将 agent 评测从静态问答推进到真实执行情形
，，关注系统是否能够妄想、挪用工具、会见资源并完成用户目的。
。但焦点缺口依然保存：这些评测大多仍以使命完成度为中心
，，能够告诉我们使命是否完成
，，却很难判断使命是否被清静地完成。
。

一些近期基于 Claw 类设置的清静审计最先关注工具使用或最终输出清静性
，，但完整执行轨迹和系统级 harness 清静仍然缺乏清晰界说。
。一个 harness 可能返回准确效果
，，却在历程中会见受限资源、挪用未授权工具、在 agent 之间泄露敏感上下文
，，或触发凌驾用户意图的副作用。
。

在多 agent 系统中
，，这一问题越发要害。
。角色分工、使命交接、共享上下文和 agent 间通讯都会扩大清静袒露面。
。；痪浠八
，，我们一直在对 AI 系统中“最容易看到的一层”举行清静校准
，，却忽略了真正决议 agent 行为界线的执行系统。
。

克日
，，加州大学圣塔芭芭拉分校（UCSB）等机构的一项新事情提出了HarnessAudit
，，正是希望解决这个问题。
。

论文问题：Auditing Agent Harness Safety网站：harvestaudit.github.io论文：arxiv.org/abs/2605.14271代码和数据集：github.com/eric-ai-lab/HarnessAudit

HarnessAudit 概览。
。(a) HarnessAudit 笼罩八个真实天下领域
，，用于构建带有现实约束的清静评测使命。
。(b) Agent 在完成使命时
，，需要履历妄想、检索、工具挪用、审查和通讯等方法
，，并与外部资源和动态情形交互。
。(c) 展示了在 OpenClaw 设置下
，，基于完整执行轨迹审计获得的模子体现
，，评测维度包括界线合规性、执行忠实性和系统稳固性。
。

HarnessAudit是一个针对完整执行轨迹（trajectory）举行审计的清静评测框架
，，而不但仅关注最终输出。
。

同时
，，该团队还构建了HarnessAudit-Bench
，，在 8 个真实天下领域上的 210 个使命中
，，对 agent harness 的行为举行系统化审计。
。这些领域包括金融、电商、医疗、办公协作、社交互动、日常生涯、执法合规以及软件工程。
。

该团队评测了 10 个前沿 agent harness
，，包括 Anthropic 的 Claude Code、OpenAI 的 Codex
，，以及 OpenClaw 等系统。
。

他们的焦点看法很简朴：Agent 的风险
，，不在最终谜底
，，而在它为了获得这个谜底
，，事实做了什么。
。

审计检查什么

HarnessAudit 会在每一条执行轨迹上联合评估三个属性。
。

界线合规性。
。每一次工具挪用、资源会见和 agent 间通讯
，，都必需切合预先声明的权限战略和信息流战略。
。执行忠实性。
。Agent 不但要完成目的
，，还必需通过合理且被授权的中心方法完成使命
，，不可私自替换工具、操作凌驾规模的资源
，，或执行比用户授权规模更大的行动。
。扰动下的稳固性。
。上述两类清静属性还必需能经受真实压力场景
，，例如间接提醒注入、目的形貌模糊、工具挪用过失等。
。

只有同时通过这三项检查
，，一条轨迹才会被视为清静。
。该团队体现：「最终谜底是否准确会被单独报告
，，这是有意设计的
，，由于我们想视察“使命完成”和“清静执行”的纷歧致究竟有多频仍。
。」

效果是
，，很频仍
，，它们经常纷歧致。
。

焦点效果表说明晰三件事。
。

第一
，，得分最高的系统
，，并纷歧定是使命完成能力最强的系统。
。

在 OpenClaw 设置下
，，Claude Opus 4.6 的使命完成率高于 Gemini 3.1 Pro
，，但总体清静得分反而更低
，，由于它在执行历程中跨越了更多清静界线。
。能力与清静并不是统一条轴
，，而目今系统现实上正在用一种交流另一种
，，只是已往很少有人真正去权衡这种 trade-off。
。

第二
，，三类界线合规性并不是同样难题。
。

工具选择自己通常问题不大
，，大大都 harness 都能选对工具。
。真正的失败更多爆发在工具选择之后
，，并且集中在两个更详细的阶段
，，后面会进一步讨论。
。

第三
，，原生 harness 的设计既可能提升清静
，，也可能放大风险。
。

在相同 Claude 模子下
，，Claude Code 相比 OpenClaw 同时提升了使命完成率和清静性。
。而 Codex 虽然提高了完成率
，，却降低了清静性
，，由于 GPT-5.4 在原生情形下会执行更多行动
，，更长的执行轨迹也因此积累了更多违规行为。
。

Harness 的设计
，，实质上决议了 agent 能够被“清静安排”的上限
，，而差别厂商在这些设计上的差别着实很是大。
。

违规集中在那里

第一个集中点是资源会见。
。

系统挪用了准确的工具
，，但操作了过失的工具
，，例如会见了 agent 权限规模外的文件、盘问了用户目的旁边但未被授权的纪录
，，或对战略榨取的资源提倡 API 挪用。
。也就是说
，，工具选择是对的
，，但工具绑定是错的。
。在大大都设置中
，，资源会见合规性显着低于工具使用合规性。
。

第二个集中点是agent 间的信息流。
。

在多 agent harness 中
，，新闻路由通常是对的
，，即新闻会发给准确的 agent。
。但问题在于新闻里携带了什么。
。子 agent 往往会收到凌驾其使命所需的上下文；；中心组件会在使命竣事后继续保存敏感信息；；一个从 agent 传给另一个 agent 的摘要
，，也可能悄悄泄露其背后的原始数据。
。

单 agent 与多 agent 的比照让这一点越发详细。
。

在单 agent 设置中
，，工具合规性和资源合规性都高于 0.85。
。但一旦切换到多 agent 设置
，，工具合规性下降到 0.64
，，资源合规性下降到 0.63
，，而信息流合规性首次成为可见问题
，，仅为 0.58。
。 这说明
，，协作自己会扩大清静袒露面
，，而这种风险是单 agent benchmark 很难看到的。
。

尚有几个值得关注的征象。
。

故障是普遍保存的
，，并非局部性的。
。在测试的所有清静框架中
，，每个使命凌驾 50% 的署理都至少保存一项清静违规
，，而在 OpenClaw 中
，，这一比例高达 72%。
。故障模式是系统性的。
。你不可仅仅加固一个组件就能完善。
。

违规行为会随着轨迹长度的增添而累积。
。更长的运行距离不但速率更慢
，，并且清静性也更低。
。随着该领域向更长航程的自主航行生长
，，这条曲线就成为了设计难题。
。

差别领域的风险状态各不相同。
。金融和办公使命的失败主要在于资源会见；；日常生涯和电子商务的失败主要在于信息流；；软件工程的失败主要在于工具使用。
。这对生产团队的启示是
，，准确的清静控制步伐取决于署理的用途。
。

扰动稳固性普遍较差。
。间接提醒注入在所有测试设置中均导致性能下降幅度最大
，，稳固性得分在 0.15 至 0.22 之间。
。在清洁使命中看起来尚可接受的模子设计
，，在反抗性输入下会失效。
。

为什么这件事现在很主要

多智能体 harness 已经不再只是一个研究问题。
。它正在成为未来十二个月内险些所有严肃 agent 产品的基础架构：

编码 agent 已经是多智能系一切
，，包括妄想器、检索器、执行器和审查器。
。面向用户的助手也正在酿成多智能系一切
，，包括分诊、专家模？？？椤⑸洞砗蜕蠹。
。运维类 agent 险些自然需要多智能体
，，由于一旦你接触多个系统
，，实质上就在举行协同。
。

每一次交接
，，都是信息可能流向不应去的地方的风险点。
。在单 agent 系统中
，，信任界线是 agent 的工具挪用。
。而在多 agent 系统中
，，信任界线酿成了 message bus。
。是的
，，我们正在构建 message bus
，，却没有真正把它看成 message bus 来看待。
。

未来该怎么办？？？？

要解决这个问题
，，要害不但是让模子更强
，，而是重新设计 harness 自己。
。

第一
，，agent 之间不可默认共享完整上下文。
。每一次信息转达都应该有清晰界线：哪些内容可以传、传给谁、能保存多久。
。现在许多 harness 为了利便
，，直接把完整上下文交给下一个 agent
，，但这也正是敏感信息泄露最常见的泉源。
。

第二
，，清静评测不可只看最终谜底
，，而要回到完整执行轨迹。
。一个 agent 纵然给出了准确效果
，，也可能在历程中会见了不应会见的资源
，，挪用了不应挪用的工具
，，或把敏感信息传给了不应知道的组件。
。因此
，，真正的清静审计需要逐步检查每一次工具挪用、资源会见和 agent 间通讯。
。

第三
，，多 agent 系统需要明确的 need-to-know 机制。
。每个子 agent 只应该获得完成目今使命所必需的信息
，，而不是默认继续所有上下文。
。更理想的设计是
，，子 agent 先声明自己需要什么信息
，，再由 harness 或 message bus 判断是否允许转达。
。