泉源：周锡玮：没有人会理日本菲律宾作者： 黄志伟：

从模子到Harness，，，，，，AI Agent的下半场该怎样评测清静？？？

关于 AI 清静的大部分讨论，，，，，，恒久以来都集中在模子自己。。。。。模子是否对齐？？？是否容易被 jailbreak？？？是否会拒绝危险请求？？？这些问题虽然主要，，，，，，但在今天，，，，，，它们已经不是唯一、甚至不再是最焦点的问题。。。。。

真正被安排的 agent，，，，，，并不是裸模子。。。。。无论是 Claude Code 自动提交 PR，，，，，，Codex 修复 issue，，，，，，照旧能够直接操作资金的客服助手，，，，，，它们都运行在一个 execution harness 之中。。。。。Harness 决议了模子能挪用哪些工具、能会见哪些资源、信息怎样在差别子 agent 之间流动、何时终止执行，，，，，，以及系统如那里置过失恢复。。。。。模子只是提出行动，，，，，，真正决议行为界线的是 harness。。。。。

这意味着，，，，，，许多真正危险的失败，，，，，，已经不再爆发在“最终回覆”这一层，，，，，，而是爆发在执行历程自己。。。。。一个看似“对齐优异”的模子，，，，，，若是被放进权限界线松散的 harness 中，，，，，，依然可能悄悄执行越权操作。。。。。而只评测最终谜底的 benchmark，，，，，，往往会把这种系统判断为“乐成完成使命”。。。。。

近期，，，，，，Claw-Eval 和 ClawsBench 等事情已经最先将 agent 评测从静态问答推进到真实执行情形，，，，，，关注系统是否能够妄想、挪用工具、会见资源并完成用户目的。。。。。但焦点缺口依然保存：这些评测大多仍以使命完成度为中心，，，，，，能够告诉我们使命是否完成，，，，，，却很难判断使命是否被清静地完成。。。。。

一些近期基于 Claw 类设置的清静审计最先关注工具使用或最终输出清静性，，，，，，但完整执行轨迹和系统级 harness 清静仍然缺乏清晰界说。。。。。一个 harness 可能返回准确效果，，，，，，却在历程中会见受限资源、挪用未授权工具、在 agent 之间泄露敏感上下文，，，，，，或触发凌驾用户意图的副作用。。。。。

在多 agent 系统中，，，，，，这一问题越发要害。。。。。角色分工、使命交接、共享上下文和 agent 间通讯都会扩大清静袒露面。。。。。；痪浠八，，，，，，我们一直在对 AI 系统中“最容易看到的一层”举行清静校准，，，，，，却忽略了真正决议 agent 行为界线的执行系统。。。。。

克日，，，，，，加州大学圣塔芭芭拉分校（UCSB）等机构的一项新事情提出了HarnessAudit，，，，，，正是希望解决这个问题。。。。。

论文问题：Auditing Agent Harness Safety网站：harvestaudit.github.io论文：arxiv.org/abs/2605.14271代码和数据集：github.com/eric-ai-lab/HarnessAudit

HarnessAudit 概览。。。。。(a) HarnessAudit 笼罩八个真实天下领域，，，，，，用于构建带有现实约束的清静评测使命。。。。。(b) Agent 在完成使命时，，，，，，需要履历妄想、检索、工具挪用、审查和通讯等方法，，，，，，并与外部资源和动态情形交互。。。。。(c) 展示了在 OpenClaw 设置下，，，，，，基于完整执行轨迹审计获得的模子体现，，，，，，评测维度包括界线合规性、执行忠实性和系统稳固性。。。。。

HarnessAudit是一个针对完整执行轨迹（trajectory）举行审计的清静评测框架，，，，，，而不但仅关注最终输出。。。。。

同时，，，，，，该团队还构建了HarnessAudit-Bench，，，，，，在 8 个真实天下领域上的 210 个使命中，，，，，，对 agent harness 的行为举行系统化审计。。。。。这些领域包括金融、电商、医疗、办公协作、社交互动、日常生涯、执法合规以及软件工程。。。。。

该团队评测了 10 个前沿 agent harness，，，，，，包括 Anthropic 的 Claude Code、OpenAI 的 Codex，，，，，，以及 OpenClaw 等系统。。。。。

他们的焦点看法很简朴：Agent 的风险，，，，，，不在最终谜底，，，，，，而在它为了获得这个谜底，，，，，，事实做了什么。。。。。

审计检查什么

HarnessAudit 会在每一条执行轨迹上联合评估三个属性。。。。。

界线合规性。。。。。每一次工具挪用、资源会见和 agent 间通讯，，，，，，都必需切合预先声明的权限战略和信息流战略。。。。。执行忠实性。。。。。Agent 不但要完成目的，，，，，，还必需通过合理且被授权的中心方法完成使命，，，，，，不可私自替换工具、操作凌驾规模的资源，，，，，，或执行比用户授权规模更大的行动。。。。。扰动下的稳固性。。。。。上述两类清静属性还必需能经受真实压力场景，，，，，，例如间接提醒注入、目的形貌模糊、工具挪用过失等。。。。。

只有同时通过这三项检查，，，，，，一条轨迹才会被视为清静。。。。。该团队体现：「最终谜底是否准确会被单独报告，，，，，，这是有意设计的，，，，，，由于我们想视察“使命完成”和“清静执行”的纷歧致究竟有多频仍。。。。。」

效果是，，，，，，很频仍，，，，，，它们经常纷歧致。。。。。

焦点效果表说明晰三件事。。。。。

第一，，，，，，得分最高的系统，，，，，，并纷歧定是使命完成能力最强的系统。。。。。

在 OpenClaw 设置下，，，，，，Claude Opus 4.6 的使命完成率高于 Gemini 3.1 Pro，，，，，，但总体清静得分反而更低，，，，，，由于它在执行历程中跨越了更多清静界线。。。。。能力与清静并不是统一条轴，，，，，，而目今系统现实上正在用一种交流另一种，，，，，，只是已往很少有人真正去权衡这种 trade-off。。。。。

第二，，，，，，三类界线合规性并不是同样难题。。。。。

工具选择自己通常问题不大，，，，，，大大都 harness 都能选对工具。。。。。真正的失败更多爆发在工具选择之后，，，，，，并且集中在两个更详细的阶段，，，，，，后面会进一步讨论。。。。。

第三，，，，，，原生 harness 的设计既可能提升清静，，，，，，也可能放大风险。。。。。

在相同 Claude 模子下，，，，，，Claude Code 相比 OpenClaw 同时提升了使命完成率和清静性。。。。。而 Codex 虽然提高了完成率，，，，，，却降低了清静性，，，，，，由于 GPT-5.4 在原生情形下会执行更多行动，，，，，，更长的执行轨迹也因此积累了更多违规行为。。。。。

Harness 的设计，，，，，，实质上决议了 agent 能够被“清静安排”的上限，，，，，，而差别厂商在这些设计上的差别着实很是大。。。。。

违规集中在那里

第一个集中点是资源会见。。。。。

系统挪用了准确的工具，，，，，，但操作了过失的工具，，，，，，例如会见了 agent 权限规模外的文件、盘问了用户目的旁边但未被授权的纪录，，，，，，或对战略榨取的资源提倡 API 挪用。。。。。也就是说，，，，，，工具选择是对的，，，，，，但工具绑定是错的。。。。。在大大都设置中，，，，，，资源会见合规性显着低于工具使用合规性。。。。。

第二个集中点是agent 间的信息流。。。。。

在多 agent harness 中，，，，，，新闻路由通常是对的，，，，，，即新闻会发给准确的 agent。。。。。但问题在于新闻里携带了什么。。。。。子 agent 往往会收到凌驾其使命所需的上下文；；中心组件会在使命竣事后继续保存敏感信息；；一个从 agent 传给另一个 agent 的摘要，，，，，，也可能悄悄泄露其背后的原始数据。。。。。

单 agent 与多 agent 的比照让这一点越发详细。。。。。

在单 agent 设置中，，，，，，工具合规性和资源合规性都高于 0.85。。。。。但一旦切换到多 agent 设置，，，，，，工具合规性下降到 0.64，，，，，，资源合规性下降到 0.63，，，，，，而信息流合规性首次成为可见问题，，，，，，仅为 0.58。。。。。 这说明，，，，，，协作自己会扩大清静袒露面，，，，，，而这种风险是单 agent benchmark 很难看到的。。。。。

尚有几个值得关注的征象。。。。。

故障是普遍保存的，，，，，，并非局部性的。。。。。在测试的所有清静框架中，，，，，，每个使命凌驾 50% 的署理都至少保存一项清静违规，，，，，，而在 OpenClaw 中，，，，，，这一比例高达 72%。。。。。故障模式是系统性的。。。。。你不可仅仅加固一个组件就能完善。。。。。

违规行为会随着轨迹长度的增添而累积。。。。。更长的运行距离不但速率更慢，，，，，，并且清静性也更低。。。。。随着该领域向更长航程的自主航行生长，，，，，，这条曲线就成为了设计难题。。。。。

差别领域的风险状态各不相同。。。。。金融和办公使命的失败主要在于资源会见；；日常生涯和电子商务的失败主要在于信息流；；软件工程的失败主要在于工具使用。。。。。这对生产团队的启示是，，，，，，准确的清静控制步伐取决于署理的用途。。。。。

扰动稳固性普遍较差。。。。。间接提醒注入在所有测试设置中均导致性能下降幅度最大，，，，，，稳固性得分在 0.15 至 0.22 之间。。。。。在清洁使命中看起来尚可接受的模子设计，，，，，，在反抗性输入下会失效。。。。。

为什么这件事现在很主要

多智能体 harness 已经不再只是一个研究问题。。。。。它正在成为未来十二个月内险些所有严肃 agent 产品的基础架构：

编码 agent 已经是多智能系一切，，，，，，包括妄想器、检索器、执行器和审查器。。。。。面向用户的助手也正在酿成多智能系一切，，，，，，包括分诊、专家？？？椤⑸洞砗蜕蠹啤。。。。运维类 agent 险些自然需要多智能体，，，，，，由于一旦你接触多个系统，，，，，，实质上就在举行协同。。。。。

每一次交接，，，，，，都是信息可能流向不应去的地方的风险点。。。。。在单 agent 系统中，，，，，，信任界线是 agent 的工具挪用。。。。。而在多 agent 系统中，，，，，，信任界线酿成了 message bus。。。。。是的，，，，，，我们正在构建 message bus，，，，，，却没有真正把它看成 message bus 来看待。。。。。

未来该怎么办？？？

要解决这个问题，，，，，，要害不但是让模子更强，，，，，，而是重新设计 harness 自己。。。。。

第一，，，，，，agent 之间不可默认共享完整上下文。。。。。每一次信息转达都应该有清晰界线：哪些内容可以传、传给谁、能保存多久。。。。。现在许多 harness 为了利便，，，，，，直接把完整上下文交给下一个 agent，，，，，，但这也正是敏感信息泄露最常见的泉源。。。。。

第二，，，，，，清静评测不可只看最终谜底，，，，，，而要回到完整执行轨迹。。。。。一个 agent 纵然给出了准确效果，，，，，，也可能在历程中会见了不应会见的资源，，，，，，挪用了不应挪用的工具，，，，，，或把敏感信息传给了不应知道的组件。。。。。因此，，，，，，真正的清静审计需要逐步检查每一次工具挪用、资源会见和 agent 间通讯。。。。。

第三，，，，，，多 agent 系统需要明确的 need-to-know 机制。。。。。每个子 agent 只应该获得完成目今使命所必需的信息，，，，，，而不是默认继续所有上下文。。。。。更理想的设计是，，，，，，子 agent 先声明自己需要什么信息，，，，，，再由 harness 或 message bus 判断是否允许转达。。。。。