作者｜Ado微信｜ Ado__rs
7月2日，，，字节 Seed 宣布了一个 Agent评测项目 EdgeBench。。。？？？雌鹄从质且桓 benchmark，，，但它问了一个其他榜单不问的问题。。。。
给模子一道题，，，做对了得分，，，做错了不得分。。。。这是绝大大都 benchmark 现在的事情方式，，，越来越像高考。。。。
但真实天下里，，，人不是这么用 AI 的。。。。
你不会给 Claude Code出一道题然后等它交卷。。。。你会给它一个项目、一个代码库、一批数据，，，然后它在那里折腾好几个小时，，，探索、犯错、读反馈、修正、再试。。。。你更体贴的是它浸泡在现实使命情形里一段时间之后，，，能不可比刚进来时更强。。。。
但目今的 benchmark 险些测不出这些工具。。。。它们丈量的是静态能力，，，模子被冻结的那一刻就知道的工具。。。。至于从反馈里一连前进的能力、在长周期里积累履历的能力、在生疏情形里探索出偏向的能力，，，全在盲区里。。。。
EdgeBench 的切口就是把盲区里的工具放进评测，，，解答一个问题：把Agent扔进一个生疏情形，，，12小时后，，，你能变强几多？？？
134个使命横跨六大领域：科学/ML、软件工程、组合优化、专业知识事情、形式化数学、交互式游戏
为此，，，Seed 团队搭了一个叫 EdgeBench 的实验平台。。。。这是一个情形学习视察舱。。。。134 个使命，，，每个使命设计合约让 Agent 至少跑 12 小时。。。。
它的设计围绕四个焦点维度睁开：
5 个前沿模子（Claude Opus 4.8、GPT-5.5、GPT-5.4、GLM-5.1、DeepSeek-V4-Pro）在上面总共跑了约 38,000 小时。。。。
经费在燃烧。。。。但最终的效果价值重大：
他们找到了 Agent 的 Scaling law。。。。
四个发明：公式、路径、实质、速率
1 ）agent学习有一条被写死的数学公式
134 个使命平均：5 个模子的学习曲线被 log-sigmoid 函数高精度拟合
这是全篇论文的“灵魂发明”。。。。
此前我们大多默认情形学习是一件杂乱的事，，，差别使命、差别模子、差别战略，，，纪律自然也差别。。。。但他们的数据给出了意料之外的谜底：
134 个使命的平均学习曲线，，，被统一个函数以 R? = 0.998 的精度准确拟合。。。。
R? = 0.998 是什么意思？？？ 在人机交互和重大系统研究里，，，你能看到 R? = 0.3 就已经敢写论文了。。。。0.998 实质上不是一个"拟合问题"，，，这是一个发明。。。。若是我知道一个 Agent 前两小时的前进速率，，，在使命荟萃的平均意义上，，，我就能较量准确地展望它 12 小时后的水平。。。。
曲线展示被测模子的学习体感大致都是：一最先慢、找到感受后爆发、靠近天花板时又放缓。。。。这和任何有过深度学习或深度事情履历的人的体验完全吻合。。。。
并且，，，这个纪律跨标准建设：无论是 12 小时、28 小时照旧 72 小时的实验窗口，，，拟合精度所有坚持在 R? ≥ 0.993。。。？？？缌煊蛞步ㄉ瑁毫笫姑易甯髯阅夂希，R? 在 0.972 到 0.998 之间。。。。
2）没有“标准”的生长路径
这个发明更有现实意义。。。。
把 134 个使命的单使命学习曲线拉开来看，，，你会发明一件反直觉的事：虽然平均曲线是漂亮的 log-sigmoid，，，但单条曲线之间差别极大。。。。
- 有的使命：Agent 一上来就稳步提升，，，曲线清洁
- 有的使命：前几个小时纹丝不动，，，突然在某个时刻分数跳升
- 有的使命：先涨后跌再涨
- 有的使命：一最先快速上升，，，然后进入漫长的平台期
差别的学习战略和试错范式，，，在统一个评分框架下会爆发截然差别的生长路径。。。。
Agent不但是“学得快”和“学得慢”的区别。。。。它们在怎么学上有实质差别，，，若是是只看最终分数而不看历程的评测方式，，，就完全抹平了这个维度。。。。论文的诠释是，，，使命是一张能力争，，，学习是解锁前沿向外扩张，，，在对数时间上走一条logistic曲线。。。。单使命节点少以是锯齿，，，使命够多平均后S形浮现。。。。论文问题里谁人scaling law，，，指的就是这条曲线。。。。
3）“重新明确问题”创立真前进
有履历 vs 无履历比照：一连运行积累履历比 6 次自力重启多出 6.9 分的显著优势
统一个模子（Opus 4.8），，，同样的 12 小时预算：
- 方案 A：让它一连跑 12 小时，，，所有中心产品、过失纪录、已验证假设所有保存
- 方案 B：拆成 6 次自力的 2 小时跑，，，每次清空所有状态，，，只保存最佳效果
12 小时后，，，方案 A 例如案 B 多了 6.9 分（百分制）。。。。并且两条曲线从一最先就分道扬镳。。。。
这说明前进不是靠运气多试出来的，，，而是靠履历积累出来的。。。。
值得关注的是实验中的引力波重修案例研究。。。。GPT-5.5 在这个使命上跑了 12 小时，，，提交了 224 次，，，但真正推动最佳效果前进的只有 27 次提交。。。。
每一次突破都不是由于"多跑了一个实验"，，，而是由于 Agent 对问题自己的明确爆发了质变。。。。它把模糊的目的逐步拆解为可搜索的子问题，，，从反馈中重新界说了"什么是更好的偏向"。。。。
4）学习速率自己正在被“学习”
这个发明可能是跟工业关系最细密的一个。。。。
实验挑了一组所有模子“起跑线相近”的使命（首次实验都在 6.87 分左右），，，然后丈量每个模子在 2 小时交互后能前进几多。。。。
效果：从 2025 年 9 月的GPT-5-Codex到 2026 年 4 月的GPT-5.5，，，221 天内学习效率提升了 约 8 倍，，，约每 3 个月翻一番。。。。
后期模子的有用提交率在上升，，，但提交次数纷歧定更多。。。；；痪浠八担，不是更勤快，，，而是每次下手更有用。。。。这和工程实践的直觉一致，，，高级工程师纷歧定比初级工程师写更多行代码，，，但更少做无用功。。。。
AI 的能力越来越像“知识”，，，但"学会新工具"的能力自己，，，也在以惊人速率进化，，，并且这个速率比静态知识增添更有决议性。。。。
评测情形自己，，，和EdgeBench同样有价值
EdgeBench 看起来像一个模子排行榜，，，但它测到的不是裸模子能力，，，而是 Agent 系统能力。。。。
差别模子跑在差别的执行框架上。。。。Claude Opus 4.8 使用 Claude Code 加 1M 上下文窗口，，，GPT-5.5 使用 Codex 加 256K 紧凑窗口。。。。最后的分数，，，既包括模子自己的能力，，，也包括上下文治理、工具挪用、反馈处理和执行框架的影响。。。。
这反而靠近真实安排。。。。现实中的 Agent 历来不是一个伶仃模子，，，而是模子、工具、事情流和反馈系统的组合。。。。EdgeBench 真正权衡的，，，是这个组合系统能不可在长程使命里一连推进。。。。
但这也意味着，，，榜单不可被粗暴明确成基础模子排名。。。。它更像是在较量差别 Agent 系统的恒久事情能力。。。。
把EdgeBench和主流 benchmark 放在一起看，，，差别会更清晰：
古板 benchmark 是“静态快照”，，，EdgeBench 是“动态轨迹”。。。。它们不是在统一个维度上竞争。。。。
但这个新维度不是没有价钱的，，，背后是重大的资源消耗。。。。
和EdgeBench同样让我印象深刻的工具，，，是把这个实验情形搭起来意味着什么。。。。
先说一组容易被忽略的账。。。。134 个使命，，，每个使命平均消耗 57.2 小时的人类专家时间，，，最长的单个使命投了 320 小时。。。。纵然按最低标准估，，，光使命构建这一项就投入了 7,500 小时以上的人力；；然后是运行本钱，，，5 个模子，，，每个模子在每个使命上跑 3 次，，，加上延伸至72小时以上的运行，，，每次 12 小时，，，总计约 38,000 小时的 Agent 交互时长，，，对应的是天文数字的 API 挪用和算力消耗。。。。
这个本钱门槛自己就意味着，，，长程 Agent 评测不是随便一个团队就能入场的偏向。。。。
再看工程细节。。。。论文的附录纪录了在开发历程中被 Agent 攻破的种种误差：有 Agent 在流体力学使命中通过 400+ 次提交反推出了隐藏测试数据的谜底；；有 Agent 发明反作弊检核对 baseline/ 目录宽免，，，于是把代码塞进那条“免检通道”里交卷。。。。这些案例袒露了一个深层的矛盾：想要测出“学习能力”，，，就必需给 Agent 足够的反。。。；；但反馈给得越多，，，就越可能被 Agent 当成预言机来使用。。。。
EdgeBench 的解决方案是物理隔离：事情容器和裁判容器脱离，，，裁判打完分就销毁，，，防止Agent“作弊”：
EdgeBench 的双环反馈机制：左边是 Agent 可以自由探索的事情容器，，，右边是隐藏裁判，，，提交后才返回权威评分
事情容器：Agent 在内里随便折腾，，，编译器、调试器、日志、文档全都有，，，但没有“隐藏谜底”裁判容器：Agent 提交工件后，，，裁判用隐藏测试数据和私有评分标准来打分，，，打完容器连忙销毁
这个设计很考究，，，实质上是在模拟“科场密封”和“双盲评审”的机制。。。。把这个从工程层面做对，，，难度比设计问题自己大得多。。。。这套双容器框架有自己的名字，，，SForge。。。。字节把它连同134个使命中的51个一起开源了，，，构建情形的门槛还留在原地，，，使用它的入口已经翻开。。。。
在做 benchmark 的人看到这，，，或许都会有一种“原来你们也被Agent坑过”的共识。。。。
这也是为什么 EdgeBench 让我感受它不是“一个新的 benchmark ”，，，更多是一种新的软件评测系统。。。。
它实质上是一个可视察的 Agent 运行情形。。。。你把它当成“Agent 的 profiler”，，，可能比“一个新 benchmark”更准确。。。。
把这个视角拉回到行业：目今大部分 Agent 评测还停留在“在某个测试集上一次性跑分”的阶段。。。。EdgeBench 花了这么大价钱搭一个长程实验装置，，，它想回覆的问题着实很简朴，，，但很主要。。。。
字节自己的“AI下半场”
EdgeBench是一个让人重新想问题的理由。。。。
长程使命和短 benchmark 之间的差别，，，不是时间拉长了，，，而是袒露出来的问题完全差别。。。。一个只跑 10 分钟的 benchmark，，，Agent的行为是可以预期的：读题、思索、输出、竣事。。。。不会出什么幺蛾子。。。。但当你把时间拉到 12 小时，，，贫困就多了。。。。Agent 会在偏向准确的条件下逐步跑偏，，，修睦一个？？？榈耐备惚懒硪桓；；会看不懂用户的反。。。。，把一个过失信号误读成另一个偏向，，，然后在过失的路上一连投入几小时。。。。
退一步想“是不是偏向错了”，，，目今的 Agent在这方面尚有欠缺。。。。这些问题在短 benchmark 里很难被视察到，，，但在真真相形中，，，件件致命。。。。
因此，，，EdgeBench 的价值就是把 Agent 评测的标准从“会不会做”推进到了“会不会一连做、学习、再做”。。。。这两个问题之间，，，隔着一次评测范式的代际跨越。。。。
对评测的范式的重新思索，，，总让人想到现在在腾讯认真模子的姚顺雨曾提出的“AI下半场”的判断，，，某种水平上，，，EdgeBench 就是字节自己版本的“AI下半场”。。。。
EdgeBench 把“Agent在情形里越跑越强”这个直觉酿成了可丈量的学习曲线。。。。逻辑是同构的，，，只是这次标准不再是参数和算力，，，而是时间和反馈。。。。
未来 AI 公司争取的焦点资源，，，不但是数据和算力，，，尚有能让模子重复试错、一连进化的情形。。。。
点个“爱心”，，，再走 吧
