作者｜Ado微信｜ Ado__rs
7月2日，，，，，字节 Seed 宣布了一个 Agent评测项目 EdgeBench。。。。。？？？？？？雌鹄从质且桓 benchmark，，，，，但它问了一个其他榜单不问的问题。。。。。。
给模子一道题，，，，，做对了得分，，，，，做错了不得分。。。。。。这是绝大大都 benchmark 现在的事情方式，，，，，越来越像高考。。。。。。
但真实天下里，，，，，人不是这么用 AI 的。。。。。。
你不会给 Claude Code出一道题然后等它交卷。。。。。。你会给它一个项目、一个代码库、一批数据，，，，，然后它在那里折腾好几个小时，，，，，探索、犯错、读反馈、修正、再试。。。。。。你更体贴的是它浸泡在现实使命情形里一段时间之后，，，，，能不可比刚进来时更强。。。。。。
但目今的 benchmark 险些测不出这些工具。。。。。。它们丈量的是静态能力，，，，，模子被冻结的那一刻就知道的工具。。。。。。至于从反馈里一连前进的能力、在长周期里积累履历的能力、在生疏情形里探索出偏向的能力，，，，，全在盲区里。。。。。。
EdgeBench 的切口就是把盲区里的工具放进评测，，，，，解答一个问题：把Agent扔进一个生疏情形，，，，，12小时后，，，，，你能变强几多？？？？？？
134个使命横跨六大领域：科学/ML、软件工程、组合优化、专业知识事情、形式化数学、交互式游戏
为此，，，，，Seed 团队搭了一个叫 EdgeBench 的实验平台。。。。。。这是一个情形学习视察舱。。。。。。134 个使命，，，，，每个使命设计合约让 Agent 至少跑 12 小时。。。。。。
它的设计围绕四个焦点维度睁开：
5 个前沿模子（Claude Opus 4.8、GPT-5.5、GPT-5.4、GLM-5.1、DeepSeek-V4-Pro）在上面总共跑了约 38,000 小时。。。。。。
经费在燃烧。。。。。。但最终的效果价值重大：
他们找到了 Agent 的 Scaling law。。。。。。
四个发明：公式、路径、实质、速率
1 ）agent学习有一条被写死的数学公式
134 个使命平均：5 个模子的学习曲线被 log-sigmoid 函数高精度拟合
这是全篇论文的“灵魂发明”。。。。。。
此前我们大多默认情形学习是一件杂乱的事，，，，，差别使命、差别模子、差别战略，，，，，纪律自然也差别。。。。。。但他们的数据给出了意料之外的谜底：
134 个使命的平均学习曲线，，，，，被统一个函数以 R? = 0.998 的精度准确拟合。。。。。。
R? = 0.998 是什么意思？？？？？？ 在人机交互和重大系统研究里，，，，，你能看到 R? = 0.3 就已经敢写论文了。。。。。。0.998 实质上不是一个"拟合问题"，，，，，这是一个发明。。。。。。若是我知道一个 Agent 前两小时的前进速率，，，，，在使命荟萃的平均意义上，，，，，我就能较量准确地展望它 12 小时后的水平。。。。。。
曲线展示被测模子的学习体感大致都是：一最先慢、找到感受后爆发、靠近天花板时又放缓。。。。。。这和任何有过深度学习或深度事情履历的人的体验完全吻合。。。。。。
并且，，，，，这个纪律跨标准建设：无论是 12 小时、28 小时照旧 72 小时的实验窗口，，，，，拟合精度所有坚持在 R? ≥ 0.993。。。。。？？？？？？缌煊蛞步ㄉ瑁毫笫姑易甯髯阅夂，，，，，R? 在 0.972 到 0.998 之间。。。。。。
2）没有“标准”的生长路径
这个发明更有现实意义。。。。。。
把 134 个使命的单使命学习曲线拉开来看，，，，，你会发明一件反直觉的事：虽然平均曲线是漂亮的 log-sigmoid，，，，，但单条曲线之间差别极大。。。。。。
- 有的使命：Agent 一上来就稳步提升，，，，，曲线清洁
- 有的使命：前几个小时纹丝不动，，，，，突然在某个时刻分数跳升
- 有的使命：先涨后跌再涨
- 有的使命：一最先快速上升，，，，，然后进入漫长的平台期
差别的学习战略和试错范式，，，，，在统一个评分框架下会爆发截然差别的生长路径。。。。。。
Agent不但是“学得快”和“学得慢”的区别。。。。。。它们在怎么学上有实质差别，，，，，若是是只看最终分数而不看历程的评测方式，，，，，就完全抹平了这个维度。。。。。。论文的诠释是，，，，，使命是一张能力争，，，，，学习是解锁前沿向外扩张，，，，，在对数时间上走一条logistic曲线。。。。。。单使命节点少以是锯齿，，，，，使命够多平均后S形浮现。。。。。。论文问题里谁人scaling law，，，，，指的就是这条曲线。。。。。。
3）“重新明确问题”创立真前进
有履历 vs 无履历比照：一连运行积累履历比 6 次自力重启多出 6.9 分的显著优势
统一个模子（Opus 4.8），，，，，同样的 12 小时预算：
- 方案 A：让它一连跑 12 小时，，，，，所有中心产品、过失纪录、已验证假设所有保存
- 方案 B：拆成 6 次自力的 2 小时跑，，，，，每次清空所有状态，，，，，只保存最佳效果
12 小时后，，，，，方案 A 例如案 B 多了 6.9 分（百分制）。。。。。。并且两条曲线从一最先就分道扬镳。。。。。。
这说明前进不是靠运气多试出来的，，，，，而是靠履历积累出来的。。。。。。
值得关注的是实验中的引力波重修案例研究。。。。。。GPT-5.5 在这个使命上跑了 12 小时，，，，，提交了 224 次，，，，，但真正推动最佳效果前进的只有 27 次提交。。。。。。
每一次突破都不是由于"多跑了一个实验"，，，，，而是由于 Agent 对问题自己的明确爆发了质变。。。。。。它把模糊的目的逐步拆解为可搜索的子问题，，，，，从反馈中重新界说了"什么是更好的偏向"。。。。。。
4）学习速率自己正在被“学习”
这个发明可能是跟工业关系最细密的一个。。。。。。
实验挑了一组所有模子“起跑线相近”的使命（首次实验都在 6.87 分左右），，，，，然后丈量每个模子在 2 小时交互后能前进几多。。。。。。
效果：从 2025 年 9 月的GPT-5-Codex到 2026 年 4 月的GPT-5.5，，，，，221 天内学习效率提升了 约 8 倍，，，，，约每 3 个月翻一番。。。。。。
后期模子的有用提交率在上升，，，，，但提交次数纷歧定更多。。。。。；；痪浠八，，，，，不是更勤快，，，，，而是每次下手更有用。。。。。。这和工程实践的直觉一致，，，，，高级工程师纷歧定比初级工程师写更多行代码，，，，，但更少做无用功。。。。。。
AI 的能力越来越像“知识”，，，，，但"学会新工具"的能力自己，，，，，也在以惊人速率进化，，，，，并且这个速率比静态知识增添更有决议性。。。。。。
评测情形自己，，，，，和EdgeBench同样有价值
EdgeBench 看起来像一个模子排行榜，，，，，但它测到的不是裸模子能力，，，，，而是 Agent 系统能力。。。。。。
差别模子跑在差别的执行框架上。。。。。。Claude Opus 4.8 使用 Claude Code 加 1M 上下文窗口，，，，，GPT-5.5 使用 Codex 加 256K 紧凑窗口。。。。。。最后的分数，，，，，既包括模子自己的能力，，，，，也包括上下文治理、工具挪用、反馈处理和执行框架的影响。。。。。。
这反而靠近真实安排。。。。。。现实中的 Agent 历来不是一个伶仃模子，，，，，而是模子、工具、事情流和反馈系统的组合。。。。。。EdgeBench 真正权衡的，，，，，是这个组合系统能不可在长程使命里一连推进。。。。。。
但这也意味着，，，，，榜单不可被粗暴明确成基础模子排名。。。。。。它更像是在较量差别 Agent 系统的恒久事情能力。。。。。。
把EdgeBench和主流 benchmark 放在一起看，，，，，差别会更清晰：
古板 benchmark 是“静态快照”，，，，，EdgeBench 是“动态轨迹”。。。。。。它们不是在统一个维度上竞争。。。。。。
但这个新维度不是没有价钱的，，，，，背后是重大的资源消耗。。。。。。
和EdgeBench同样让我印象深刻的工具，，，，，是把这个实验情形搭起来意味着什么。。。。。。
先说一组容易被忽略的账。。。。。。134 个使命，，，，，每个使命平均消耗 57.2 小时的人类专家时间，，，，，最长的单个使命投了 320 小时。。。。。。纵然按最低标准估，，，，，光使命构建这一项就投入了 7,500 小时以上的人力；；然后是运行本钱，，，，，5 个模子，，，，，每个模子在每个使命上跑 3 次，，，，，加上延伸至72小时以上的运行，，，，，每次 12 小时，，，，，总计约 38,000 小时的 Agent 交互时长，，，，，对应的是天文数字的 API 挪用和算力消耗。。。。。。
这个本钱门槛自己就意味着，，，，，长程 Agent 评测不是随便一个团队就能入场的偏向。。。。。。
再看工程细节。。。。。。论文的附录纪录了在开发历程中被 Agent 攻破的种种误差：有 Agent 在流体力学使命中通过 400+ 次提交反推出了隐藏测试数据的谜底；；有 Agent 发明反作弊检核对 baseline/ 目录宽免，，，，，于是把代码塞进那条“免检通道”里交卷。。。。。。这些案例袒露了一个深层的矛盾：想要测出“学习能力”，，，，，就必需给 Agent 足够的反。。。。。；；但反馈给得越多，，，，，就越可能被 Agent 当成预言机来使用。。。。。。
EdgeBench 的解决方案是物理隔离：事情容器和裁判容器脱离，，，，，裁判打完分就销毁，，，，，防止Agent“作弊”：
EdgeBench 的双环反馈机制：左边是 Agent 可以自由探索的事情容器，，，，，右边是隐藏裁判，，，，，提交后才返回权威评分
事情容器：Agent 在内里随便折腾，，，，，编译器、调试器、日志、文档全都有，，，，，但没有“隐藏谜底”裁判容器：Agent 提交工件后，，，，，裁判用隐藏测试数据和私有评分标准来打分，，，，，打完容器连忙销毁
这个设计很考究，，，，，实质上是在模拟“科场密封”和“双盲评审”的机制。。。。。。把这个从工程层面做对，，，，，难度比设计问题自己大得多。。。。。。这套双容器框架有自己的名字，，，，，SForge。。。。。。字节把它连同134个使命中的51个一起开源了，，，，，构建情形的门槛还留在原地，，，，，使用它的入口已经翻开。。。。。。
在做 benchmark 的人看到这，，，，，或许都会有一种“原来你们也被Agent坑过”的共识。。。。。。
这也是为什么 EdgeBench 让我感受它不是“一个新的 benchmark ”，，，，，更多是一种新的软件评测系统。。。。。。
它实质上是一个可视察的 Agent 运行情形。。。。。。你把它当成“Agent 的 profiler”，，，，，可能比“一个新 benchmark”更准确。。。。。。
把这个视角拉回到行业：目今大部分 Agent 评测还停留在“在某个测试集上一次性跑分”的阶段。。。。。。EdgeBench 花了这么大价钱搭一个长程实验装置，，，，，它想回覆的问题着实很简朴，，，，，但很主要。。。。。。
字节自己的“AI下半场”
EdgeBench是一个让人重新想问题的理由。。。。。。
长程使命和短 benchmark 之间的差别，，，，，不是时间拉长了，，，，，而是袒露出来的问题完全差别。。。。。。一个只跑 10 分钟的 benchmark，，，，，Agent的行为是可以预期的：读题、思索、输出、竣事。。。。。。不会出什么幺蛾子。。。。。。但当你把时间拉到 12 小时，，，，，贫困就多了。。。。。。Agent 会在偏向准确的条件下逐步跑偏，，，，，修睦一个？？？？？？榈耐备惚懒硪桓；；会看不懂用户的反馈，，，，，把一个过失信号误读成另一个偏向，，，，，然后在过失的路上一连投入几小时。。。。。。
退一步想“是不是偏向错了”，，，，，目今的 Agent在这方面尚有欠缺。。。。。。这些问题在短 benchmark 里很难被视察到，，，，，但在真真相形中，，，，，件件致命。。。。。。
因此，，，，，EdgeBench 的价值就是把 Agent 评测的标准从“会不会做”推进到了“会不会一连做、学习、再做”。。。。。。这两个问题之间，，，，，隔着一次评测范式的代际跨越。。。。。。
对评测的范式的重新思索，，，，，总让人想到现在在腾讯认真模子的姚顺雨曾提出的“AI下半场”的判断，，，，，某种水平上，，，，，EdgeBench 就是字节自己版本的“AI下半场”。。。。。。
EdgeBench 把“Agent在情形里越跑越强”这个直觉酿成了可丈量的学习曲线。。。。。。逻辑是同构的，，，，，只是这次标准不再是参数和算力，，，，，而是时间和反馈。。。。。。
未来 AI 公司争取的焦点资源，，，，，不但是数据和算力，，，，，尚有能让模子重复试错、一连进化的情形。。。。。。
点个“爱心”，，，，，再走 吧
