作者｜Ado微信｜ Ado__rs
7月2日，， ，，，，字节 Seed 宣布了一个 Agent评测项目 EdgeBench。。。？？？？？雌鹄从质且桓 benchmark，， ，，，，但它问了一个其他榜单不问的问题。。。。
给模子一道题，， ，，，，做对了得分，， ，，，，做错了不得分。。。。这是绝大大都 benchmark 现在的事情方式，， ，，，，越来越像高考。。。。
但真实天下里，， ，，，，人不是这么用 AI 的。。。。
你不会给 Claude Code出一道题然后等它交卷。。。。你会给它一个项目、一个代码库、一批数据，， ，，，，然后它在那里折腾好几个小时，， ，，，，探索、犯错、读反馈、修正、再试。。。。你更体贴的是它浸泡在现实使命情形里一段时间之后，， ，，，，能不可比刚进来时更强。。。。
但目今的 benchmark 险些测不出这些工具。。。。它们丈量的是静态能力，， ，，，，模子被冻结的那一刻就知道的工具。。。。至于从反馈里一连前进的能力、在长周期里积累履历的能力、在生疏情形里探索出偏向的能力，， ，，，，全在盲区里。。。。
EdgeBench 的切口就是把盲区里的工具放进评测，， ，，，，解答一个问题：把Agent扔进一个生疏情形，， ，，，，12小时后，， ，，，，你能变强几多？？？？？
134个使命横跨六大领域：科学/ML、软件工程、组合优化、专业知识事情、形式化数学、交互式游戏
为此，， ，，，，Seed 团队搭了一个叫 EdgeBench 的实验平台。。。。这是一个情形学习视察舱。。。。134 个使命，， ，，，，每个使命设计合约让 Agent 至少跑 12 小时。。。。
它的设计围绕四个焦点维度睁开：
5 个前沿模子（Claude Opus 4.8、GPT-5.5、GPT-5.4、GLM-5.1、DeepSeek-V4-Pro）在上面总共跑了约 38,000 小时。。。。
经费在燃烧。。。。但最终的效果价值重大：
他们找到了 Agent 的 Scaling law。。。。
四个发明：公式、路径、实质、速率
1 ）agent学习有一条被写死的数学公式
134 个使命平均：5 个模子的学习曲线被 log-sigmoid 函数高精度拟合
这是全篇论文的“灵魂发明”。。。。
此前我们大多默认情形学习是一件杂乱的事，， ，，，，差别使命、差别模子、差别战略，， ，，，，纪律自然也差别。。。。但他们的数据给出了意料之外的谜底：
134 个使命的平均学习曲线，， ，，，，被统一个函数以 R? = 0.998 的精度准确拟合。。。。
R? = 0.998 是什么意思？？？？？ 在人机交互和重大系统研究里，， ，，，，你能看到 R? = 0.3 就已经敢写论文了。。。。0.998 实质上不是一个"拟合问题"，， ，，，，这是一个发明。。。。若是我知道一个 Agent 前两小时的前进速率，， ，，，，在使命荟萃的平均意义上，， ，，，，我就能较量准确地展望它 12 小时后的水平。。。。
曲线展示被测模子的学习体感大致都是：一最先慢、找到感受后爆发、靠近天花板时又放缓。。。。这和任何有过深度学习或深度事情履历的人的体验完全吻合。。。。
并且，， ，，，，这个纪律跨标准建设：无论是 12 小时、28 小时照旧 72 小时的实验窗口，， ，，，，拟合精度所有坚持在 R? ≥ 0.993。。。？？？？？缌煊蛞步ㄉ瑁毫笫姑易甯髯阅夂，， ，，，，R? 在 0.972 到 0.998 之间。。。。
2）没有“标准”的生长路径
这个发明更有现实意义。。。。
把 134 个使命的单使命学习曲线拉开来看，， ，，，，你会发明一件反直觉的事：虽然平均曲线是漂亮的 log-sigmoid，， ，，，，但单条曲线之间差别极大。。。。
- 有的使命：Agent 一上来就稳步提升，， ，，，，曲线清洁
- 有的使命：前几个小时纹丝不动，， ，，，，突然在某个时刻分数跳升
- 有的使命：先涨后跌再涨
- 有的使命：一最先快速上升，， ，，，，然后进入漫长的平台期
差别的学习战略和试错范式，， ，，，，在统一个评分框架下会爆发截然差别的生长路径。。。。
Agent不但是“学得快”和“学得慢”的区别。。。。它们在怎么学上有实质差别，， ，，，，若是是只看最终分数而不看历程的评测方式，， ，，，，就完全抹平了这个维度。。。。论文的诠释是，， ，，，，使命是一张能力争，， ，，，，学习是解锁前沿向外扩张，， ，，，，在对数时间上走一条logistic曲线。。。。单使命节点少以是锯齿，， ，，，，使命够多平均后S形浮现。。。。论文问题里谁人scaling law，， ，，，，指的就是这条曲线。。。。
3）“重新明确问题”创立真前进
有履历 vs 无履历比照：一连运行积累履历比 6 次自力重启多出 6.9 分的显著优势
统一个模子（Opus 4.8），， ，，，，同样的 12 小时预算：
- 方案 A：让它一连跑 12 小时，， ，，，，所有中心产品、过失纪录、已验证假设所有保存
- 方案 B：拆成 6 次自力的 2 小时跑，， ，，，，每次清空所有状态，， ，，，，只保存最佳效果
12 小时后，， ，，，，方案 A 例如案 B 多了 6.9 分（百分制）。。。。并且两条曲线从一最先就分道扬镳。。。。
这说明前进不是靠运气多试出来的，， ，，，，而是靠履历积累出来的。。。。
值得关注的是实验中的引力波重修案例研究。。。。GPT-5.5 在这个使命上跑了 12 小时，， ，，，，提交了 224 次，， ，，，，但真正推动最佳效果前进的只有 27 次提交。。。。
每一次突破都不是由于"多跑了一个实验"，， ，，，，而是由于 Agent 对问题自己的明确爆发了质变。。。。它把模糊的目的逐步拆解为可搜索的子问题，， ，，，，从反馈中重新界说了"什么是更好的偏向"。。。。
4）学习速率自己正在被“学习”
这个发明可能是跟工业关系最细密的一个。。。。
实验挑了一组所有模子“起跑线相近”的使命（首次实验都在 6.87 分左右），， ，，，，然后丈量每个模子在 2 小时交互后能前进几多。。。。
效果：从 2025 年 9 月的GPT-5-Codex到 2026 年 4 月的GPT-5.5，， ，，，，221 天内学习效率提升了 约 8 倍，， ，，，，约每 3 个月翻一番。。。。
后期模子的有用提交率在上升，， ，，，，但提交次数纷歧定更多。。。；；；痪浠八，， ，，，，不是更勤快，， ，，，，而是每次下手更有用。。。。这和工程实践的直觉一致，， ，，，，高级工程师纷歧定比初级工程师写更多行代码，， ，，，，但更少做无用功。。。。
AI 的能力越来越像“知识”，， ，，，，但"学会新工具"的能力自己，， ，，，，也在以惊人速率进化，， ，，，，并且这个速率比静态知识增添更有决议性。。。。
评测情形自己，， ，，，，和EdgeBench同样有价值
EdgeBench 看起来像一个模子排行榜，， ，，，，但它测到的不是裸模子能力，， ，，，，而是 Agent 系统能力。。。。
差别模子跑在差别的执行框架上。。。。Claude Opus 4.8 使用 Claude Code 加 1M 上下文窗口，， ，，，，GPT-5.5 使用 Codex 加 256K 紧凑窗口。。。。最后的分数，， ，，，，既包括模子自己的能力，， ，，，，也包括上下文治理、工具挪用、反馈处理和执行框架的影响。。。。
这反而靠近真实安排。。。。现实中的 Agent 历来不是一个伶仃模子，， ，，，，而是模子、工具、事情流和反馈系统的组合。。。。EdgeBench 真正权衡的，， ，，，，是这个组合系统能不可在长程使命里一连推进。。。。
但这也意味着，， ，，，，榜单不可被粗暴明确成基础模子排名。。。。它更像是在较量差别 Agent 系统的恒久事情能力。。。。
把EdgeBench和主流 benchmark 放在一起看，， ，，，，差别会更清晰：
古板 benchmark 是“静态快照”，， ，，，，EdgeBench 是“动态轨迹”。。。。它们不是在统一个维度上竞争。。。。
但这个新维度不是没有价钱的，， ，，，，背后是重大的资源消耗。。。。
和EdgeBench同样让我印象深刻的工具，， ，，，，是把这个实验情形搭起来意味着什么。。。。
先说一组容易被忽略的账。。。。134 个使命，， ，，，，每个使命平均消耗 57.2 小时的人类专家时间，， ，，，，最长的单个使命投了 320 小时。。。。纵然按最低标准估，， ，，，，光使命构建这一项就投入了 7,500 小时以上的人力；；；然后是运行本钱，， ，，，，5 个模子，， ，，，，每个模子在每个使命上跑 3 次，， ，，，，加上延伸至72小时以上的运行，， ，，，，每次 12 小时，， ，，，，总计约 38,000 小时的 Agent 交互时长，， ，，，，对应的是天文数字的 API 挪用和算力消耗。。。。
这个本钱门槛自己就意味着，， ，，，，长程 Agent 评测不是随便一个团队就能入场的偏向。。。。
再看工程细节。。。。论文的附录纪录了在开发历程中被 Agent 攻破的种种误差：有 Agent 在流体力学使命中通过 400+ 次提交反推出了隐藏测试数据的谜底；；；有 Agent 发明反作弊检核对 baseline/ 目录宽免，， ，，，，于是把代码塞进那条“免检通道”里交卷。。。。这些案例袒露了一个深层的矛盾：想要测出“学习能力”，， ，，，，就必需给 Agent 足够的反。。。；；；但反馈给得越多，， ，，，，就越可能被 Agent 当成预言机来使用。。。。
EdgeBench 的解决方案是物理隔离：事情容器和裁判容器脱离，， ，，，，裁判打完分就销毁，， ，，，，防止Agent“作弊”：
EdgeBench 的双环反馈机制：左边是 Agent 可以自由探索的事情容器，， ，，，，右边是隐藏裁判，， ，，，，提交后才返回权威评分
事情容器：Agent 在内里随便折腾，， ，，，，编译器、调试器、日志、文档全都有，， ，，，，但没有“隐藏谜底”裁判容器：Agent 提交工件后，， ，，，，裁判用隐藏测试数据和私有评分标准来打分，， ，，，，打完容器连忙销毁
这个设计很考究，， ，，，，实质上是在模拟“科场密封”和“双盲评审”的机制。。。。把这个从工程层面做对，， ，，，，难度比设计问题自己大得多。。。。这套双容器框架有自己的名字，， ，，，，SForge。。。。字节把它连同134个使命中的51个一起开源了，， ，，，，构建情形的门槛还留在原地，， ，，，，使用它的入口已经翻开。。。。
在做 benchmark 的人看到这，， ，，，，或许都会有一种“原来你们也被Agent坑过”的共识。。。。
这也是为什么 EdgeBench 让我感受它不是“一个新的 benchmark ”，， ，，，，更多是一种新的软件评测系统。。。。
它实质上是一个可视察的 Agent 运行情形。。。。你把它当成“Agent 的 profiler”，， ，，，，可能比“一个新 benchmark”更准确。。。。
把这个视角拉回到行业：目今大部分 Agent 评测还停留在“在某个测试集上一次性跑分”的阶段。。。。EdgeBench 花了这么大价钱搭一个长程实验装置，， ，，，，它想回覆的问题着实很简朴，， ，，，，但很主要。。。。
字节自己的“AI下半场”
EdgeBench是一个让人重新想问题的理由。。。。
长程使命和短 benchmark 之间的差别，， ，，，，不是时间拉长了，， ，，，，而是袒露出来的问题完全差别。。。。一个只跑 10 分钟的 benchmark，， ，，，，Agent的行为是可以预期的：读题、思索、输出、竣事。。。。不会出什么幺蛾子。。。。但当你把时间拉到 12 小时，， ，，，，贫困就多了。。。。Agent 会在偏向准确的条件下逐步跑偏，， ，，，，修睦一个？？？？？榈耐备惚懒硪桓；；；会看不懂用户的反馈，， ，，，，把一个过失信号误读成另一个偏向，， ，，，，然后在过失的路上一连投入几小时。。。。
退一步想“是不是偏向错了”，， ，，，，目今的 Agent在这方面尚有欠缺。。。。这些问题在短 benchmark 里很难被视察到，， ，，，，但在真真相形中，， ，，，，件件致命。。。。
因此，， ，，，，EdgeBench 的价值就是把 Agent 评测的标准从“会不会做”推进到了“会不会一连做、学习、再做”。。。。这两个问题之间，， ，，，，隔着一次评测范式的代际跨越。。。。
对评测的范式的重新思索，， ，，，，总让人想到现在在腾讯认真模子的姚顺雨曾提出的“AI下半场”的判断，， ，，，，某种水平上，， ，，，，EdgeBench 就是字节自己版本的“AI下半场”。。。。
EdgeBench 把“Agent在情形里越跑越强”这个直觉酿成了可丈量的学习曲线。。。。逻辑是同构的，， ，，，，只是这次标准不再是参数和算力，， ，，，，而是时间和反馈。。。。
未来 AI 公司争取的焦点资源，， ，，，，不但是数据和算力，， ，，，，尚有能让模子重复试错、一连进化的情形。。。。
点个“爱心”，， ，，，，再走 吧
