作者｜Ado微信｜ Ado__rs
7月2日， ， ，，字节 Seed 宣布了一个 Agent评测项目 EdgeBench 。。。。。浚浚看起来又是一个 benchmark， ， ，，但它问了一个其他榜单不问的问题 。。。。。
给模子一道题， ， ，，做对了得分， ， ，，做错了不得分 。。。。。这是绝大大都 benchmark 现在的事情方式， ， ，，越来越像高考 。。。。。
但真实天下里， ， ，，人不是这么用 AI 的 。。。。。
你不会给 Claude Code出一道题然后等它交卷 。。。。。你会给它一个项目、一个代码库、一批数据， ， ，，然后它在那里折腾好几个小时， ， ，，探索、犯错、读反馈、修正、再试 。。。。。你更体贴的是它浸泡在现实使命情形里一段时间之后， ， ，，能不可比刚进来时更强 。。。。。
但目今的 benchmark 险些测不出这些工具 。。。。。它们丈量的是静态能力， ， ，，模子被冻结的那一刻就知道的工具 。。。。。至于从反馈里一连前进的能力、在长周期里积累履历的能力、在生疏情形里探索出偏向的能力， ， ，，全在盲区里 。。。。。
EdgeBench 的切口就是把盲区里的工具放进评测， ， ，，解答一个问题：把Agent扔进一个生疏情形， ， ，，12小时后， ， ，，你能变强几多？？？
134个使命横跨六大领域：科学/ML、软件工程、组合优化、专业知识事情、形式化数学、交互式游戏
为此， ， ，，Seed 团队搭了一个叫 EdgeBench 的实验平台 。。。。。这是一个情形学习视察舱 。。。。。134 个使命， ， ，，每个使命设计合约让 Agent 至少跑 12 小时 。。。。。
它的设计围绕四个焦点维度睁开：
5 个前沿模子（Claude Opus 4.8、GPT-5.5、GPT-5.4、GLM-5.1、DeepSeek-V4-Pro）在上面总共跑了约 38,000 小时 。。。。。
经费在燃烧 。。。。。但最终的效果价值重大：
他们找到了 Agent 的 Scaling law 。。。。。
四个发明：公式、路径、实质、速率
1 ）agent学习有一条被写死的数学公式
134 个使命平均：5 个模子的学习曲线被 log-sigmoid 函数高精度拟合
这是全篇论文的“灵魂发明” 。。。。。
此前我们大多默认情形学习是一件杂乱的事， ， ，，差别使命、差别模子、差别战略， ， ，，纪律自然也差别 。。。。。但他们的数据给出了意料之外的谜底：
134 个使命的平均学习曲线， ， ，，被统一个函数以 R? = 0.998 的精度准确拟合 。。。。。
R? = 0.998 是什么意思？？？ 在人机交互和重大系统研究里， ， ，，你能看到 R? = 0.3 就已经敢写论文了 。。。。。0.998 实质上不是一个"拟合问题"， ， ，，这是一个发明 。。。。。若是我知道一个 Agent 前两小时的前进速率， ， ，，在使命荟萃的平均意义上， ， ，，我就能较量准确地展望它 12 小时后的水平 。。。。。
曲线展示被测模子的学习体感大致都是：一最先慢、找到感受后爆发、靠近天花板时又放缓 。。。。。这和任何有过深度学习或深度事情履历的人的体验完全吻合 。。。。。
并且， ， ，，这个纪律跨标准建设：无论是 12 小时、28 小时照旧 72 小时的实验窗口， ， ，，拟合精度所有坚持在 R? ≥ 0.993 。。。。。浚浚跨领域也建设：六大使命家族各自拟合， ， ，，R? 在 0.972 到 0.998 之间 。。。。。
2）没有“标准”的生长路径
这个发明更有现实意义 。。。。。
把 134 个使命的单使命学习曲线拉开来看， ， ，，你会发明一件反直觉的事：虽然平均曲线是漂亮的 log-sigmoid， ， ，，但单条曲线之间差别极大 。。。。。
- 有的使命：Agent 一上来就稳步提升， ， ，，曲线清洁
- 有的使命：前几个小时纹丝不动， ， ，，突然在某个时刻分数跳升
- 有的使命：先涨后跌再涨
- 有的使命：一最先快速上升， ， ，，然后进入漫长的平台期
差别的学习战略和试错范式， ， ，，在统一个评分框架下会爆发截然差别的生长路径 。。。。。
Agent不但是“学得快”和“学得慢”的区别 。。。。。它们在怎么学上有实质差别， ， ，，若是是只看最终分数而不看历程的评测方式， ， ，，就完全抹平了这个维度 。。。。。论文的诠释是， ， ，，使命是一张能力争， ， ，，学习是解锁前沿向外扩张， ， ，，在对数时间上走一条logistic曲线 。。。。。单使命节点少以是锯齿， ， ，，使命够多平均后S形浮现 。。。。。论文问题里谁人scaling law， ， ，，指的就是这条曲线 。。。。。
3）“重新明确问题”创立真前进
有履历 vs 无履历比照：一连运行积累履历比 6 次自力重启多出 6.9 分的显著优势
统一个模子（Opus 4.8）， ， ，，同样的 12 小时预算：
- 方案 A：让它一连跑 12 小时， ， ，，所有中心产品、过失纪录、已验证假设所有保存
- 方案 B：拆成 6 次自力的 2 小时跑， ， ，，每次清空所有状态， ， ，，只保存最佳效果
12 小时后， ， ，，方案 A 例如案 B 多了 6.9 分（百分制） 。。。。。并且两条曲线从一最先就分道扬镳 。。。。。
这说明前进不是靠运气多试出来的， ， ，，而是靠履历积累出来的 。。。。。
值得关注的是实验中的引力波重修案例研究 。。。。。GPT-5.5 在这个使命上跑了 12 小时， ， ，，提交了 224 次， ， ，，但真正推动最佳效果前进的只有 27 次提交 。。。。。
每一次突破都不是由于"多跑了一个实验"， ， ，，而是由于 Agent 对问题自己的明确爆发了质变 。。。。。它把模糊的目的逐步拆解为可搜索的子问题， ， ，，从反馈中重新界说了"什么是更好的偏向" 。。。。。
4）学习速率自己正在被“学习”
这个发明可能是跟工业关系最细密的一个 。。。。。
实验挑了一组所有模子“起跑线相近”的使命（首次实验都在 6.87 分左右）， ， ，，然后丈量每个模子在 2 小时交互后能前进几多 。。。。。
效果：从 2025 年 9 月的GPT-5-Codex到 2026 年 4 月的GPT-5.5， ， ，，221 天内学习效率提升了 约 8 倍， ， ，，约每 3 个月翻一番 。。。。。
后期模子的有用提交率在上升， ， ，，但提交次数纷歧定更多 。。。。。；；痪浠八， ， ，，不是更勤快， ， ，，而是每次下手更有用 。。。。。这和工程实践的直觉一致， ， ，，高级工程师纷歧定比初级工程师写更多行代码， ， ，，但更少做无用功 。。。。。
AI 的能力越来越像“知识”， ， ，，但"学会新工具"的能力自己， ， ，，也在以惊人速率进化， ， ，，并且这个速率比静态知识增添更有决议性 。。。。。
评测情形自己， ， ，，和EdgeBench同样有价值
EdgeBench 看起来像一个模子排行榜， ， ，，但它测到的不是裸模子能力， ， ，，而是 Agent 系统能力 。。。。。
差别模子跑在差别的执行框架上 。。。。。Claude Opus 4.8 使用 Claude Code 加 1M 上下文窗口， ， ，，GPT-5.5 使用 Codex 加 256K 紧凑窗口 。。。。。最后的分数， ， ，，既包括模子自己的能力， ， ，，也包括上下文治理、工具挪用、反馈处理和执行框架的影响 。。。。。
这反而靠近真实安排 。。。。。现实中的 Agent 历来不是一个伶仃模子， ， ，，而是模子、工具、事情流和反馈系统的组合 。。。。。EdgeBench 真正权衡的， ， ，，是这个组合系统能不可在长程使命里一连推进 。。。。。
但这也意味着， ， ，，榜单不可被粗暴明确成基础模子排名 。。。。。它更像是在较量差别 Agent 系统的恒久事情能力 。。。。。
把EdgeBench和主流 benchmark 放在一起看， ， ，，差别会更清晰：
古板 benchmark 是“静态快照”， ， ，，EdgeBench 是“动态轨迹” 。。。。。它们不是在统一个维度上竞争 。。。。。
但这个新维度不是没有价钱的， ， ，，背后是重大的资源消耗 。。。。。
和EdgeBench同样让我印象深刻的工具， ， ，，是把这个实验情形搭起来意味着什么 。。。。。
先说一组容易被忽略的账 。。。。。134 个使命， ， ，，每个使命平均消耗 57.2 小时的人类专家时间， ， ，，最长的单个使命投了 320 小时 。。。。。纵然按最低标准估， ， ，，光使命构建这一项就投入了 7,500 小时以上的人力；；；然后是运行本钱， ， ，，5 个模子， ， ，，每个模子在每个使命上跑 3 次， ， ，，加上延伸至72小时以上的运行， ， ，，每次 12 小时， ， ，，总计约 38,000 小时的 Agent 交互时长， ， ，，对应的是天文数字的 API 挪用和算力消耗 。。。。。
这个本钱门槛自己就意味着， ， ，，长程 Agent 评测不是随便一个团队就能入场的偏向 。。。。。
再看工程细节 。。。。。论文的附录纪录了在开发历程中被 Agent 攻破的种种误差：有 Agent 在流体力学使命中通过 400+ 次提交反推出了隐藏测试数据的谜底；；；有 Agent 发明反作弊检核对 baseline/ 目录宽免， ， ，，于是把代码塞进那条“免检通道”里交卷 。。。。。这些案例袒露了一个深层的矛盾：想要测出“学习能力”， ， ，，就必需给 Agent 足够的反 。。。。。；；但反馈给得越多， ， ，，就越可能被 Agent 当成预言机来使用 。。。。。
EdgeBench 的解决方案是物理隔离：事情容器和裁判容器脱离， ， ，，裁判打完分就销毁， ， ，，防止Agent“作弊”：
EdgeBench 的双环反馈机制：左边是 Agent 可以自由探索的事情容器， ， ，，右边是隐藏裁判， ， ，，提交后才返回权威评分
事情容器：Agent 在内里随便折腾， ， ，，编译器、调试器、日志、文档全都有， ， ，，但没有“隐藏谜底”裁判容器：Agent 提交工件后， ， ，，裁判用隐藏测试数据和私有评分标准来打分， ， ，，打完容器连忙销毁
这个设计很考究， ， ，，实质上是在模拟“科场密封”和“双盲评审”的机制 。。。。。把这个从工程层面做对， ， ，，难度比设计问题自己大得多 。。。。。这套双容器框架有自己的名字， ， ，，SForge 。。。。。字节把它连同134个使命中的51个一起开源了， ， ，，构建情形的门槛还留在原地， ， ，，使用它的入口已经翻开 。。。。。
在做 benchmark 的人看到这， ， ，，或许都会有一种“原来你们也被Agent坑过”的共识 。。。。。
这也是为什么 EdgeBench 让我感受它不是“一个新的 benchmark ”， ， ，，更多是一种新的软件评测系统 。。。。。
它实质上是一个可视察的 Agent 运行情形 。。。。。你把它当成“Agent 的 profiler”， ， ，，可能比“一个新 benchmark”更准确 。。。。。
把这个视角拉回到行业：目今大部分 Agent 评测还停留在“在某个测试集上一次性跑分”的阶段 。。。。。EdgeBench 花了这么大价钱搭一个长程实验装置， ， ，，它想回覆的问题着实很简朴， ， ，，但很主要 。。。。。
字节自己的“AI下半场”
EdgeBench是一个让人重新想问题的理由 。。。。。
长程使命和短 benchmark 之间的差别， ， ，，不是时间拉长了， ， ，，而是袒露出来的问题完全差别 。。。。。一个只跑 10 分钟的 benchmark， ， ，，Agent的行为是可以预期的：读题、思索、输出、竣事 。。。。。不会出什么幺蛾子 。。。。。但当你把时间拉到 12 小时， ， ，，贫困就多了 。。。。。Agent 会在偏向准确的条件下逐步跑偏， ， ，，修睦一个模浚浚块的同时搞崩另一个；；；会看不懂用户的反馈， ， ，，把一个过失信号误读成另一个偏向， ， ，，然后在过失的路上一连投入几小时 。。。。。
退一步想“是不是偏向错了”， ， ，，目今的 Agent在这方面尚有欠缺 。。。。。这些问题在短 benchmark 里很难被视察到， ， ，，但在真真相形中， ， ，，件件致命 。。。。。
因此， ， ，，EdgeBench 的价值就是把 Agent 评测的标准从“会不会做”推进到了“会不会一连做、学习、再做” 。。。。。这两个问题之间， ， ，，隔着一次评测范式的代际跨越 。。。。。
对评测的范式的重新思索， ， ，，总让人想到现在在腾讯认真模子的姚顺雨曾提出的“AI下半场”的判断， ， ，，某种水平上， ， ，，EdgeBench 就是字节自己版本的“AI下半场” 。。。。。
EdgeBench 把“Agent在情形里越跑越强”这个直觉酿成了可丈量的学习曲线 。。。。。逻辑是同构的， ， ，，只是这次标准不再是参数和算力， ， ，，而是时间和反馈 。。。。。
未来 AI 公司争取的焦点资源， ， ，，不但是数据和算力， ， ，，尚有能让模子重复试错、一连进化的情形 。。。。。
点个“爱心”， ， ，，再走 吧
