闻乐 发自 凹非寺量子位 | 公众号 QbitAI
硅谷今年最贵的词，，叫Recursive Self-Improving
它就是指让AI加入迭代自身的模子、算法、数据和研发流程。。。。。
这个看法有多火呢？？？？？？
Jeff Dean去职开办的Discovery Loop，，偏向就是探索AI自动化科学研究。。。。。
不但姐夫，，AlphaGo创立者David Silver等一众大牛也在统一条赛道上。。。。。
看得出来，，这些顶级AI研究者正在形成一个共识：
让AI加入创立下一代AI，，让AI一连自我刷新并构建更强的AI
在这个共识之下，，一个更棘手的问题泛起了。。。。。
模子越强，，能给AI出题、解题、验证的人越少，，高质量训练数据该从哪来？？？？？？
一支中国团队给出了他们的谜底。。。。。
上海交大人工智能学院、深势科技、上海算法立异研究院组成的无尽前沿团队宣布BigBang-V1
这是首个基于recursive self-improving原生方式训练出的基座模子。。。。。
在训练历程中，，出题、解题、验证都交给AI把控，，通过可验证前沿使命一连天生高质量自演进合成数据，，全程无需人类逐题加入。。。。。
35B跑赢1T大模子
模子已开源，，手艺报告也同步果真。。。。。
BigBang-V1参数规模35B，，推理时激活约3B参数，，支持262K长上下文。。。。。
它的后训练数据100%由AI自主合成，，以科学前沿使命为焦点
在这样的条件下，，模子在长程搜索、代码、科学研究、AI研究等评测中，，拿下所有35B模子里的10项第一
不但云云，，在FrontierScience Research、PaperBench等多项高难度科研使命上，，效果甚至凌驾了1T级的DeepSeek V4 Pro Preview。。。。。
基准分数之外，，详细使命里的体现更能说明BigBang-V1解决重大问题的水平。。。。。
先看一个高难度生物信息学使命。。。。。
转座子定位要求在全基因组测序数据里定位一个47bp的转座子插入位点，，模子不但要识别相关序列，，还得遵守RefSeq染色体命名和1-based坐标约定。。。。。
BigBang没有去猜坐标，，而是使用转座子与染色体之间的毗连证据做约束映射：
一个junction对应一个坐标，，最终把断点锁定在4144431，，每一步证据都可追溯。。。。。
在论文复现使命里，，BigBang的体现又像一个会自我纠错的工程师。。。。。
使命要求把LBCS论文复现为可运行的代码客栈，，它在通读完论文之后没有急着交卷，，而是在冒烟测试里发明自己写出的实现违反了论文的焦点主张：
样本量被牢靠死了，，焦点集基础没法缩短。。。。。
它推算了扰动规模，，发明无法越过触发阈值，，于是一连否决了三个候选修复方案，，最终把一连扰动改成二进制掩码翻转，，问题才真正解决。。。。。
第二轮它又发明一个梯度项从盘算图中脱离，，自动恢复了梯度流，，最终复现评分0.7657，，所有485个评分点通过331个。。。。。
这些案例体现的并不但是分数。。。。。
BigBang真正展现出的是把多步证据组织成可验证结论的能力，，以及在失败中发明问题、修正方案的本事。。。。。
对科研AI来说，，这两种能力恰恰最要紧。。。。。
事实，，科研不是背谜底，，而是从噪声里找证据，，在蜕化时改方案。。。。。
不过，，以科研使命为焦点构建的数据，，并没有把BigBang-V1训练成只会答科学题的笔直模子。。。。。
BrowseComp基准抵达76.5，，SWE-Bench Pro拿到54.2，，能力增益同时迁徙到了长程搜索、软件工程、代码等场景。。。。。
我们也拿它实测了一把长程搜索。。。。。
让它盘货8月第一周AI圈的大事。。。。。它一天一天连着检索了二十多轮、翻了十几个泉源。。。。。
先用定位候选事务，，再逐条翻开信源交织验证，，最后还专门找到一手页面核对细节，，连宣布日期都逐个确认才给出结论。。。。。
并且它现搜列出的泉源所有真实可会见。。。。。
然后我们又让它写了一个太空射击小游戏。。。。。
代码写得很是丝滑，，打中后爆炸爆发粒子特效，，左上角还展示了分数、生命、品级游戏UI。。。。。
100%纯AI合成的训练数据，，为什么能有这样的体现？？？？？？
要解开这个疑问，，得先从训练数据自己提及。。。。。
训练数据生产，，也可以成为AI优化工具
Recursive Self-Improving火热，，业界也都在谈论，，但大大都探索还仅仅彷徨在看法层，，真正跑通完整闭环的落地案例并未几。。。。。
落到现实事情里，，现在常见的有两类实验。。。。。
一部分方案只是给模子套上一层工具外壳，，好比harness，，让模子自己调调工具、改改提醒词。。。。。
但这样相当于只是把模子的挪用方式做了增强，，底层的训练管线险些原封不动，，并没有触动模子自我迭代的泉源。。。。。
尚有一类做规则是用大模子对天生的数据做打分筛选。。。。。
但这套评判标准是人类预先写死的规则，，筛选逻辑自己不会随着模子能力生长而自我演化。。。。。
模子变强之后，，旧的评判标尺很快就会失效，，依然源源一直产出低价值样本。。。。。
纯粹靠扩大数据集规模、对已有数据重复洗濯过滤，，已经很难再撬动能力的进一步跃升。。。。。
训练数据仍由人类逐题生产，，模子的进化速率被人类出题的速率卡住，，这是Recursive Self-Improving落地的焦点问题之一。。。。。
BigBang团队换了一个角度思索这个问题。。。。。
若是模子可以自我刷新，，那么能不可让训练数据的生产系统自己，，也成为被优化的工具？？？？？？
于是，，问题从「怎样网络更多科学数据」，，酿成了「怎样让数据生产系统，，随着模子能力一起一连进化」。。。。。
要解决它，，就要回到数据质量这一源头，，数据质量不是洗濯洗出来的，，是使命自己的属性决议的。。。。。
若是想要搭建一套能一连自我进化的数据系统，，使命必需同时知足两个条件。。。。。
首先是前沿性
使命要位于目今知识或模子能力的界线，，甚至没有已知最优谜底。。。。。
新理论、新数据、新工具一直泛起，，科学前沿就会一连爆发新问题，，不会像静态题库一样被模子迅速耗尽。。。。。
其次是可验证性
候选方案要能通过形式化要领、程序执行、数值盘算、模拟器、实验反馈或领域工具做客观检查。。。。。
只有前沿而无法验证，，系统拿不到可靠训练信号；；；只有验证但缺乏难度，，使命又会迅速落伍于模子能力。。。。。
二者缺一，，数据都会快速贬值。。。。。
BigBang团队将科学领域作为模子的训练载体，，恰恰同时知足前沿性与可验证性两大条件。。。。。
它自然组合了搜索、阅读、提出假设、数学推导、代码开发、工具挪用、实验剖析和效果写作，，相当于一套面向通用智能的综合课程。。。。。
Jeff Dean说Discovery Loop这条蹊径适用于有可权衡目的的科学和工程领域，，BigBang选科学当训练场，，底层逻辑同源。。。。。
用可验证的前沿使命牵引数据生产，，让数据生产系统随着模子一起进化，，这就是BigBang给出的回覆：
AI advancing science, and science advancing AI.（AI推动科学，，科学推动AI）AI最先决议，，下一代AI学什么
把理论谜底落为工程实现，，BigBang的要害是一套能一连修改和刷新自身生产战略的自演化合成数据管线
它把RSI机制嵌入了训练管线内部，，让AI直接加入使命结构、求解、验证、筛选，，以及下一轮数据生产战略的优化。。。。。
△BigBang整体框架
系统的焦点，，是两类Agent协同事情。。。。。
Generator Agent认真一直提出并解决科学、手艺及AI研究中的高难度使命。。。。。
并非照着牢靠Prompt出题的天生器，，它是作为代码Agent，，直接修改、运行和调试数据合成程序。。。。。
并且，，它还可以调解使命来自哪些科学领域、问题需要多长的推理链、该用搜索照旧盘算照旧代码照旧模拟工具，，甚至决议哪些样本保存、哪些镌汰、哪些天生战略失败了下轮不再重复。。。。。
每一轮实验竣事，，它还会纪录修改念头、实验效果和失败原因，，让后续探索继续此前的履历。。。。。
Critic Agent则从反抗角度审查候选数据。。。。。
第一层看名堂、工具执行、数据完整性和约束知足；；；
第二层进一步判断使命是否准确、可验证、足够难题、多样，，并且真正具备训练价值。。。。。
过不了审查的使命就被拒绝或回炉，，通过的才进入合成数据集。。。。。
Generator认真造，，Critic认真挑，，这套反抗与协作就像AlphaGo的自我对弈，，只不过棋盘换成了开放的科学使命空间。。。。。
以上是系统的自迭代内循环，，但这种快速内循环尚有一个隐患。。。。。
Generator可能逐渐学会迎合Critic，，造出一些外貌重大、评分很高、训练后却无法迁徙到真实使命的数据。。。。。
因此BigBang在快速循环之外，，又加了一层由真实训练效果驱动的外循环。。。。。
△BigBang的两层配合演化框架
系统会天生差别版本的数据生产管线，，划分训练模子，，再放到留出的真实研究使命里评测。。。。。
若是Critic以为某类数据价值很高，，训练后的模子却没有真正变强，，说明评价标准保存误差，，系统就用真实效果反向校准Critic，，并调解Generator下一轮的使命领域和难度；；；
反过来，，若是某类看似狭窄的科学使命带来了搜索、推理或工具上的普遍提升，，系统也会加大对该偏向的探索。。。。。
内外双循环转起来，，数据和模子最先一起变强。。。。。
但模子越强，，原本难题的使命就可能“越来越不值钱”，，以是模子已往无法处理的问题又变得可解。。。。。
因此，，数据管线必需是动态的，，它得随着模子一起转变。。。。。
这就是BigBang的数据层RSI闭环：
上一轮模子和实验爆发的效果，，影响下一轮训练数据的天生与筛选方式。。。。。
100%纯AI合成数据，，靠这个闭环突破了「合成数据会坍缩」的魔咒，，过失的谜底不会被当成准确谜底继续喂回训练，，由于验证链一直在兜底。。。。。
虽然，，这也并不料味着人类退出研发。。。。。研发目的、资源预算、风险界线、最终验收标准，，仍然由人类界说。。。。。
AI不可自行修改评测标准，，也不可由于自己的Critic打了高分就直接批准某个方案进入下一轮训练。。。。。
人类认真确定偏向和界说什么是有用前进，，AI认真大规模探索、执行实验、整理失败履历、生产下一轮逊需的数据。。。。。
可以说，，这是训练数据生产关系的一次重新分工。。。。。
无尽前沿
BigBang-V1背后的无尽前沿团队，，是学术与工业的连系。。。。。
团队首创成员之一是上海交大人工智能学院副教授陈思衡
这位CMU博士曾任职于Uber ATG自动驾驶部分，，回国后向导团队打造出通用科研智能体SciMaster
SciMaster曾登顶OpenAI FrontierScience榜单，，实现了“搜、读、算、做、写”完整科研闭环。。。。。
另一位焦点成员是上海交大助理教授张林峰
这位年轻博导主攻模子压缩与数据蒸馏，，他提出的大模子数据蒸馏要领拿过CVPR满分，，一直在探索怎么更科学地合成数据、怎么让模子用更少的数据变得更高效。。。。。
工业一侧，，深势科技首创人张林峰中国科学院院士鄂维南为这支团队补上了AI for Science的工业纵深。。。。。
无尽前沿要做的是依托可验证前沿使命的自进化合成系统，，实现开放式通用智能，，搭建完整AI自我迭代训练飞轮。。。。。
当训练数据的生产不再依赖人类逐题产出、当AI最先加入决议下一代AI应该学习什么，，AI前进的天花板，，就被自己抬高了。。。。。
或许，，下一个赛点的要害不在算力堆叠，，而在数据智能。。。。。
模子主页：https://huggingface.co/endless-frontier/BigBang-v1
代码地点：https://github.com/endless-frontier/BigBang-v1
团队主页：https://endlessfrontier.tech
