机械之心编辑部
DeepSeek 研究员陈德里（Deli Chen）和 AI 相助的第二篇论文来了！
论文地点：https://victorchen96.github.io/continual_learning_survey.pdf
这篇论文聚焦continual learning（一连学习） 与 self-iteration（自我迭代）。。。。。在陈德里看来，，，，这是 AI 迈向 AGI 历程中极为要害的一步
由于 arXiv 不允许将 AI 列为作者，，，，陈德里这次只能把现实肩负了论文 99% 事情量的 DeepSeek-V4-Pro （认真文字）和 GPT-Image-2（认真争像），，，，从作者栏移至脚注说明。。。。。
在这篇论文里，，，，陈德里的判断是，，，，未来的 AI 系统不会恒久停留在一组冻结参数的形态，，，，而会逐渐演变为能够一连学习、自我更新、自我迭代的系统
这背后的逻辑也很直接：上下文治理和文档化影象，，，，确实可以在一定水平上资助模子维持注重力、保存使命履历。。。。。但注重力窗口终究会被填满，，，，到了谁人时间，，，，就需要把知识和履历参数化，，，，以降低认知肩负。。。。。
值得注重的是，，，，这不但是一次论文主题上的延伸，，，，也是陈德里搭建的自主科研智能体框架 DeliAutoResearch SKILL自身的一次迭代实验。。。。。
泉源：https://x.com/victor207755822/status/2060315686329778432
据陈德里先容，，，，这一轮模拟偕行评审分数抵达了 8 分，，，，相比上一篇论文的 6 分有显着提升。。。。。更主要的是，，，，在这篇论文的天生历程中，，，，模子首次实验挪用更高级的语言模子，，，，自主设计并运行实验，，，，这也是此前版本尚不具备的能力。。。。。
更能体现系统转变的，，，，是论文中披露的生产数据比照。。。。。陈德里在第二张图中比照了两篇论文的天生历程：从第一篇到第二篇：随着 SKILL 自己一直迭代，，，，交互轮数大幅下降，，，，而总 token 消耗显著上升，，，，这反而是一个很是好的信号！它说明SKILL 正在向更高自主性转变
换句话说，，，，人工介入变少了，，，，系统自己想和做的部分变多了。。。。。对一个自动科研事情流来说，，，，这恰恰是走向更高自主性的信号。。。。。
陈德里体现很是期待在不久的未来，，，，DeliAutoResearch SKILL 能够真正产出巨匠级的学术写作。。。。。
不过，，，，他也坦言，，，，在阅读论文的一些要害部分后，，，，仍能看到不少提升空间。。。。。
若是完全由自己亲自撰写，，，，论文质量或许会更高，，，，但产出速率也会大幅下降。。。。。由于目今的焦点目的并不是打磨单篇论文，，，，而是一连迭代 DeliAutoResearch SKILL 自己，，，，因此他选择保存这篇论文中略显粗糙的部分，，，，将其作为系统继续进化的反馈样本。。。。。
下面，，，，我们来看一看，，，，这篇论文讲了什么。。。。。
为什么要统逐一连学习和自我刷新？？？？ ？
论文提到，，，，在古板的研究中，，，，一连学习和自我刷新往往被看成两个差别研究偏向，，，，但它们面临的是统一个底层问题：模子怎样在吸收新信息或新目的之后更新自己，，，，同时不破损已经掌握的能力？？？？ ？
一连学习关注的是模子怎样顺序顺应新的使命或数据；；；；；；自我刷新关注的是模子怎样自主增强能力。。。。。但两者的手艺难点高度相似：都要在漫衍转变下稳固优化，，，，都要保存已有表征，，，，都要处理探索与使用之间的权衡，，，，也都要在没有牢靠测试集的情形下评估前进。。。。。
因此，，，，作者以为，，，，下一代 LLM 训练管线必定会把外部数据流和模子自天生训练信号连系起来，，，，形成细密耦合的反馈循环。。。。。也就意味着，，，，统一研究这两个偏向不是利便之举，，，，而是须要之举。。。。。
焦点孝顺一：提出了一个三轴统一分类框架
这篇论文最主要的孝顺之一是提出了首个同时笼罩大语言模子一连学习与自我刷新的分类框架，，，，并将其组织在三个相互正交的维度上：
更新什么：即被更新的是知识、手艺、对齐能力照旧推理能力；；；；；；怎样更新：即接纳哪一类要领；；；；；；何时更新：即更新爆发在离线阶段、周期性阶段、在线阶段，，，，照旧由特定事务触发。。。。。
这个三轴框架如下图所示，，，，能够对任何安排后的学习系统举行准确描绘，，，，并展现差别要领之间此前未被充分熟悉到的联系。。。。。
焦点孝顺二：对五概略领种别举行了系统剖析
论文系统剖析了 100 多篇论文，，，，并将其归纳为五类要领：基于正则化的一连学习、回放与履历治理、参数高效与模浚浚？ ？榛臁⒆晕宜⑿掠胱圆┺，，，，以及在线自顺应要领。。。。。关于每一类要领，，，，都形式化形貌其焦点机制，，，，剖析其理论性子，，，，并较量代表性要领。。。。。
焦点孝顺三：形式化描绘了自我刷新的收敛条件
论文对迭代式自我刷新在什么条件下能够包管收敛而不是发散举行了形式化剖析，，，，并未来自自博弈、迭代蒸馏和 Constitutional AI 等研究偏向中疏散的理论效果，，，，统一到统一个框架之下。。。。。
论文以为，，，，自我刷新代表了一种范式转变：模子能力提升正在从依赖人类监视，，，，转向由模子自主驱动。。。。。所提及的要领笼罩了一个很宽的规模：从训练阶段的自博弈，，，，通过多轮迭代修改模子权重；；；；；；到推理阶段的推理增强，，，，提升每一次单独展望的质量；；；；；；再到理论剖析，，，，划定自我刷新事实能够抵达什么界线……
这些要领的配合点在于，，，，它们都需要某种 grounding signal，，，，即可靠的锚定信号。。。。。这个信号可以是验证器、一套宪法原则、人类偏好数据，，，，也可以是问题自己的结构。。。。。没有这样的锚定信号，，，，自我刷新的循环最终必定会退化。。。。。
如下图所示，，，，自我刷新的轨迹并不取决于天生气制有多重大，，，，而取决于评估信号的质量，，，，以及它相关于模子自身的自力性。。。。。
焦点孝顺四：提出六个开放挑战
在最后，，，，论文指出了天生式模子一连学习走向成熟历程中，，，，亟待解决的六个要害问题，，，，并基于系统剖析所展现的研究空缺，，，，为每个问题提出了未来研究偏向。。。。。
大模子规模能否解决灾难性遗忘：更大的模子确实可能更禁止易遗忘，，，，但规模不是根治方案。。。。。随着使命一连增添，，，，纵然大模子也会遇到容量、滋扰和对齐漂移问题。。。。。未来需要研究的是，，，，大模子规模怎样影响稳固性 — 可塑性权衡，，，，以及是否保存可展望的 Scaling Law。。。。。
自我刷新的理论极限：模子能否无限自我提升？？？？ ？什么时间会收敛？？？？ ？什么时间会坍塌？？？？ ？论文以为这是焦点理论问题。。。。。尤其是在缺少外部验证器的语言使命中，，，，模子很容易陷入自我确认：它会一直强化自己已经相信的模式，，，，而纷歧定更靠近真实目的。。。。。
多模态一连学习：未来模子不但处理文本，，，，还会处理图像、音频、视频和行动数据。。。。。多模态模子一连学习时，，，，一个模态的更新可能影响另一个模态。。。。。例如更新视觉天生能力，，，，可能影响语言明确；；；；；；更新语言对齐，，，，也可能影响图像天生行为。。。。。怎样跨模态保存能力，，，，是未来研究中需要解决的难题。。。。。
清静的一连对齐：模子一连学习时，，，，清静界线也必需一连坚持，，，，可问题在于，，，，任何更新都可能削弱原有对齐能力。。。。。因此，，，，论文以为，，，，未来需要「可证实清静」的一连对齐机制：模子变得更强的同时，，，，清静约束不可被遗忘或绕过。。。。。
安排时「实时学习」：实时服务要求低延迟和高稳固性，，，，而在线学习需要盘算梯度、更新参数、验证质量、阻止回归等，，，，这两者「自然冲突」。。。。。因此，，，，真实安排中需要设计分层更新机制：哪些转变即时处理？？？？ ？哪些转变延迟批处理？？？？ ？哪些转变必需经由清静审查后才华进入参数？？？？ ？
与 Agent 框架连系：智能体会在恒久使命中积累履历，，，，好比工具挪用效果、失败教训、用户偏好、情形反馈等。。。。。问题是：什么时间把短期履历写入恒久影象？？？？ ？什么时间应该更新参数？？？？ ？哪些履历只是无意事务，，，，哪些履历代表稳固纪律？？？？ ？
论文以为，，，，未来需要层级影象架构，，，，让 Agent 同时拥有短期情节影象和恒久参数知识，，，，也需要多智能体一连学习机制，，，，让多个 Agent 共享并整合履历。。。。。
最后，，，，论文的焦点判断是：一连学习和自我刷新正在走向融合。。。。。真正有远景的偏向，，，，是构建这样一种模子：它既能吸收外部天下的新知识，，，，也能使用自我反思、自我验证和自我搜索来刷新学习战略；；；；；；既能变得更强，，，，又能坚持稳固与清静。。。。。
简言之就是，，，，不但是训练得更大，，，，而是能不可在不遗忘、不失控的条件下，，，，一连学习、一连对齐、一连自我进化……
那么你呢，，，，怎样看待这篇「AI 写的论文」，，，，接待在谈论区留言、交流！
https://x.com/victor207755822/status/2060315686329778432
https://victorchen96.github.io/continual_learning_survey.pdf
沙漠里的“追光者”：旅拍定制师为游客定制专属影象