得益于令人印象深刻的效果，，，，，「在线战略蒸馏」 (On-policy Distillation)一直是近期的热门话题。。。。。。这种方式通过使用麋集的西席 Token 级信号监视学生采样轨迹，，，，，提供卓越的能力转移。。。。。。为了提供高质量的监视源，，，，，从而提升蒸馏的性能，，，，，一个直观的偏向是将「特权信息」 (Privileged Information)注入西席或学生自身。。。。。。然而，，，，，这种 "开外挂" 的方式，，，，，纷歧定能让学生学得更好，，，，，反而可能陷入「特权幻觉」(Privilege Illustion)的陷阱。。。。。。
论文问题: DOPD: Dual On-policy Distillation论文链接: https://arxiv.org/abs/2606.30626
最近，，，，，来自新加坡国立大学、香港中文大学 MMLab、北京大学和京东探索研究院的研究团队提出了一种全新的在线战略蒸馏要领:DOPD(Dual On-policy Distillation) ，，，，，通过优势感知的双重蒸馏范式，，，，，乐成破解了这一难题。。。。。。
实验效果令人惊艳：在 LLM 设置下，，，，，DOPD 让学生模子平均提升7.5 分，，，，，闭合了89.8%的初始师生差别；；在 VLM 设置下也提升了6.0分。。。。。。在师生模子尺寸差别最大的情形下 (8B→0.6B) ，，，，，DOPD 的提升幅度是 Vanilla OPD 的4 倍！
图一: DOPD 在基于 LLM 和 VLM 的在线战略蒸馏中的体现。。。。。。
"特权幻觉": 在线战略蒸馏中的隐形陷阱
在大模子蒸馏中，，，，，人们通常以为：给西席模子提供更多信息 (好比推理提醒、视觉标注等 "特权信息") ，，，，，西席就能教得更好，，，，，学生自然也能学得更好。。。。。。
但这篇论文的作者们发明了一个反直觉的征象 「特权幻觉」 (Privilege Illusion)：
外貌上看，，，，，有特权信息的西席模子体现更强，，，，，但这种优势可能只是由于 "信息差池称"，，，，，而非真正的能力差别。。。。。。学生模子模拟的可能只是西席使用特权信息的 "捷径"，，，，，而非真正可迁徙的能力。。。。。。
就像一个开卷考试考满分的先生，，，，，未必能教会闭卷考试的学生真正的解题能力。。。。。。
更糟糕的是，，，，，这种特权幻觉还会导致：熵崩塌，，，，，模子过早收敛，，，，，失去探索能力；；效果退化，，，，，训练后期性能不升反降；；泛化变差，，，，，学到的都是 "特权依赖" 的假能力
图二：加入特权信息后的体现和熵蒸馏转变趋势。。。。。。T., S., Priv. 划分代表西席，，，，，学生和加入特权信息。。。。。。
DOPD: 特权优势感知的双重蒸馏
为相识决这个问题，，，，，研究团队提出了 DOPD，，，，，一种优势感知的双重蒸馏范式。。。。。。
焦点头脑：不是所有 token 都值得用同样的方式学习。。。。。。DOPD 会凭证每个 token 的特权优势差别和师生展望置信，，，，，动态决议用什么方式、什么强度、监视信号来自那里来蒸馏。。。。。。
首先，，，，，划分对西席模子和学生模子在有特权信息的加入下，，，，，举行一次前向盘算 (Forward Pass)，，，，，盘算两者之差作为「特权优势差」 (Privilege Advantage Gap):
图三: Token 消融实验。。。。。。
连系特权优势差，，，，，以及特权师生分别的展望置信，，，，，DOPD 在 Vanilla OPD 的基础上，，，，，将所有 token 划分接纳四种全心设计的方式划分蒸馏:
图四: DOPD 框架。。。。。。
高优势差 + 西席高置信 (要害知识 token)战略: 「西席蒸馏」+「全词表 JS 散度」目的：这是真正的能力差别所在，，，，，必需用最强的监视
低优势差 + 双方高置信 (共识 token)战略: 「轻量西席蒸馏」+「Top-K 反向 KL」目的：主要是特权信息带来的共识，，，，，守旧吸收即可
低优势差 + 双方低置信 (不确定 token)战略: 「弱自蒸馏」+「Top-K 反向 KL」目的：防止模子漂移，，，，，不强行模拟不确定的内容
高优势差 + 学生高置信 (探索性 token)战略: 「轻量自蒸馏」+「Top-K 反向 KL」目的：；；ぱ奶剿餍形，，，不被西席压制
焦点实验效果：优势显著
效果 1: 在线战略蒸馏效果提升显着，，，，，适配大语言模子 (LLM) 和视觉语言模子 (VLM) 蒸馏
在 8 个基准测试上，，，，，DOPD 平均得分 51.4，，，，，比 Vanilla OPD 横跨 7.5 分，，，，，缩小了 89.8% 的师生差别。。。。。。并且与三类 OPD 范式中 9 种已有 SOTA 要领相比，，，，，在所有基准上都取得了最好的体现。。。。。。值得一提的是，，，，，在部分推理和编码等挑战性使命上，，，，，DOPD 甚至逾越了原始西席模子。。。。。。这说明特权信息真正转化成了学生的能力，，，，，而不是特权幻觉。。。。。。
表一: DOPD 在 8 种 LLM-based 基准上与其他要领的比照
别的，，，，，在视觉语言模子上，，，，，DOPD 同样体现精彩：平均提升 6.0 分，，，，，恢复了 69.2% 的师生差别。。。。。。特殊是在视觉明确使命上，，，，，DOPD 能有用蒸馏西席的视觉注重力和推理能力。。。。。。
表二: DOPD 在 8 种 VLM-based 基准上与其他要领的比照
效果 2: 鲁棒性和可扩展性佳，，，，，师生差别越大，，，，，优势越显着
古板蒸馏要领有个通。。。。。。合壬角俊⒀饺酰，，，蒸馏效果反而越差。。。。。。但 DOPD 完善解决了这个问题：能力差别越大，，，，，DOPD 的优势越显着。。。。。。为了证实 DOPD 在差别师生组合上的鲁棒性和在初始师生差别更大的组合下的蒸馏体现，，，，，举行了特另外比照实验。。。。。。令人印象深刻的是：当师生模子尺寸差别较小时 (4B→1.7B)，，，，，DOPD 提升 6.2 分；；而当师生模子尺寸差别很大时 (8B→0.6B) ，，，，，DOPD 提升 14.1 分，，，，，是 Vanilla OPD 的 4 倍！
表三: DOPD 在差别模子组合下的体现
图五：在差别师生尺寸比下的绝对体现提升 (左) 和师生差别减小水平 (右)。。。。。。
效果 3: 一连学习和漫衍外性能评估依旧优异
别的，，，，，DOPD 的优势不止于此：在一连学习的三阶段蒸馏中，，，，，DOPD 能更稳固地积累能力，，，，，显著优于 Vanilla OPD 和古板的强化学习 GRPO 要领；；在漫衍外泛化使命中，，，，，DOPD 在领域外使命中的泛化能力比第二名横跨 3-4 分。。。。。。
图六：三阶段一连学习使命 (左) 和漫衍外使命 (右) 体现评估
特殊剖析：进一步验证合理性和有用性
剖析 1: 训练历程越发稳固且一连
稳固性是蒸馏要领的主要指标之一，，，，，许多 OPD 要领虽然最终效果不错，，，，，但蒸馏历程波动大，，，，，容易崩。。。。。。DOPD 在这方面体现优异：性能曲线平稳上升，，，，，全程稳固提升，，，，，没有大幅波动；；收敛速率快，，，，，在第 80 步就抵达了其他要领第 200 步的水平；；熵转变康健，，，，，先小幅上升 (探索)，，，，，再逐渐下降 (收敛)，，，，，最后稳固在合理水平。。。。。。
图七：蒸馏历程体现 (左) 和熵 (右) 转变趋势
剖析 2: 关于特权信息、Token 分类、蒸馏范式的剖析，，，，，进一步说明设计的合理性
关于差别特权信息效果剖析：不是袒露的谜底越多越彻底越好，，，，，而是要恰到利益。。。。。。研究团队测试了 5 种差别形式的特权信息。。。。。。实验指出，，，，，直接给最终谜底效果最差，，，，，甚至不如不给特权信息，，，，，由于学生直接背谜底了，，，，，基础没学能力；；特权信息不是越详细越好，，，，，而是要提供 "能力导向" 的指导；；最优的特权信息是：给出与能力挂钩的提醒，，，，，但不直接给谜底和细节。。。。。。这进一步验证了 "特权幻觉" 的保存，，，，，也说明 DOPD 选择的特权信息形式是合理的。。。。。。
表四：差别文本 (左) 和视觉 (右) 特权信息注入的影响
为了直观展示 token 分类的效果，，，，，研究团队可视化了一条真实轨迹中的 token 漫衍，，，，，这种漫衍与直觉完全一致，，，，，也证实晰 DOPD 的 token 分类是有现实语义意义的，，，，，不是随便分的。。。。。。
图八: Token 分类效果可视化
别的，，，，，研究团队还比照了差别类型 token 以及 token 组合的作用水平，，，，，以及差别散度目的和蒸馏战略的效果。。。。。。证实晰 DOPD 凭证差别 token 的特点和目的，，，，，设计差别的蒸馏战略的合理性和有用性。。。。。。
表五：差别 Token / 组合 (左) 和蒸馏战略 (右) 的体现
剖析 3: 敏感性和消融实验
敏感性剖析效果显示 DOPD 对参数不敏感，，，，，在较大规模内都能坚持优异性能；；消融实验说明 DOPD 每个组件都有明确的孝顺，，，，，合在一起才实现了最佳效果。。。。。。
图六：敏感性 (左) 和消融实验 (右)
展望：在线战略蒸馏的新思绪
DOPD 重新思索了在线战略蒸馏的实质。。。。。。站在今天的视角回望，，，，，蒸馏手艺已经走过了很长的路：从最初简朴的概率模拟，，，，，到在线战略蒸馏，，，，，再到今天的优势感知双重蒸馏。。。。。。每一次前进，，，，，都让我们对 "怎样高效转达能力" 这个问题有了更深的明确。。。。。。未来，，，，，围绕这个思绪下的在线战略蒸馏可能尚有许多值得探索的偏向。。。。。。
