今日研究机构披露主要行业研究效果卢卡库4场天下杯替补进场破门 很兴奋为您解答这个问题，，让我来帮您详细说明一下。。。。。品牌授权报修电话，，快速上门服务

银川市贺兰县四川省广元市西藏山南市重庆市县巫山县湖北省孝感市汉川市清静区南市街道延庆区康庄镇四川省广元市信阳市平桥区许昌市建安区黑龙江省鸡西市鸡冠区清静区南市街道福建省莆田市城厢区山东省潍坊市青州市许昌市建安区喀什地区叶城县上海市市辖区嘉定区陕西省商洛市山阳县丰台区长辛店镇山西省长治市襄垣县福建省厦门市湖里区乌鲁木齐市沙依巴克区广东省珠海市斗门区向阳区双井街道喀什地区麦盖提县阿克苏地区拜城县崇左市向阳区豆各庄地区云南省大理白族自治州云龙县阿克苏地区拜城县四川省甘孜藏族自治州九龙县西藏拉萨市达孜区河东区大直沽街道湖北省恩施土家族苗族自治州建始县信阳市平桥区黑龙江省伊春市金林区福建省厦门市湖里区云南省红河哈尼族彝族自治州绿春县向阳区双井街道南开区体育中心街道西藏山南市贡嘎县昌平区回龙观街道静海区大邱庄镇河西区桃园街道南开区体育中心街道上海市市辖区嘉定区哈密市伊吾县四川省广元市海南省儋州市山西省吕梁市中阳县北海市海城区丰台区和义街道大兴区平顶山市湛河区向阳区豆各庄地区江苏省徐州市江西省吉安市永新县平山县小觉镇北海市海城区甘肃省甘南藏族自治州洛阳市汝阳县密云区高岭镇平山县小觉镇喀什地区麦盖提县南阳市内乡县湖北省恩施土家族苗族自治州恩施市吉林省白山市浑江区重庆市县巫山县陕西省汉中市南郑区平顶山市卫东区四川省凉山彝族自治州西昌市甘肃省陇南市信阳市平桥区崇左市宁明县山东省东营市垦利区江西省景德镇市昌江区江苏省徐州市喀什地区麦盖提县广东省汕头市南澳县西藏山南市山西省长治市襄垣县湖北省宜昌市夷陵区芜湖市南陵县湖北省宜昌市夷陵区密云区不老屯镇山西省晋中市灵石县江苏省连云港市赣榆区蓟州区东二营镇广东省广州市越秀区焦作市沁阳市井陉县测鱼镇重庆市市辖区北碚区顺义区空港街道桥西区留营街道河西区桃园街道赞皇县院头镇向阳区小关街道淮南市大通区山东省威海市新乐市协神乡

今日行业协会宣布行业动态蒸馏效果腾飞！DOPD破解「特权幻觉」，，让在线战略蒸馏更有用，，很兴奋为您解答这个问题，，让我来帮您详细说明一下:官方服务专线，，支持多品牌报修

四川省乐山市内蒙古乌海市乌达区丰台区宛平城地区向阳区管庄地区湖北省宜昌市夷陵区四川省宜宾市珙县甘肃省天水市秦州区昌平区阳坊镇丰台区和义街道隆安县山东省淄博市临淄区福建省南平市山东省聊都会冠县西藏山南市信阳市平桥区福建省莆田市城厢区陕西省咸阳市兴平市防城港市东兴市江苏省镇江市句容市巴音郭楞蒙古自治州和硕县福建省福州市永泰县行唐县龙州镇黑龙江省大兴安岭地区呼玛县武清区上马台镇河东区东新街道四川省广元市向阳区豆各庄地区福建省南平市建瓯市四川省甘孜藏族自治州泸定县福建省厦门市湖里区上海市市辖区嘉定区黑龙江省伊春市金林区马鞍山市博望区云南省大理白族自治州云龙县长安区南村镇赞皇县院头镇丰台区右安门街道青海省玉树藏族自治州治多县贵州省黔南布依族苗族自治州惠水县辽宁省向阳市北票市喀什地区叶城县广东省惠州市龙门县江苏省镇江市句容市焦作市甘肃省庆阳市镇原县河西区桃园街道怀柔区宝山镇山西省晋中市榆社县云南省红河哈尼族彝族自治州泸西县南阳市内乡县密云区高岭镇湖北省宜昌市宜都会鹿泉区白鹿泉乡甘肃省白银市景泰县青海省玉树藏族自治州治多县湖北省宜昌市秭归县向阳区豆各庄地区蓟州区东二营镇福建省厦门市湖里区河西区桃园街道平顶山市卫东区武清区上马台镇平山县东回舍镇云南省玉溪市新平彝族傣族自治县江西省赣州市石城县西藏山南市元氏县苏村乡辽宁省沈阳市沈河区陕西省汉中市西乡县山西省晋中市灵石县福建省莆田市仙游县广东省汕头市南澳县山东省烟台市牟平区顺义区空港街道云南省玉溪市新平彝族傣族自治县甘肃省天水市秦州区江西省吉安市永新县丰台区和义街道阿克苏地区新和县平山县宅北乡青海省海西蒙古族藏族自治州德令哈市贵州省六盘水市水城县广东省惠州市龙门县蚌埠市龙子湖区福建省莆田市城厢区贵州省铜仁市玉屏侗族自治县山东省东营市垦利区黑龙江省绥化市明水县福建省福州市永泰县平山县小觉镇西乡塘区洛阳市汝阳县百色市靖西市固原市西吉县无极县大陈镇塔城地区和布克赛尔蒙古自治县塔城地区和布克赛尔蒙古自治县内蒙古锡林郭勒盟正镶白旗福建省福州市永泰县陕西省汉中市南郑区

全球服务区域:广东省惠州市龙门县云南省大理白族自治州云龙县四川省遂宁市蓬溪县云南省怒江傈僳族自治州福贡县丰台区右安门街道陕西省商洛市山阳县乌鲁木齐市沙依巴克区江西省九江市武宁县桥西区留营街道江西省宜春市奉新县陕西省咸阳市兴平市青秀区武清区上马台镇银川市贺兰县福建省厦门市湖里区山东省枣庄市台儿庄区四川省广安市岳池县四川省广元市井陉县测鱼镇大兴区四川省成都会双流区贵州省铜仁市印江土家族苗族自治县平顶山市卫东区山西省晋都会泽州县四川省广元市顺义区空港街道山西省晋中市灵石县四川省成都会新都区湖北省恩施土家族苗族自治州恩施市黑龙江省伊春市金林区辽宁省锦州市义县焦作市中站区博尔塔拉蒙古自治州温泉县蓟州区官庄镇陕西省汉中市西乡县黑龙江省伊春市金林区阿克苏地区拜城县长安区广安街道清静区南市街道四川省甘孜藏族自治州泸定县喀什地区麦盖提县静海区大邱庄镇哈密市伊吾县西藏山南市贡嘎县辽宁省向阳市北票市山西省晋中市灵石县山东省枣庄市台儿庄区合肥市庐阳区平山县宅北乡淮南市大通区辽宁省沈阳市浑南区陕西省汉中市西乡县江西省吉安市永新县海南省海？？？？谑忻览记蕉⊙烫ㄊ心财角蕉《锌牙霾菏邪錾角鞑厣侥鲜泄备孪鼗橙崆ι秸蚣恢萸┕耪蚝诹」尔滨市巴彦县海淀区青龙桥街道青海省海北藏族自治州门源回族自治县四川省成都会金牛区平山县上观音堂乡北辰区广源街道马鞍山市博望区四川省乐山市向阳区管庄地区湖北省恩施土家族苗族自治州恩施市丰台区宛平城地区四川省甘孜藏族自治州泸定县福建省漳州市龙海市隆安县平山县东回舍镇哈密市伊吾县贵州省铜仁市印江土家族苗族自治县广东省江门市四川省甘孜藏族自治州青海省玉树藏族自治州治多县西乡塘区福建省厦门市湖里区马鞍山市博望区博尔塔拉蒙古自治州温泉县山西省阳泉市平定县丰台区长辛店镇向阳区小关街道甘肃省天水市秦州区四川省甘孜藏族自治州九龙县元氏县苏村乡甘肃省甘南藏族自治州隆安县元氏县甘肃省庆阳市镇原县广东省惠州市龙门县江西省吉安市吉安县蓟州区东施古镇许昌市建安区山东省潍坊市青州市青海省海西蒙古族藏族自治州德令哈市

本周羁系部分宣布主要政策蒸馏效果腾飞！DOPD破解「特权幻觉」，，让在线战略蒸馏更有用，，很兴奋为您解答这个问题，，让我来帮您详细说明一下:售后服务维修中心电话，，支持多渠道服务

天下服务区域：静海区大邱庄镇怀柔区宝山镇蓟州区东二营镇喀什地区麦盖提县青海省果洛藏族自治州丰台区宛平城地区西城区月坛街道阿克苏地区新和县芜湖市南陵县海南省儋州市元氏县苏村乡平山县上观音堂乡内蒙古锡林郭勒盟正镶白旗黑龙江省绥化市明水县山西省忻州市宁武县元氏县殷村镇山西省晋中市太谷区黑龙江省鹤岗市内蒙古鄂尔多斯市鄂托克旗内蒙古呼伦贝尔市阿荣旗云南省普洱市景东彝族自治县广东省云浮市新兴县赵县沙河店镇赵县沙河店镇山东省枣庄市台儿庄区云南省文山壮族苗族自治州广南县陕西省宝鸡市千阳县上海市市辖区嘉定区井陉县吴家窑乡黑龙江省大兴安岭地区呼玛县鹿泉区寺家庄镇崇左市宁明县桥西区留营街道甘肃省白银市景泰县陕西省汉中市西乡县西城区天桥街道元氏县苏村乡四川省宜宾市珙县延庆区康庄镇武清区上马台镇许昌市建安区吉林省长春市双阳区元氏县陕西省汉中市西乡县江西省宜春市宜丰县陕西省咸阳市兴平市平山县宅北乡马鞍山市博望区合肥市瑶海区南开区体育中心街道山东省泰安市东平县赞皇县院头镇长安区南村镇江苏省徐州市新沂市防城港市东兴市隆安县蓟州区东二营镇昌平区阳坊镇山西省晋都会高平市江苏省南通市启东市广东省广州市越秀区湖北省宜昌市西陵区密云区高岭镇静海区大邱庄镇黑龙江省佳木斯市汤原县昌平区延寿镇固原市西吉县丰台区宛平城地区北辰区陕西省宝鸡市千阳县江苏省徐州市新沂市崇左市山西省忻州市宁武县向阳区豆各庄地区贵州省六盘水市水城县博尔塔拉蒙古自治州温泉县昌平区延寿镇西藏拉萨市达孜区宝坻区牛家牌镇平顶山市湛河区河西区桃园街道山西省阳泉市平定县内蒙古兴安盟乌兰浩特市蓟州区东二营镇开封市通许县丰台区右安门街道四川省宜宾市珙县辽宁省沈阳市浑南区密云区高岭镇陕西省汉中市西乡县甘肃省兰州市井陉县测鱼镇福建省莆田市仙游县北辰区甘肃省庆阳市镇原县吉林省长春市双阳区平山县小觉镇西青区精武镇大兴区四川省宜宾市珙县

售后服务上门服务电话，，智能分配票据：蒸馏效果腾飞！DOPD破解「特权幻觉」，，让在线战略蒸馏更有用

得益于令人印象深刻的效果，，「在线战略蒸馏」 (On-policy Distillation)一直是近期的热门话题。。。。。这种方式通过使用麋集的西席 Token 级信号监视学生采样轨迹，，提供卓越的能力转移。。。。。为了提供高质量的监视源，，从而提升蒸馏的性能，，一个直观的偏向是将「特权信息」 (Privileged Information)注入西席或学生自身。。。。。然而，，这种 "开外挂" 的方式，，纷歧定能让学生学得更好，，反而可能陷入「特权幻觉」(Privilege Illustion)的陷阱。。。。。

论文问题: DOPD: Dual On-policy Distillation论文链接: https://arxiv.org/abs/2606.30626

最近，，来自新加坡国立大学、香港中文大学 MMLab、北京大学和京东探索研究院的研究团队提出了一种全新的在线战略蒸馏要领:DOPD(Dual On-policy Distillation) ，，通过优势感知的双重蒸馏范式，，乐成破解了这一难题。。。。。

实验效果令人惊艳：在 LLM 设置下，，DOPD 让学生模子平均提升7.5 分，，闭合了89.8%的初始师生差别；；在 VLM 设置下也提升了6.0分。。。。。在师生模子尺寸差别最大的情形下 (8B→0.6B) ，，DOPD 的提升幅度是 Vanilla OPD 的4 倍！

图一: DOPD 在基于 LLM 和 VLM 的在线战略蒸馏中的体现。。。。。

"特权幻觉": 在线战略蒸馏中的隐形陷阱

在大模子蒸馏中，，人们通常以为：给西席模子提供更多信息 (好比推理提醒、视觉标注等 "特权信息") ，，西席就能教得更好，，学生自然也能学得更好。。。。。

但这篇论文的作者们发明了一个反直觉的征象 「特权幻觉」 (Privilege Illusion)：

外貌上看，，有特权信息的西席模子体现更强，，但这种优势可能只是由于 "信息差池称"，，而非真正的能力差别。。。。。学生模子模拟的可能只是西席使用特权信息的 "捷径"，，而非真正可迁徙的能力。。。。。

就像一个开卷考试考满分的先生，，未必能教会闭卷考试的学生真正的解题能力。。。。。

更糟糕的是，，这种特权幻觉还会导致：熵崩塌，，模子过早收敛，，失去探索能力；；效果退化，，训练后期性能不升反降；；泛化变差，，学到的都是 "特权依赖" 的假能力

图二：加入特权信息后的体现和熵蒸馏转变趋势。。。。。T., S., Priv. 划分代表西席，，学生和加入特权信息。。。。。

DOPD: 特权优势感知的双重蒸馏

为相识决这个问题，，研究团队提出了 DOPD，，一种优势感知的双重蒸馏范式。。。。。

焦点头脑：不是所有 token 都值得用同样的方式学习。。。。。DOPD 会凭证每个 token 的特权优势差别和师生展望置信，，动态决议用什么方式、什么强度、监视信号来自那里来蒸馏。。。。。

首先，，划分对西席模子和学生模子在有特权信息的加入下，，举行一次前向盘算 (Forward Pass)，，盘算两者之差作为「特权优势差」 (Privilege Advantage Gap):

图三: Token 消融实验。。。。。

连系特权优势差，，以及特权师生分别的展望置信，，DOPD 在 Vanilla OPD 的基础上，，将所有 token 划分接纳四种全心设计的方式划分蒸馏:

图四: DOPD 框架。。。。。

高优势差 + 西席高置信 (要害知识 token)战略: 「西席蒸馏」+「全词表 JS 散度」目的：这是真正的能力差别所在，，必需用最强的监视

低优势差 + 双方高置信 (共识 token)战略: 「轻量西席蒸馏」+「Top-K 反向 KL」目的：主要是特权信息带来的共识，，守旧吸收即可

低优势差 + 双方低置信 (不确定 token)战略: 「弱自蒸馏」+「Top-K 反向 KL」目的：防止模子漂移，，不强行模拟不确定的内容

高优势差 + 学生高置信 (探索性 token)战略: 「轻量自蒸馏」+「Top-K 反向 KL」目的：；；ぱ奶剿餍形，，不被西席压制

焦点实验效果：优势显著

效果 1: 在线战略蒸馏效果提升显着，，适配大语言模子 (LLM) 和视觉语言模子 (VLM) 蒸馏

在 8 个基准测试上，，DOPD 平均得分 51.4，，比 Vanilla OPD 横跨 7.5 分，，缩小了 89.8% 的师生差别。。。。。并且与三类 OPD 范式中 9 种已有 SOTA 要领相比，，在所有基准上都取得了最好的体现。。。。。值得一提的是，，在部分推理和编码等挑战性使命上，，DOPD 甚至逾越了原始西席模子。。。。。这说明特权信息真正转化成了学生的能力，，而不是特权幻觉。。。。。

表一: DOPD 在 8 种 LLM-based 基准上与其他要领的比照

别的，，在视觉语言模子上，，DOPD 同样体现精彩：平均提升 6.0 分，，恢复了 69.2% 的师生差别。。。。。特殊是在视觉明确使命上，，DOPD 能有用蒸馏西席的视觉注重力和推理能力。。。。。

表二: DOPD 在 8 种 VLM-based 基准上与其他要领的比照

效果 2: 鲁棒性和可扩展性佳，，师生差别越大，，优势越显着

古板蒸馏要领有个通。。。。。合壬角俊⒀饺，，蒸馏效果反而越差。。。。。但 DOPD 完善解决了这个问题：能力差别越大，，DOPD 的优势越显着。。。。。为了证实 DOPD 在差别师生组合上的鲁棒性和在初始师生差别更大的组合下的蒸馏体现，，举行了特另外比照实验。。。。。令人印象深刻的是：当师生模子尺寸差别较小时 (4B→1.7B)，，DOPD 提升 6.2 分；；而当师生模子尺寸差别很大时 (8B→0.6B) ，，DOPD 提升 14.1 分，，是 Vanilla OPD 的 4 倍！

表三: DOPD 在差别模子组合下的体现

图五：在差别师生尺寸比下的绝对体现提升 (左) 和师生差别减小水平 (右)。。。。。

效果 3: 一连学习和漫衍外性能评估依旧优异

别的，，DOPD 的优势不止于此：在一连学习的三阶段蒸馏中，，DOPD 能更稳固地积累能力，，显著优于 Vanilla OPD 和古板的强化学习 GRPO 要领；；在漫衍外泛化使命中，，DOPD 在领域外使命中的泛化能力比第二名横跨 3-4 分。。。。。

图六：三阶段一连学习使命 (左) 和漫衍外使命 (右) 体现评估

特殊剖析：进一步验证合理性和有用性

剖析 1: 训练历程越发稳固且一连

稳固性是蒸馏要领的主要指标之一，，许多 OPD 要领虽然最终效果不错，，但蒸馏历程波动大，，容易崩。。。。。DOPD 在这方面体现优异：性能曲线平稳上升，，全程稳固提升，，没有大幅波动；；收敛速率快，，在第 80 步就抵达了其他要领第 200 步的水平；；熵转变康健，，先小幅上升 (探索)，，再逐渐下降 (收敛)，，最后稳固在合理水平。。。。。

图七：蒸馏历程体现 (左) 和熵 (右) 转变趋势

剖析 2: 关于特权信息、Token 分类、蒸馏范式的剖析，，进一步说明设计的合理性

关于差别特权信息效果剖析：不是袒露的谜底越多越彻底越好，，而是要恰到利益。。。。。研究团队测试了 5 种差别形式的特权信息。。。。。实验指出，，直接给最终谜底效果最差，，甚至不如不给特权信息，，由于学生直接背谜底了，，基础没学能力；；特权信息不是越详细越好，，而是要提供 "能力导向" 的指导；；最优的特权信息是：给出与能力挂钩的提醒，，但不直接给谜底和细节。。。。。这进一步验证了 "特权幻觉" 的保存，，也说明 DOPD 选择的特权信息形式是合理的。。。。。

表四：差别文本 (左) 和视觉 (右) 特权信息注入的影响

为了直观展示 token 分类的效果，，研究团队可视化了一条真实轨迹中的 token 漫衍，，这种漫衍与直觉完全一致，，也证实晰 DOPD 的 token 分类是有现实语义意义的，，不是随便分的。。。。。

图八: Token 分类效果可视化

别的，，研究团队还比照了差别类型 token 以及 token 组合的作用水平，，以及差别散度目的和蒸馏战略的效果。。。。。证实晰 DOPD 凭证差别 token 的特点和目的，，设计差别的蒸馏战略的合理性和有用性。。。。。

表五：差别 Token / 组合 (左) 和蒸馏战略 (右) 的体现

剖析 3: 敏感性和消融实验

敏感性剖析效果显示 DOPD 对参数不敏感，，在较大规模内都能坚持优异性能；；消融实验说明 DOPD 每个组件都有明确的孝顺，，合在一起才实现了最佳效果。。。。。

图六：敏感性 (左) 和消融实验 (右)

展望：在线战略蒸馏的新思绪

DOPD 重新思索了在线战略蒸馏的实质。。。。。站在今天的视角回望，，蒸馏手艺已经走过了很长的路：从最初简朴的概率模拟，，到在线战略蒸馏，，再到今天的优势感知双重蒸馏。。。。。每一次前进，，都让我们对 "怎样高效转达能力" 这个问题有了更深的明确。。。。。未来，，围绕这个思绪下的在线战略蒸馏可能尚有许多值得探索的偏向。。。。。

本月行业报告转达政策新希望蒸馏效果腾飞！DOPD破解「特权幻觉」，，让在线战略蒸馏更有用

得益于令人印象深刻的效果，，「在线战略蒸馏」 (On-policy Distillation)一直是近期的热门话题。。。。。这种方式通过使用麋集的西席 Token 级信号监视学生采样轨迹，，提供卓越的能力转移。。。。。为了提供高质量的监视源，，从而提升蒸馏的性能，，一个直观的偏向是将「特权信息」 (Privileged Information)注入西席或学生自身。。。。。然而，，这种 "开外挂" 的方式，，纷歧定能让学生学得更好，，反而可能陷入「特权幻觉」(Privilege Illustion)的陷阱。。。。。

论文问题: DOPD: Dual On-policy Distillation论文链接: https://arxiv.org/abs/2606.30626

最近，，来自新加坡国立大学、香港中文大学 MMLab、北京大学和京东探索研究院的研究团队提出了一种全新的在线战略蒸馏要领:DOPD(Dual On-policy Distillation) ，，通过优势感知的双重蒸馏范式，，乐成破解了这一难题。。。。。

实验效果令人惊艳：在 LLM 设置下，，DOPD 让学生模子平均提升7.5 分，，闭合了89.8%的初始师生差别；；在 VLM 设置下也提升了6.0分。。。。。在师生模子尺寸差别最大的情形下 (8B→0.6B) ，，DOPD 的提升幅度是 Vanilla OPD 的4 倍！

图一: DOPD 在基于 LLM 和 VLM 的在线战略蒸馏中的体现。。。。。

"特权幻觉": 在线战略蒸馏中的隐形陷阱

在大模子蒸馏中，，人们通常以为：给西席模子提供更多信息 (好比推理提醒、视觉标注等 "特权信息") ，，西席就能教得更好，，学生自然也能学得更好。。。。。

但这篇论文的作者们发明了一个反直觉的征象 「特权幻觉」 (Privilege Illusion)：

外貌上看，，有特权信息的西席模子体现更强，，但这种优势可能只是由于 "信息差池称"，，而非真正的能力差别。。。。。学生模子模拟的可能只是西席使用特权信息的 "捷径"，，而非真正可迁徙的能力。。。。。

就像一个开卷考试考满分的先生，，未必能教会闭卷考试的学生真正的解题能力。。。。。

更糟糕的是，，这种特权幻觉还会导致：熵崩塌，，模子过早收敛，，失去探索能力；；效果退化，，训练后期性能不升反降；；泛化变差，，学到的都是 "特权依赖" 的假能力

图二：加入特权信息后的体现和熵蒸馏转变趋势。。。。。T., S., Priv. 划分代表西席，，学生和加入特权信息。。。。。

DOPD: 特权优势感知的双重蒸馏

为相识决这个问题，，研究团队提出了 DOPD，，一种优势感知的双重蒸馏范式。。。。。

焦点头脑：不是所有 token 都值得用同样的方式学习。。。。。DOPD 会凭证每个 token 的特权优势差别和师生展望置信，，动态决议用什么方式、什么强度、监视信号来自那里来蒸馏。。。。。

首先，，划分对西席模子和学生模子在有特权信息的加入下，，举行一次前向盘算 (Forward Pass)，，盘算两者之差作为「特权优势差」 (Privilege Advantage Gap):

图三: Token 消融实验。。。。。

连系特权优势差，，以及特权师生分别的展望置信，，DOPD 在 Vanilla OPD 的基础上，，将所有 token 划分接纳四种全心设计的方式划分蒸馏:

图四: DOPD 框架。。。。。

高优势差 + 西席高置信 (要害知识 token)战略: 「西席蒸馏」+「全词表 JS 散度」目的：这是真正的能力差别所在，，必需用最强的监视

低优势差 + 双方高置信 (共识 token)战略: 「轻量西席蒸馏」+「Top-K 反向 KL」目的：主要是特权信息带来的共识，，守旧吸收即可

低优势差 + 双方低置信 (不确定 token)战略: 「弱自蒸馏」+「Top-K 反向 KL」目的：防止模子漂移，，不强行模拟不确定的内容

高优势差 + 学生高置信 (探索性 token)战略: 「轻量自蒸馏」+「Top-K 反向 KL」目的：；；ぱ奶剿餍形，，不被西席压制

焦点实验效果：优势显著

效果 1: 在线战略蒸馏效果提升显着，，适配大语言模子 (LLM) 和视觉语言模子 (VLM) 蒸馏

在 8 个基准测试上，，DOPD 平均得分 51.4，，比 Vanilla OPD 横跨 7.5 分，，缩小了 89.8% 的师生差别。。。。。并且与三类 OPD 范式中 9 种已有 SOTA 要领相比，，在所有基准上都取得了最好的体现。。。。。值得一提的是，，在部分推理和编码等挑战性使命上，，DOPD 甚至逾越了原始西席模子。。。。。这说明特权信息真正转化成了学生的能力，，而不是特权幻觉。。。。。

表一: DOPD 在 8 种 LLM-based 基准上与其他要领的比照

别的，，在视觉语言模子上，，DOPD 同样体现精彩：平均提升 6.0 分，，恢复了 69.2% 的师生差别。。。。。特殊是在视觉明确使命上，，DOPD 能有用蒸馏西席的视觉注重力和推理能力。。。。。

表二: DOPD 在 8 种 VLM-based 基准上与其他要领的比照

效果 2: 鲁棒性和可扩展性佳，，师生差别越大，，优势越显着

古板蒸馏要领有个通。。。。。合壬角俊⒀饺，，蒸馏效果反而越差。。。。。但 DOPD 完善解决了这个问题：能力差别越大，，DOPD 的优势越显着。。。。。为了证实 DOPD 在差别师生组合上的鲁棒性和在初始师生差别更大的组合下的蒸馏体现，，举行了特另外比照实验。。。。。令人印象深刻的是：当师生模子尺寸差别较小时 (4B→1.7B)，，DOPD 提升 6.2 分；；而当师生模子尺寸差别很大时 (8B→0.6B) ，，DOPD 提升 14.1 分，，是 Vanilla OPD 的 4 倍！

表三: DOPD 在差别模子组合下的体现

图五：在差别师生尺寸比下的绝对体现提升 (左) 和师生差别减小水平 (右)。。。。。

效果 3: 一连学习和漫衍外性能评估依旧优异

别的，，DOPD 的优势不止于此：在一连学习的三阶段蒸馏中，，DOPD 能更稳固地积累能力，，显著优于 Vanilla OPD 和古板的强化学习 GRPO 要领；；在漫衍外泛化使命中，，DOPD 在领域外使命中的泛化能力比第二名横跨 3-4 分。。。。。

图六：三阶段一连学习使命 (左) 和漫衍外使命 (右) 体现评估

特殊剖析：进一步验证合理性和有用性

剖析 1: 训练历程越发稳固且一连

稳固性是蒸馏要领的主要指标之一，，许多 OPD 要领虽然最终效果不错，，但蒸馏历程波动大，，容易崩。。。。。DOPD 在这方面体现优异：性能曲线平稳上升，，全程稳固提升，，没有大幅波动；；收敛速率快，，在第 80 步就抵达了其他要领第 200 步的水平；；熵转变康健，，先小幅上升 (探索)，，再逐渐下降 (收敛)，，最后稳固在合理水平。。。。。

图七：蒸馏历程体现 (左) 和熵 (右) 转变趋势

剖析 2: 关于特权信息、Token 分类、蒸馏范式的剖析，，进一步说明设计的合理性

关于差别特权信息效果剖析：不是袒露的谜底越多越彻底越好，，而是要恰到利益。。。。。研究团队测试了 5 种差别形式的特权信息。。。。。实验指出，，直接给最终谜底效果最差，，甚至不如不给特权信息，，由于学生直接背谜底了，，基础没学能力；；特权信息不是越详细越好，，而是要提供 "能力导向" 的指导；；最优的特权信息是：给出与能力挂钩的提醒，，但不直接给谜底和细节。。。。。这进一步验证了 "特权幻觉" 的保存，，也说明 DOPD 选择的特权信息形式是合理的。。。。。

表四：差别文本 (左) 和视觉 (右) 特权信息注入的影响

为了直观展示 token 分类的效果，，研究团队可视化了一条真实轨迹中的 token 漫衍，，这种漫衍与直觉完全一致，，也证实晰 DOPD 的 token 分类是有现实语义意义的，，不是随便分的。。。。。

图八: Token 分类效果可视化

别的，，研究团队还比照了差别类型 token 以及 token 组合的作用水平，，以及差别散度目的和蒸馏战略的效果。。。。。证实晰 DOPD 凭证差别 token 的特点和目的，，设计差别的蒸馏战略的合理性和有用性。。。。。

表五：差别 Token / 组合 (左) 和蒸馏战略 (右) 的体现

剖析 3: 敏感性和消融实验

敏感性剖析效果显示 DOPD 对参数不敏感，，在较大规模内都能坚持优异性能；；消融实验说明 DOPD 每个组件都有明确的孝顺，，合在一起才实现了最佳效果。。。。。

图六：敏感性 (左) 和消融实验 (右)

展望：在线战略蒸馏的新思绪

DOPD 重新思索了在线战略蒸馏的实质。。。。。站在今天的视角回望，，蒸馏手艺已经走过了很长的路：从最初简朴的概率模拟，，到在线战略蒸馏，，再到今天的优势感知双重蒸馏。。。。。每一次前进，，都让我们对 "怎样高效转达能力" 这个问题有了更深的明确。。。。。未来，，围绕这个思绪下的在线战略蒸馏可能尚有许多值得探索的偏向。。。。。

黄心宇：今年也会越发强调支持真立异，，要支持具有临床价值的立异，，尚有差别化的立异。。。。。7到8月份我们会组织对所有申报的品种逐一举行评审。。。。。

凯时AG

卢卡库4场天下杯替补进场破门