克日行业报告转达新动态航天员回地球后最想洗头 很兴奋为您解答这个问题，
，，让我来帮您详细说明一下。
。。。。。品牌授权报修电话，
，，快速上门服务

西青区精武镇山西省临汾市安泽县隆安县北海市海城区密云区古北口镇焦作市中站区昌平区延寿镇平山县岗南镇海南省三沙市西沙区甘肃省陇南市合肥市瑶海区山西省临汾市安泽县河西区桃园街道山东省聊都会茌平区吉林省四平市铁西区向阳区管庄地区江西省宜春市奉新县甘肃省陇南市武都区怀柔区宝山镇山东省淄博市临淄区南阳市内乡县淮南市大通区武清区汊沽港镇贵州省安顺市普定县河东区大直沽街道广东省江门市桥西区留营街道四川省德阳市广汉市广东省江门市广东省佛山市三水区青海省海西蒙古族藏族自治州德令哈市云南省红河哈尼族彝族自治州泸西县陕西省汉中市留坝县鹿泉区白鹿泉乡鹿泉区白鹿泉乡海南省？？？？谑忻览记角亓劢值澜棺魇星哐羰懈仕嗍±贾菔泄笾菔“菜呈衅斩ㄏ亟帐×聘凼懈佑芮轿魇÷懒菏兄醒粝厮拇ㄊ「首尾刈遄灾沃菅忧烨蚣矣蛭诼衬酒胧猩骋腊涂饲魇【沤形淠县山东省泰安市东平县四川省成都会新都区内蒙古兴安盟乌兰浩特市南开区长虹街道北海市海城区黑龙江省鹤岗市辽宁省向阳市北票市海南省儋州市平山县宅北乡湖北省宜昌市秭归县山东省泰安市东平县濮阳市南乐县云南省普洱市景东彝族自治县广东省佛山市三水区南阳市内乡县延庆区沈家营镇江西省萍乡市上栗县山东省烟台市牟平区长安区南村镇向阳区豆各庄地区江西省吉安市吉安县广东省惠州市龙门县巴音郭楞蒙古自治州和硕县江苏省南京市浦口区哈密市伊吾县无极县大陈镇云南省文山壮族苗族自治州广南县淮南市大通区海南省？？？？谑忻览记愣≡聘∈行滦讼匕偕芯肝魇懈仕嗍“滓芯疤┫馗＝ㄊ∠妹攀泻里区黑龙江省大兴安岭地区呼玛县四川省广安市岳池县湖北省恩施土家族苗族自治州恩施市大兴区山东省泰安市泰山区辽宁省沈阳市重庆市县巫山县黑龙江省佳木斯市汤原县密云区高岭镇平山县小觉镇江苏省南京市浦口区密云区高岭镇蓟州区官庄镇辽宁省大连市旅顺口区山西省忻州市定襄县广东省珠海市斗门区静海区西翟庄镇崇左市濮阳市南乐县密云区河南寨镇怀柔区雁栖地区

昨日行业协会转达行业新动态蒸馏效果腾飞！DOPD破解「特权幻觉」，
，，让在线战略蒸馏更有用，
，，很兴奋为您解答这个问题，
，，让我来帮您详细说明一下:官方服务专线，
，，支持多品牌报修

蓟州区东施古镇银川市贺兰县崇左市怀柔区龙山街道平顶山市湛河区元氏县苏村乡福建省漳州市龙海市四川省成都会新都区山西省阳泉市平定县江苏省徐州市丰县山东省泰安市泰山区福建省厦门市湖里区广东省珠海市斗门区广东省广州市越秀区广东省江门市四川省成都会金牛区四川省乐山市陕西省商洛市山阳县重庆市县巫山县四川省宜宾市珙县陕西省汉中市南郑区湖北省孝感市汉川市江西省景德镇市昌江区四川省成都会新都区福建省莆田市城厢区四川省甘孜藏族自治州山东省潍坊市青州市焦作市中站区陕西省咸阳市兴平市江西省萍乡市上栗县辽宁省铁岭市清河区内蒙古锡林郭勒盟正镶白旗山东省滨州市山西省吕梁市岚县平山县宅北乡福建省莆田市仙游县蚌埠市蚌山区焦作市中站区甘肃省白银市景泰县辽宁省辽阳市白塔区宝坻区牛家牌镇辽宁省向阳市北票市江苏省连云港市赣榆区隆安县密云区高岭镇江西省萍乡市上栗县上海市市辖区嘉定区山东省淄博市临淄区贵州省六盘水市水城县云南省玉溪市新平彝族傣族自治县贵州省铜仁市印江土家族苗族自治县合肥市庐阳区塔城地区和布克赛尔蒙古自治县山东省滨州市甘肃省陇南市平山县小觉镇福建省厦门市湖里区江西省鹰潭市余江区四川省广安市岳池县青海省海北藏族自治州门源回族自治县四川省广元市湖北省襄阳市襄州区福建省福州市罗源县蓟州区东二营镇辽宁省沈阳市沈河区密云区高岭镇开封市通许县内蒙古锡林郭勒盟正镶白旗云南省红河哈尼族彝族自治州绿春县湖北省襄阳市襄州区四川省凉山彝族自治州西昌市静海区西翟庄镇淮南市大通区西藏拉萨市达孜区海南省三沙市西沙区昌平区延寿镇江西省九江市武宁县辽宁省铁岭市开原市黑龙江省佳木斯市富锦市桥西区东华街道辽宁省铁岭市开原市山东省潍坊市青州市百色市田林县西藏山南市向阳区小关街道密云区高岭镇哈密市伊吾县福建省福州市永泰县辽宁省铁岭市清河区喀什地区叶城县重庆市县巫山县湖北省宜昌市秭归县江苏省南通市启东市昌平区延寿镇上海市市辖区嘉定区行唐县龙州镇河东区大直沽街道江西省九江市武宁县青海省海南藏族自治州贵德县辽宁省辽阳市白塔区

全球服务区域:山东省德州市齐河县和田地区重庆市市辖区北碚区广东省惠州市龙门县昌平区延寿镇江西省赣州市石城县甘肃省兰州市江西省景德镇市昌江区山西省阳泉市平定县西藏山南市贡嘎县昌平区延寿镇广东省惠州市龙门县辽宁省铁岭市清河区广东省珠海市斗门区陕西省西安市未央区信阳市平桥区西城区月坛街道山西省吕梁市岚县银川市贺兰县许昌市建安区四川省德阳市广汉市黑龙江省佳木斯市富锦市喀什地区叶城县内蒙古鄂尔多斯市康巴什区辽宁省锦州市义县平山县宅北乡海淀区青龙桥街道昌平区延寿镇伊犁哈萨克自治州昭苏县蚌埠市龙子湖区广东省广州市越秀区焦作市中站区北海市海城区湖北省恩施土家族苗族自治州建始县密云区河南寨镇江苏省连云港市赣榆区阿克苏地区新和县蚌埠市蚌山区江西省宜春市宜丰县黑龙江省哈尔滨市巴彦县黑龙江省伊春市金林区山西省忻州市定襄县四川省宜宾市翠屏区行唐县龙州镇乌鲁木齐市沙依巴克区怀柔区雁栖地区吉林省长春市双阳区内蒙古锡林郭勒盟镶黄旗山东省烟台市龙口市山东省烟台市龙口市江西省吉安市永新县青海省海北藏族自治州门源回族自治县山西省临汾市安泽县合肥市瑶海区向阳区双井街道四川省德阳市广汉市西城区月坛街道甘肃省兰州市福建省三明市梅列区桥西区苑东街道陕西省汉中市南郑区信阳市平桥区贵州省铜仁市玉屏侗族自治县广东省江门市武清区汊沽港镇山西省晋中市太谷区河东区大直沽街道延庆区康庄镇福建省厦门市湖里区吉林省四平市铁西区塔城地区和布克赛尔蒙古自治县平山县东回舍镇广东省广州市越秀区辽宁省向阳市北票市蓟州区东施古镇黑龙江省绥化市明水县内蒙古呼伦贝尔市阿荣旗贵州省黔东南苗族侗族自治州天柱县向阳区小关街道重庆市市辖区北碚区湖北省孝感市汉川市山东省潍坊市青州市江苏省徐州市新沂市向阳区豆各庄地区赵县沙河店镇云南省玉溪市新平彝族傣族自治县湖北省宜昌市宜都会昌平区阳坊镇辽宁省辽阳市白塔区黑龙江省绥化市明水县山东省泰安市泰山区昌平区回龙观街道甘肃省甘南藏族自治州密云区高岭镇河东区东新街道钦州市广东省汕头市龙湖区丰台区长辛店镇平顶山市卫东区怀柔区宝山镇

今日行业报告转达主要政策转变蒸馏效果腾飞！DOPD破解「特权幻觉」，
，，让在线战略蒸馏更有用，
，，很兴奋为您解答这个问题，
，，让我来帮您详细说明一下:售后服务维修中心电话，
，，支持多渠道服务

天下服务区域：山东省烟台市牟平区广东省广州市越秀区昌平区阳坊镇四川省宜宾市珙县江苏省徐州市丰县四川省凉山彝族自治州昭觉县青海省海南藏族自治州贵德县海南省三沙市西沙区四川省宜宾市翠屏区武清区上马台镇江西省吉安市永新县怀柔区宝山镇赵县沙河店镇赵县沙河店镇喀什地区叶城县百色市靖西市四川省凉山彝族自治州甘洛县山东省泰安市泰山区云南省丽江市宁蒗彝族自治县贵州省黔南布依族苗族自治州惠水县崇左市宁明县山东省泰安市东平县广东省深圳市甘肃省白银市景泰县合肥市庐阳区贵州省安顺市普定县湖北省襄阳市襄州区北海市海城区福建省莆田市城厢区山东省聊都会冠县江西省吉安市吉安县云南省红河哈尼族彝族自治州绿春县吉林省长春市双阳区四川省德阳市广汉市武清区汊沽港镇云南省丽江市宁蒗彝族自治县桂林市兴安县河西区桃园街道丰台区右安门街道丰台区宛平城地区密云区古北口镇吉林省长春市双阳区广东省广州市越秀区青海省果洛藏族自治州固原市西吉县辽宁省向阳市北票市江苏省徐州市新沂市百色市靖西市丰台区右安门街道辽宁省大连市旅顺口区福建省莆田市仙游县内蒙古锡林郭勒盟镶黄旗四川省甘孜藏族自治州泸定县广东省汕头市龙湖区甘肃省白银市景泰县江西省宜春市宜丰县湖北省恩施土家族苗族自治州恩施市山西省吕梁市中阳县塔城地区和布克赛尔蒙古自治县怀柔区雁栖地区内蒙古乌海市乌达区海淀区青龙桥街道四川省遂宁市蓬溪县陕西省咸阳市兴平市北辰区广源街道昌平区延寿镇洛阳市汝阳县云南省西双版纳傣族自治州勐腊县黑龙江省大兴安岭地区呼玛县怀柔区宝山镇向阳区小红门地区丰台区宛平城地区陕西省宝鸡市眉县黑龙江省大兴安岭地区呼玛县甘肃省甘南藏族自治州丰台区右安门街道伊犁哈萨克自治州昭苏县向阳区双井街道山西省吕梁市岚县山西省忻州市定襄县赵县沙河店镇云南省西双版纳傣族自治州勐腊县四川省宜宾市翠屏区昌平区延寿镇蓟州区东施古镇江苏省镇江市句容市西城区天桥街道山东省烟台市龙口市湖北省恩施土家族苗族自治州恩施市开封市通许县内蒙古鄂尔多斯市康巴什区昌平区阳坊镇四川省甘孜藏族自治州泸定县密云区高岭镇江苏省苏州市相城区蓟州区东赵各庄镇四川省凉山彝族自治州昭觉县广东省惠州市龙门县贵州省安顺市普定县崇左市

售后服务上门服务电话，
，，智能分配票据：蒸馏效果腾飞！DOPD破解「特权幻觉」，
，，让在线战略蒸馏更有用

得益于令人印象深刻的效果，
，，「在线战略蒸馏」 (On-policy Distillation)一直是近期的热门话题。
。。。。。这种方式通过使用麋集的西席 Token 级信号监视学生采样轨迹，
，，提供卓越的能力转移。
。。。。。为了提供高质量的监视源，
，，从而提升蒸馏的性能，
，，一个直观的偏向是将「特权信息」 (Privileged Information)注入西席或学生自身。
。。。。。然而，
，，这种 "开外挂" 的方式，
，，纷歧定能让学生学得更好，
，，反而可能陷入「特权幻觉」(Privilege Illustion)的陷阱。
。。。。。

论文问题: DOPD: Dual On-policy Distillation论文链接: https://arxiv.org/abs/2606.30626

最近，
，，来自新加坡国立大学、香港中文大学 MMLab、北京大学和京东探索研究院的研究团队提出了一种全新的在线战略蒸馏要领:DOPD(Dual On-policy Distillation) ，
，，通过优势感知的双重蒸馏范式，
，，乐成破解了这一难题。
。。。。。

实验效果令人惊艳：在 LLM 设置下，
，，DOPD 让学生模子平均提升7.5 分，
，，闭合了89.8%的初始师生差别；；；；；；在 VLM 设置下也提升了6.0分。
。。。。。在师生模子尺寸差别最大的情形下 (8B→0.6B) ，
，，DOPD 的提升幅度是 Vanilla OPD 的4 倍！

图一: DOPD 在基于 LLM 和 VLM 的在线战略蒸馏中的体现。
。。。。。

"特权幻觉": 在线战略蒸馏中的隐形陷阱

在大模子蒸馏中，
，，人们通常以为：给西席模子提供更多信息 (好比推理提醒、视觉标注等 "特权信息") ，
，，西席就能教得更好，
，，学生自然也能学得更好。
。。。。。

但这篇论文的作者们发明了一个反直觉的征象 「特权幻觉」 (Privilege Illusion)：

外貌上看，
，，有特权信息的西席模子体现更强，
，，但这种优势可能只是由于 "信息差池称"，
，，而非真正的能力差别。
。。。。。学生模子模拟的可能只是西席使用特权信息的 "捷径"，
，，而非真正可迁徙的能力。
。。。。。

就像一个开卷考试考满分的先生，
，，未必能教会闭卷考试的学生真正的解题能力。
。。。。。

更糟糕的是，
，，这种特权幻觉还会导致：熵崩塌，
，，模子过早收敛，
，，失去探索能力；；；；；；效果退化，
，，训练后期性能不升反降；；；；；；泛化变差，
，，学到的都是 "特权依赖" 的假能力

图二：加入特权信息后的体现和熵蒸馏转变趋势。
。。。。。T., S., Priv. 划分代表西席，
，，学生和加入特权信息。
。。。。。

DOPD: 特权优势感知的双重蒸馏

为相识决这个问题，
，，研究团队提出了 DOPD，
，，一种优势感知的双重蒸馏范式。
。。。。。

焦点头脑：不是所有 token 都值得用同样的方式学习。
。。。。。DOPD 会凭证每个 token 的特权优势差别和师生展望置信，
，，动态决议用什么方式、什么强度、监视信号来自那里来蒸馏。
。。。。。

首先，
，，划分对西席模子和学生模子在有特权信息的加入下，
，，举行一次前向盘算 (Forward Pass)，
，，盘算两者之差作为「特权优势差」 (Privilege Advantage Gap):

图三: Token 消融实验。
。。。。。

连系特权优势差，
，，以及特权师生分别的展望置信，
，，DOPD 在 Vanilla OPD 的基础上，
，，将所有 token 划分接纳四种全心设计的方式划分蒸馏:

图四: DOPD 框架。
。。。。。

高优势差 + 西席高置信 (要害知识 token)战略: 「西席蒸馏」+「全词表 JS 散度」目的：这是真正的能力差别所在，
，，必需用最强的监视

低优势差 + 双方高置信 (共识 token)战略: 「轻量西席蒸馏」+「Top-K 反向 KL」目的：主要是特权信息带来的共识，
，，守旧吸收即可

低优势差 + 双方低置信 (不确定 token)战略: 「弱自蒸馏」+「Top-K 反向 KL」目的：防止模子漂移，
，，不强行模拟不确定的内容

高优势差 + 学生高置信 (探索性 token)战略: 「轻量自蒸馏」+「Top-K 反向 KL」目的：保；；；；；ぱ奶剿餍形，
，，不被西席压制

焦点实验效果：优势显著

效果 1: 在线战略蒸馏效果提升显着，
，，适配大语言模子 (LLM) 和视觉语言模子 (VLM) 蒸馏

在 8 个基准测试上，
，，DOPD 平均得分 51.4，
，，比 Vanilla OPD 横跨 7.5 分，
，，缩小了 89.8% 的师生差别。
。。。。。并且与三类 OPD 范式中 9 种已有 SOTA 要领相比，
，，在所有基准上都取得了最好的体现。
。。。。。值得一提的是，
，，在部分推理和编码等挑战性使命上，
，，DOPD 甚至逾越了原始西席模子。
。。。。。这说明特权信息真正转化成了学生的能力，
，，而不是特权幻觉。
。。。。。

表一: DOPD 在 8 种 LLM-based 基准上与其他要领的比照

别的，
，，在视觉语言模子上，
，，DOPD 同样体现精彩：平均提升 6.0 分，
，，恢复了 69.2% 的师生差别。
。。。。。特殊是在视觉明确使命上，
，，DOPD 能有用蒸馏西席的视觉注重力和推理能力。
。。。。。

表二: DOPD 在 8 种 VLM-based 基准上与其他要领的比照

效果 2: 鲁棒性和可扩展性佳，
，，师生差别越大，
，，优势越显着

古板蒸馏要领有个通。
。。。。。合壬角俊⒀饺，
，，蒸馏效果反而越差。
。。。。。但 DOPD 完善解决了这个问题：能力差别越大，
，，DOPD 的优势越显着。
。。。。。为了证实 DOPD 在差别师生组合上的鲁棒性和在初始师生差别更大的组合下的蒸馏体现，
，，举行了特另外比照实验。
。。。。。令人印象深刻的是：当师生模子尺寸差别较小时 (4B→1.7B)，
，，DOPD 提升 6.2 分；；；；；；而当师生模子尺寸差别很大时 (8B→0.6B) ，
，，DOPD 提升 14.1 分，
，，是 Vanilla OPD 的 4 倍！

表三: DOPD 在差别模子组合下的体现

图五：在差别师生尺寸比下的绝对体现提升 (左) 和师生差别减小水平 (右)。
。。。。。

效果 3: 一连学习和漫衍外性能评估依旧优异

别的，
，，DOPD 的优势不止于此：在一连学习的三阶段蒸馏中，
，，DOPD 能更稳固地积累能力，
，，显著优于 Vanilla OPD 和古板的强化学习 GRPO 要领；；；；；；在漫衍外泛化使命中，
，，DOPD 在领域外使命中的泛化能力比第二名横跨 3-4 分。
。。。。。

图六：三阶段一连学习使命 (左) 和漫衍外使命 (右) 体现评估

特殊剖析：进一步验证合理性和有用性

剖析 1: 训练历程越发稳固且一连

稳固性是蒸馏要领的主要指标之一，
，，许多 OPD 要领虽然最终效果不错，
，，但蒸馏历程波动大，
，，容易崩。
。。。。。DOPD 在这方面体现优异：性能曲线平稳上升，
，，全程稳固提升，
，，没有大幅波动；；；；；；收敛速率快，
，，在第 80 步就抵达了其他要领第 200 步的水平；；；；；；熵转变康健，
，，先小幅上升 (探索)，
，，再逐渐下降 (收敛)，
，，最后稳固在合理水平。
。。。。。

图七：蒸馏历程体现 (左) 和熵 (右) 转变趋势

剖析 2: 关于特权信息、Token 分类、蒸馏范式的剖析，
，，进一步说明设计的合理性

关于差别特权信息效果剖析：不是袒露的谜底越多越彻底越好，
，，而是要恰到利益。
。。。。。研究团队测试了 5 种差别形式的特权信息。
。。。。。实验指出，
，，直接给最终谜底效果最差，
，，甚至不如不给特权信息，
，，由于学生直接背谜底了，
，，基础没学能力；；；；；；特权信息不是越详细越好，
，，而是要提供 "能力导向" 的指导；；；；；；最优的特权信息是：给出与能力挂钩的提醒，
，，但不直接给谜底和细节。
。。。。。这进一步验证了 "特权幻觉" 的保存，
，，也说明 DOPD 选择的特权信息形式是合理的。
。。。。。

表四：差别文本 (左) 和视觉 (右) 特权信息注入的影响

为了直观展示 token 分类的效果，
，，研究团队可视化了一条真实轨迹中的 token 漫衍，
，，这种漫衍与直觉完全一致，
，，也证实晰 DOPD 的 token 分类是有现实语义意义的，
，，不是随便分的。
。。。。。

图八: Token 分类效果可视化

别的，
，，研究团队还比照了差别类型 token 以及 token 组合的作用水平，
，，以及差别散度目的和蒸馏战略的效果。
。。。。。证实晰 DOPD 凭证差别 token 的特点和目的，
，，设计差别的蒸馏战略的合理性和有用性。
。。。。。

表五：差别 Token / 组合 (左) 和蒸馏战略 (右) 的体现

剖析 3: 敏感性和消融实验

敏感性剖析效果显示 DOPD 对参数不敏感，
，，在较大规模内都能坚持优异性能；；；；；；消融实验说明 DOPD 每个组件都有明确的孝顺，
，，合在一起才实现了最佳效果。
。。。。。

图六：敏感性 (左) 和消融实验 (右)

展望：在线战略蒸馏的新思绪

DOPD 重新思索了在线战略蒸馏的实质。
。。。。。站在今天的视角回望，
，，蒸馏手艺已经走过了很长的路：从最初简朴的概率模拟，
，，到在线战略蒸馏，
，，再到今天的优势感知双重蒸馏。
。。。。。每一次前进，
，，都让我们对 "怎样高效转达能力" 这个问题有了更深的明确。
。。。。。未来，
，，围绕这个思绪下的在线战略蒸馏可能尚有许多值得探索的偏向。
。。。。。

今日行业协会宣布主要转达蒸馏效果腾飞！DOPD破解「特权幻觉」，
，，让在线战略蒸馏更有用

得益于令人印象深刻的效果，
，，「在线战略蒸馏」 (On-policy Distillation)一直是近期的热门话题。
。。。。。这种方式通过使用麋集的西席 Token 级信号监视学生采样轨迹，
，，提供卓越的能力转移。
。。。。。为了提供高质量的监视源，
，，从而提升蒸馏的性能，
，，一个直观的偏向是将「特权信息」 (Privileged Information)注入西席或学生自身。
。。。。。然而，
，，这种 "开外挂" 的方式，
，，纷歧定能让学生学得更好，
，，反而可能陷入「特权幻觉」(Privilege Illustion)的陷阱。
。。。。。

论文问题: DOPD: Dual On-policy Distillation论文链接: https://arxiv.org/abs/2606.30626

最近，
，，来自新加坡国立大学、香港中文大学 MMLab、北京大学和京东探索研究院的研究团队提出了一种全新的在线战略蒸馏要领:DOPD(Dual On-policy Distillation) ，
，，通过优势感知的双重蒸馏范式，
，，乐成破解了这一难题。
。。。。。

实验效果令人惊艳：在 LLM 设置下，
，，DOPD 让学生模子平均提升7.5 分，
，，闭合了89.8%的初始师生差别；；；；；；在 VLM 设置下也提升了6.0分。
。。。。。在师生模子尺寸差别最大的情形下 (8B→0.6B) ，
，，DOPD 的提升幅度是 Vanilla OPD 的4 倍！

图一: DOPD 在基于 LLM 和 VLM 的在线战略蒸馏中的体现。
。。。。。

"特权幻觉": 在线战略蒸馏中的隐形陷阱

在大模子蒸馏中，
，，人们通常以为：给西席模子提供更多信息 (好比推理提醒、视觉标注等 "特权信息") ，
，，西席就能教得更好，
，，学生自然也能学得更好。
。。。。。

但这篇论文的作者们发明了一个反直觉的征象 「特权幻觉」 (Privilege Illusion)：

外貌上看，
，，有特权信息的西席模子体现更强，
，，但这种优势可能只是由于 "信息差池称"，
，，而非真正的能力差别。
。。。。。学生模子模拟的可能只是西席使用特权信息的 "捷径"，
，，而非真正可迁徙的能力。
。。。。。

就像一个开卷考试考满分的先生，
，，未必能教会闭卷考试的学生真正的解题能力。
。。。。。

更糟糕的是，
，，这种特权幻觉还会导致：熵崩塌，
，，模子过早收敛，
，，失去探索能力；；；；；；效果退化，
，，训练后期性能不升反降；；；；；；泛化变差，
，，学到的都是 "特权依赖" 的假能力

图二：加入特权信息后的体现和熵蒸馏转变趋势。
。。。。。T., S., Priv. 划分代表西席，
，，学生和加入特权信息。
。。。。。

DOPD: 特权优势感知的双重蒸馏

为相识决这个问题，
，，研究团队提出了 DOPD，
，，一种优势感知的双重蒸馏范式。
。。。。。

焦点头脑：不是所有 token 都值得用同样的方式学习。
。。。。。DOPD 会凭证每个 token 的特权优势差别和师生展望置信，
，，动态决议用什么方式、什么强度、监视信号来自那里来蒸馏。
。。。。。

首先，
，，划分对西席模子和学生模子在有特权信息的加入下，
，，举行一次前向盘算 (Forward Pass)，
，，盘算两者之差作为「特权优势差」 (Privilege Advantage Gap):

图三: Token 消融实验。
。。。。。

连系特权优势差，
，，以及特权师生分别的展望置信，
，，DOPD 在 Vanilla OPD 的基础上，
，，将所有 token 划分接纳四种全心设计的方式划分蒸馏:

图四: DOPD 框架。
。。。。。

高优势差 + 西席高置信 (要害知识 token)战略: 「西席蒸馏」+「全词表 JS 散度」目的：这是真正的能力差别所在，
，，必需用最强的监视

低优势差 + 双方高置信 (共识 token)战略: 「轻量西席蒸馏」+「Top-K 反向 KL」目的：主要是特权信息带来的共识，
，，守旧吸收即可

低优势差 + 双方低置信 (不确定 token)战略: 「弱自蒸馏」+「Top-K 反向 KL」目的：防止模子漂移，
，，不强行模拟不确定的内容

高优势差 + 学生高置信 (探索性 token)战略: 「轻量自蒸馏」+「Top-K 反向 KL」目的：保；；；；；ぱ奶剿餍形，
，，不被西席压制

焦点实验效果：优势显著

效果 1: 在线战略蒸馏效果提升显着，
，，适配大语言模子 (LLM) 和视觉语言模子 (VLM) 蒸馏

在 8 个基准测试上，
，，DOPD 平均得分 51.4，
，，比 Vanilla OPD 横跨 7.5 分，
，，缩小了 89.8% 的师生差别。
。。。。。并且与三类 OPD 范式中 9 种已有 SOTA 要领相比，
，，在所有基准上都取得了最好的体现。
。。。。。值得一提的是，
，，在部分推理和编码等挑战性使命上，
，，DOPD 甚至逾越了原始西席模子。
。。。。。这说明特权信息真正转化成了学生的能力，
，，而不是特权幻觉。
。。。。。

表一: DOPD 在 8 种 LLM-based 基准上与其他要领的比照

别的，
，，在视觉语言模子上，
，，DOPD 同样体现精彩：平均提升 6.0 分，
，，恢复了 69.2% 的师生差别。
。。。。。特殊是在视觉明确使命上，
，，DOPD 能有用蒸馏西席的视觉注重力和推理能力。
。。。。。

表二: DOPD 在 8 种 VLM-based 基准上与其他要领的比照

效果 2: 鲁棒性和可扩展性佳，
，，师生差别越大，
，，优势越显着

古板蒸馏要领有个通。
。。。。。合壬角俊⒀饺，
，，蒸馏效果反而越差。
。。。。。但 DOPD 完善解决了这个问题：能力差别越大，
，，DOPD 的优势越显着。
。。。。。为了证实 DOPD 在差别师生组合上的鲁棒性和在初始师生差别更大的组合下的蒸馏体现，
，，举行了特另外比照实验。
。。。。。令人印象深刻的是：当师生模子尺寸差别较小时 (4B→1.7B)，
，，DOPD 提升 6.2 分；；；；；；而当师生模子尺寸差别很大时 (8B→0.6B) ，
，，DOPD 提升 14.1 分，
，，是 Vanilla OPD 的 4 倍！

表三: DOPD 在差别模子组合下的体现

图五：在差别师生尺寸比下的绝对体现提升 (左) 和师生差别减小水平 (右)。
。。。。。

效果 3: 一连学习和漫衍外性能评估依旧优异

别的，
，，DOPD 的优势不止于此：在一连学习的三阶段蒸馏中，
，，DOPD 能更稳固地积累能力，
，，显著优于 Vanilla OPD 和古板的强化学习 GRPO 要领；；；；；；在漫衍外泛化使命中，
，，DOPD 在领域外使命中的泛化能力比第二名横跨 3-4 分。
。。。。。

图六：三阶段一连学习使命 (左) 和漫衍外使命 (右) 体现评估

特殊剖析：进一步验证合理性和有用性

剖析 1: 训练历程越发稳固且一连

稳固性是蒸馏要领的主要指标之一，
，，许多 OPD 要领虽然最终效果不错，
，，但蒸馏历程波动大，
，，容易崩。
。。。。。DOPD 在这方面体现优异：性能曲线平稳上升，
，，全程稳固提升，
，，没有大幅波动；；；；；；收敛速率快，
，，在第 80 步就抵达了其他要领第 200 步的水平；；；；；；熵转变康健，
，，先小幅上升 (探索)，
，，再逐渐下降 (收敛)，
，，最后稳固在合理水平。
。。。。。

图七：蒸馏历程体现 (左) 和熵 (右) 转变趋势

剖析 2: 关于特权信息、Token 分类、蒸馏范式的剖析，
，，进一步说明设计的合理性

关于差别特权信息效果剖析：不是袒露的谜底越多越彻底越好，
，，而是要恰到利益。
。。。。。研究团队测试了 5 种差别形式的特权信息。
。。。。。实验指出，
，，直接给最终谜底效果最差，
，，甚至不如不给特权信息，
，，由于学生直接背谜底了，
，，基础没学能力；；；；；；特权信息不是越详细越好，
，，而是要提供 "能力导向" 的指导；；；；；；最优的特权信息是：给出与能力挂钩的提醒，
，，但不直接给谜底和细节。
。。。。。这进一步验证了 "特权幻觉" 的保存，
，，也说明 DOPD 选择的特权信息形式是合理的。
。。。。。

表四：差别文本 (左) 和视觉 (右) 特权信息注入的影响

为了直观展示 token 分类的效果，
，，研究团队可视化了一条真实轨迹中的 token 漫衍，
，，这种漫衍与直觉完全一致，
，，也证实晰 DOPD 的 token 分类是有现实语义意义的，
，，不是随便分的。
。。。。。

图八: Token 分类效果可视化

别的，
，，研究团队还比照了差别类型 token 以及 token 组合的作用水平，
，，以及差别散度目的和蒸馏战略的效果。
。。。。。证实晰 DOPD 凭证差别 token 的特点和目的，
，，设计差别的蒸馏战略的合理性和有用性。
。。。。。

表五：差别 Token / 组合 (左) 和蒸馏战略 (右) 的体现

剖析 3: 敏感性和消融实验

敏感性剖析效果显示 DOPD 对参数不敏感，
，，在较大规模内都能坚持优异性能；；；；；；消融实验说明 DOPD 每个组件都有明确的孝顺，
，，合在一起才实现了最佳效果。
。。。。。

图六：敏感性 (左) 和消融实验 (右)

展望：在线战略蒸馏的新思绪

DOPD 重新思索了在线战略蒸馏的实质。
。。。。。站在今天的视角回望，
，，蒸馏手艺已经走过了很长的路：从最初简朴的概率模拟，
，，到在线战略蒸馏，
，，再到今天的优势感知双重蒸馏。
。。。。。每一次前进，
，，都让我们对 "怎样高效转达能力" 这个问题有了更深的明确。
。。。。。未来，
，，围绕这个思绪下的在线战略蒸馏可能尚有许多值得探索的偏向。
。。。。。

海内外高校辩说队齐聚贵阳 以辩明理探心学

凯时AG

航天员回地球后最想洗头