今日行业报告披露研究效果詹姆斯打高尔夫惹讼事面临罚？？？？？钭 很兴奋为您解答这个问题，，
，，，让我来帮您详细说明一下。。。。。品牌授权报修电话，，
，，，快速上门服务

四川省德阳市广汉市海南省儋州市云南省怒江傈僳族自治州福贡县云南省普洱市景东彝族自治县隆安县辽宁省铁岭市清河区贵州省铜仁市印江土家族苗族自治县河东区东新街道甘肃省陇南市武都区重庆市市辖区北碚区向阳区小关街道开封市通许县山西省临汾市安泽县四川省德阳市广汉市甘肃省陇南市大兴区甘肃省陇南市武都区四川省凉山彝族自治州甘洛县江苏省连云港市赣榆区福建省福州市永泰县广东省云浮市新兴县密云区古北口镇青秀区湖北省宜昌市宜都会赞皇县西龙门乡福建省福州市罗源县西藏拉萨市达孜区江西省鹰潭市余江区四川省宜宾市翠屏区清静区南市街道四川省成都会新都区密云区古北口镇陕西省西安市未央区向阳区小关街道福建省福州市永泰县山东省泰安市东平县甘肃省陇南市山东省聊都会茌平区内蒙古呼伦贝尔市阿荣旗辽宁省沈阳市江西省赣州市石城县福建省莆田市仙游县焦作市辽宁省沈阳市沈河区湖北省恩施土家族苗族自治州建始县延庆区沈家营镇内蒙古鄂尔多斯市鄂托克旗长安区南村镇黑龙江省哈尔滨市巴彦县甘肃省陇南市武都区顺义区空港街道山西省晋中市灵石县乌鲁木齐市沙依巴克区芜湖市南陵县钦州市平山县东回舍镇山西省忻州市宁武县江西省宜春市奉新县内蒙古鄂尔多斯市康巴什区蓟州区东赵各庄镇马鞍山市博望区芜湖市南陵县银川市贺兰县西青区精武镇甘肃省庆阳市镇原县辽宁省沈阳市浑南区密云区不老屯镇陕西省咸阳市兴平市湖北省恩施土家族苗族自治州恩施市丰台区长辛店镇喀什地区叶城县崇左市宁明县江西省宜春市宜丰县云南省西双版纳傣族自治州勐腊县武清区上马台镇广东省汕头市南澳县西藏拉萨市达孜区百色市田林县广东省汕头市南澳县平山县宅北乡平顶山市卫东区黑龙江省绥化市明水县百色市靖西市密云区不老屯镇新乐市协神乡向阳区小关街道山东省枣庄市台儿庄区云南省怒江傈僳族自治州福贡县辽宁省沈阳市浑南区蓟州区东施古镇昌平区小汤山镇山东省聊都会冠县焦作市沁阳市山东省威海市宝坻区牛家牌镇马鞍山市博望区武清区上马台镇黑龙江省鹤岗市四川省凉山彝族自治州昭觉县江苏省连云港市赣榆区

本月行业协会转达主要信息5分钟AI长视频不翻车！国产开源框架杀到全球第一梯队，，
，，，很兴奋为您解答这个问题，，
，，，让我来帮您详细说明一下:官方服务专线，，
，，，支持多品牌报修

广东省汕头市南澳县山东省聊都会冠县阿克苏地区新和县长安区南村镇芜湖市南陵县山西省临汾市安泽县山西省阳泉市平定县门头沟区大峪街道黑龙江省鸡西市鸡冠区无极县大陈镇平顶山市湛河区百色市靖西市平山县岗南镇山东省淄博市临淄区甘肃省定西市渭源县山西省晋中市榆社县蓟州区东赵各庄镇密云区古北口镇广东省云浮市新兴县山西省朔州市山阴县山东省威海市青秀区亳州市利辛县四川省凉山彝族自治州西昌市江西省鹰潭市余江区南开区长虹街道山西省运都会夏县西城区天桥街道西藏山南市海南省三沙市西沙区甘肃省白银市景泰县云南省西双版纳傣族自治州勐腊县甘肃省定西市渭源县四川省遂宁市蓬溪县钦州市元氏县西乡塘区云南省红河哈尼族彝族自治州泸西县湖北省襄阳市襄州区福建省南平市无极县大陈镇井陉县吴家窑乡甘肃省定西市渭源县陕西省西安市未央区平山县宅北乡江西省鹰潭市余江区北辰区广源街道云南省大理白族自治州云龙县辽宁省锦州市义县濮阳市南乐县四川省德阳市广汉市合肥市瑶海区平山县宅北乡丰台区右安门街道湖北省恩施土家族苗族自治州建始县云南省普洱市景东彝族自治县黑龙江省大兴安岭地区呼玛县青海省玉树藏族自治州治多县蓟州区东赵各庄镇密云区古北口镇喀什地区叶城县甘肃省陇南市武都区福建省三明市梅列区桥西区东华街道湖北省恩施土家族苗族自治州恩施市赞皇县西龙门乡山东省泰安市泰山区重庆市县巫山县武清区上马台镇江西省赣州市石城县长安区南村镇许昌市建安区新乐市协神乡桥西区苑东街道四川省广安市岳池县辽宁省沈阳市沈河区元氏县桥西区留营街道四川省凉山彝族自治州昭觉县密云区高岭镇顺义区空港街道四川省甘孜藏族自治州泸定县焦作市甘肃省庆阳市镇原县西藏山南市贡嘎县芜湖市南陵县辽宁省铁岭市开原市陕西省汉中市西乡县甘肃省兰州市丰台区右安门街道江苏省苏州市相城区赞皇县院头镇宝坻区牛家牌镇黑龙江省伊春市金林区甘肃省兰州市井陉县吴家窑乡湖北省宜昌市宜都会桂林市秀峰区黑龙江省七台河市桃山区辽宁省铁岭市开原市

全球服务区域:蚌埠市蚌山区固原市西吉县桂林市兴安县密云区不老屯镇四川省宜宾市江安县山西省晋都会泽州县百色市靖西市湖北省宜昌市秭归县黑龙江省鸡西市鸡冠区长安区广安街道四川省广元市淮南市大通区内蒙古呼伦贝尔市阿荣旗山西省忻州市定襄县昌平区回龙观街道福建省厦门市湖里区黑龙江省伊春市金林区甘肃省甘南藏族自治州陕西省西安市未央区西青区精武镇和田地区平顶山市卫东区合肥市瑶海区黑龙江省绥化市明水县广东省深圳市辽宁省辽阳市白塔区吉林省长春市双阳区黑龙江省鹤岗市焦作市云南省红河哈尼族彝族自治州绿春县清静区南市街道福建省福州市罗源县四川省甘孜藏族自治州丰台区长辛店镇甘肃省天水市秦州区蚌埠市龙子湖区青海省海北藏族自治州门源回族自治县陕西省咸阳市兴平市吉林省长春市双阳区四川省遂宁市蓬溪县陕西省商洛市山阳县湖北省恩施土家族苗族自治州恩施市黑龙江省大兴安岭地区呼玛县开封市通许县四川省凉山彝族自治州甘洛县亳州市利辛县云南省红河哈尼族彝族自治州绿春县江苏省连云港市赣榆区许昌市建安区密云区古北口镇福建省厦门市湖里区黑龙江省大兴安岭地区呼玛县甘肃省庆阳市镇原县江西省赣州市石城县湖北省宜昌市西陵区淮南市大通区四川省成都会新都区黑龙江省佳木斯市富锦市广东省惠州市龙门县密云区古北口镇江西省吉安市吉安县四川省成都会金牛区河东区东新街道密云区不老屯镇百色市靖西市四川省凉山彝族自治州昭觉县黑龙江省鹤岗市广东省珠海市斗门区平山县小觉镇防城港市东兴市云南省文山壮族苗族自治州广南县黑龙江省哈尔滨市巴彦县山西省阳泉市平定县山西省忻州市定襄县无极县大陈镇山西省忻州市宁武县云南省玉溪市新平彝族傣族自治县鹿泉区寺家庄镇黑龙江省大兴安岭地区呼玛县福建省莆田市仙游县元氏县蚌埠市蚌山区怀柔区雁栖地区山西省晋中市太谷区焦作市江西省萍乡市上栗县山西省晋中市灵石县静海区大邱庄镇山西省晋中市榆社县信阳市平桥区内蒙古乌海市乌达区固原市西吉县江苏省徐州市山东省淄博市临淄区山东省泰安市东平县北海市海城区延庆区沈家营镇亳州市利辛县山西省忻州市定襄县福建省厦门市海沧区

本月羁系部分宣布行业新报告5分钟AI长视频不翻车！国产开源框架杀到全球第一梯队，，
，，，很兴奋为您解答这个问题，，
，，，让我来帮您详细说明一下:售后服务维修中心电话，，
，，，支持多渠道服务

天下服务区域：蓟州区东赵各庄镇乌鲁木齐市沙依巴克区阿克苏地区拜城县银川市贺兰县山东省威海市四川省遂宁市蓬溪县山东省东营市垦利区怀柔区宝山镇辽宁省铁岭市开原市湖北省宜昌市西陵区四川省德阳市广汉市广东省汕头市南澳县芜湖市南陵县百色市田林县北辰区甘肃省陇南市武都区四川省广元市福建省南平市建瓯市合肥市瑶海区山西省运都会夏县四川省德阳市广汉市行唐县龙州镇甘肃省兰州市山东省聊都会茌平区蚌埠市龙子湖区赵县沙河店镇山西省长治市襄垣县洛阳市汝阳县贵州省铜仁市玉屏侗族自治县山西省朔州市山阴县桥西区苑东街道元氏县殷村镇鹿泉区寺家庄镇西藏山南市贡嘎县向阳区管庄地区西城区天桥街道湖北省宜昌市夷陵区向阳区小关街道喀什地区叶城县密云区高岭镇延庆区沈家营镇江苏省徐州市新沂市濮阳市南乐县福建省三明市梅列区贵州省六盘水市水城县西藏阿里地区日土县喀什地区麦盖提县四川省乐山市许昌市建安区山东省威海市延庆区沈家营镇昌平区小汤山镇平顶山市卫东区阿克苏地区新和县山东省泰安市东平县黑龙江省绥化市明水县四川省凉山彝族自治州西昌市百色市靖西市元氏县苏村乡塔城地区和布克赛尔蒙古自治县江西省赣州市石城县四川省宜宾市翠屏区吉林省四平市铁西区辽宁省铁岭市清河区内蒙古呼伦贝尔市阿荣旗贵州省铜仁市玉屏侗族自治县平顶山市卫东区崇左市伊犁哈萨克自治州昭苏县吉林省白山市浑江区广东省江门市赵县沙河店镇蓟州区东施古镇喀什地区叶城县防城港市东兴市山东省烟台市牟平区甘肃省甘南藏族自治州黑龙江省佳木斯市汤原县福建省厦门市湖里区静海区大邱庄镇贵州省六盘水市水城县辽宁省沈阳市浑南区山西省晋中市太谷区陕西省汉中市南郑区昌平区小汤山镇黑龙江省鸡西市鸡冠区宝坻区牛家牌镇青海省海南藏族自治州贵德县平山县东回舍镇四川省凉山彝族自治州西昌市蓟州区东施古镇湖北省宜昌市宜都会蓟州区官庄镇内蒙古乌海市乌达区哈密市伊吾县怀柔区雁栖地区山东省青岛市城阳区门头沟区大峪街道甘肃省天水市秦州区蓟州区官庄镇

售后服务上门服务电话，，
，，，智能分配票据：5分钟AI长视频不翻车！国产开源框架杀到全球第一梯队

梦瑶 闻乐 发自 凹非寺量子位 | 公众号 QbitAI

AIGC生长到今天，，
，，，天生几秒钟的AI视频真的已经不算新鲜事儿了。。。。。

但！难的地方在于，，
，，，让统一个角色在几分钟里始终坚持一致（扎心.jpg）——

多镜头切换，，
，，，脸可能变了，，
，，，换场景，，
，，，衣服发型最先漂
；；；；人物启齿，，
，，，音色前后接不上。。。。。

问题不在模子「不会造梦」，，
，，，而在于它很难「记着」这个梦……

△AI天生

也正因云云，，
，，，长视频天生迟迟未能进入全行业的生产流程，，
，，，更别说大规模商业化。。。。。

在长视频天生整体卡壳确当下，，
，，，刚刚，，
，，，有团队给出了一套新解法——

开源长音视频天生框架JoyAI-Echo，，
，，，并杀入全球长视频天生领域全球「第一梯队」。。。。。

把长视频创作里角色一致性、音色稳固性、天生速率和画面质量等天生痛点，，
，，，一把梭哈～

哪怕是几分钟的视频，，
，，，多镜头、多场景、多段语音一连切换，，
，，，人物形象和声音也能狠狠稳住。。。。。

不但云云，，
，，，支持对话式编辑的Agent能力也一起安排上了，，
，，，以后我们做视频就像和导演谈天一样了！

然后嘛，，
，，，我再仔细一看，，
，，，这套高性能开源框架，，
，，，竟然来自——

京东？？？？？？！属实藏得太深……（震惊.jpg)

评测显示，，
，，，JoyAI-Echo在跨镜头一致性、语音准确率（0.8646）等指标上周全领先行业，，
，，，甚至用户偏好达59.4%~81.7%。。。。。

这下好了，，
，，，AI视频也能所见即所得了。。。。。

一个可交互、高一致性、可一连迭代的长视频时代来了！

长视频不再“跑偏”：高一致性、低延迟、实时超分

已往一年，，
，，，AI视频模子的竞争重点多集中在几秒到几十秒片断：画质、运镜、气概、物理合理性。。。。。

各家模子卷得飞起，，
，，，效果确实肉眼可看法next level，，
，，，种种Benchmark评测体现也都很是漂亮。。。。。

然鹅吧，，
，，，在AI视频天生似乎已经进入成熟期的今天，，
，，，一个问题依然没有被真正解决——长视频天生。。。。。

原因很简朴：长视频，，
，，，对整个行业来说都《太难了》…….（扎心jpg)

相比短视频天生，，
，，，长视频不但是在时间维度上的简朴拉长，，
，，，更意味着跨镜头、跨场景、跨行动的一连叙事。。。。。

但现在行业里的长视频天生，，
，，，仍然普遍保存几个恒久逆境：

语言人的音色忽高忽低
；；；；天生速率也慢得离谱，，
，，，往往要等上好几分钟才华看到效果。。。。。

这些问题背后，，
，，，袒露的则是目今模子在长时序天生上的自然挑战：

模子过失累积、长程时序一致性弱、推理延迟高。。。。。

最终带来的效果就是，，
，，，视频里的人物会变脸，，
，，，声音会飘，，
，，，天生还得等良久。。。。。

这些问题也直接限制了AI视频在虚拟叙事、数字人助手、实时内容创作等场景中的进一步落地和「规
；；；；τ谩。。。。。

△AI天生

而JoyAI-Echo给出的解法是，，
，，，通过跨模态音视频影象库、影象驱动后训练、轻量化实时超分让长视频天生更稳。。。。。

哪怕是几分钟的视频，，
，，，我们也能丝滑拿下。。。。。【芫馗闯榭ǎ。。。。。

跨模态音视频影象库：角色再也不“变脸”

长视频天生最让人头疼、行业最难啃的一块骨头，，
，，，就是角色和声音的「前后纷歧致」。。。。。

在JoyAI-Echo团队看来，，
，，，问题的泉源在于现有模子缺乏真正意义上的恒久影象能力。。。。。

行业里古板方案、通常依赖上下文窗口生涯历史信息，，
，，，但随着视频长度增添，，
，，，早期内容会逐渐被后续信息稀释。。。。。

模子虽然能够记着最近几个镜头，，
，，，却很难稳固生涯数分钟之前的人物特征。。。。。

而JoyAI-Echo的做法是——

直接在框架里塞进了一套「跨模态音视频影象库」。。。。。

与其让模子记着所有历史内容，，
，，，不如把最要害的身份信息生涯下来，，
，，，并在后续天生历程中一连挪用。。。。。

这样一来，，
，，，即便视频长度来到5分钟，，
，，，角色的身份、外观和声音依然能够坚持高度一致。。。。。。。。。。

这套影象库最大的特点在于，，
，，，它纪录的不但是人物长相，，
，，，还会同步纪录语言人的音色，，
，，，并将两者绑定在一起。。。。。

当角色首次登场时，，
，，，系统会提取其视觉特征和声音特征写入影象库
；；；；后续每天生一个镜头，，
，，，都会从影象库中调取这些信息作为参考。。。。。

为了兼顾效果和效率，，
，，，系统也不会无限扩展影象，，
，，，而是保存故事开头的要害镜头，，
，，，以及最近天生的镜头。。。。。

这样既不会遗忘主角最初长什么样，，
，，，也始终知道剧情刚刚推进到了那里：

以是说JoyAI-Echo并不是让模子拥有更大的影象力，，
，，，而是让模子学会像人一样影象——

只保存最主要的信息，，
，，，并在需要的时间准确挪用。。。。。

而这套跨模态音视频影象机制，，
，，，也成为JoyAI-Echo实现5分钟长视频高一致性天生的焦点基础～

影象驱动后训练：速率提升7.5倍

关于长视频天生来说，，
，，，一致性只是第一步，，
，，，天生速率同样决议了产品能不可真正落地。。。。。

为此JoyAI-Echo团队在模子训练之外，，
，，，又专门设计了一套影象驱动的后训练流程，，
，，，在不牺牲天生质量的条件下，，
，，，把推理效率再往前推一步～

整个流程主要分为三步，，
，，，首先通过SFT监视微调，，
，，，让模子学习高质量音视频天生能力。。。。。

随后使用人类反馈强化学习进一步优化人物一致性、画面质量以及音画同步效果。。。。。

最后再通过DMD（Distribution Matching Distillation）手艺，，
，，，将重大的大模子能力压缩到更高效的推理模子中。。。。。

△AI天生

在整个后训练系统中，，
，，，DMD是最要害的一环。。。。。

并且最最最最需要夸的一点是，，
，，，仅DMD相关优化就带来了约7.5倍的推理速率提升。。。。。

我们可以把DMD明确成一次「能力浓缩」——

先让一个能力更强、但推理速率较慢的西席模子完成完整天生流程，，
，，，再让一个越发轻量的学生模子去学习和复现西席模子的天生效果。。。。。

这样一来，，
，，，原本需要大宗扩散方法才华完成的天生使命，，
，，，被压缩成更少的推理方法，，
，，，模子却依然能够坚持靠近的天生效果。。。。。

若是说跨模态音视频影象库解决的是「不要忘」，，
，，，那么这套后训练系统解决的就是「别太慢」。。。。。

一个认真守住长视频的一致性，，
，，，一个认真提升长视频的天生效率。。。。。

两者连系，，
，，，才让JoyAI-Echo真正具备了迈向长视频生产工具的基础能力～

轻量化实时超分：高清输出不卡顿

一致性有了，，
，，，速率也上来了，，
，，，但长视频天生尚有最后一道坎儿——清晰度。。。。。

事实真到了数字人、品牌营销、短剧创作这些场景里，，
，，，谁也不希望最后拿到的是一个糊糊的视频……

但问题是，，
，，，目今业内通常接纳「视频天生+离线超分」的两阶段架构。。。。。

视频先天生，，
，，，再交给自力超分模子处理。。。。。

这种方案虽然也能提高分辨率，，
，，，但特殊引入了一轮推理流程，，
，，，不但增添期待时间，，
，，，还容易造成天生效果和超分效果的误差。。。。。

意思就是，，
，，，高清是高清了，，
，，，可期待时间也随着上去了。。。。。

△AI天生

而JoyAI-Echo给出的解决要领是，，
，，，立异性地把超分能力直接塞进天生链路里。。。。。

详细来说，，
，，，系统会先天生720P视频和对应音频，，
，，，再通过轻量化实时超分模？？？？？橐徊酵瓿筛咔迨悠岛鸵羝迪附谠銮。。。。。

整个超分历程只需要一次向前推理，，
，，，就能直接输出1K甚至2K分辨率效果～

这样不但画面细节更富厚，，
，，，音频质量也会同步优化。。。。。

整个历程还不会显着增添天生延迟，，
，，，用户也终于可以不必在「速率」和「清晰度」之间做选择了。。。。。

关于数字人直播、实时创作、内容互动这些对延迟极其敏感的场景来说，，
，，，高清输出不卡顿，，
，，，真的太香了……

Director Agent，，
，，，专属于你的AI视频导演搭子！

各人都懂，，
，，，现实中的影视制作，，
，，，历来不是一次完成的。。。。。

已往的AI视频天生，，
，，，大多停留在一次性出片的阶段。。。。。

从剧本、分镜到拍摄、审片，，
，，，再到返工和重拍，，
，，，每一个环节都需要重复打磨。。。。。

若是其中某个镜头泛起问题，，
，，，创作者往往只能重新天生整条视频，，
，，，不但耗时，，
，，，也很难包管前后内容的一致性。。。。。

这也是AI长视频恒久难以真正进入生产环节的原因之一。。。。。。。。。。

以是，，
，，，创作者需要的并不但是一次性效果，，
，，，还需要像真实拍摄一样，，
，，，拥有能够妄想、天生、返工，，
，，，甚至局部重拍的工具。。。。。

这个问题，，
，，，JoyAI-Echo手艺团队也想到了，，
，，，于是给视频模子配了一位「AI导演」——Director Agent。。。。。

我们只需要用自然语言说需求，，
，，，它会自动资助拆分成剧本、角色、场景和镜头～

详细来说，，
，，，Director Agent整个手艺链路被拆成：策划、天生、点评修改三个阶段。。。。。

在策划阶段，，
，，，Agent更像一位「编剧兼导演」。。。。。

它会先明确用户意图，，
，，，将一句自然语言需求扩展成完整的故事框架，，
，，，增补角色设定、场景信息和叙事逻辑，，
，，，再进一步拆解为镜头级妄想，，
，，，最终天生切合模子训练名堂的结构化条件。。。。。

进入天生阶段后，，
，，，Agent又酿成了一位「现场导演」。。。。。

它会凭证目今镜头内容，，
，，，从已经天生的历史镜头中检索最相关的信息，，
，，，并将这些参考内容与目今剧本状态一起整理成模子需要的输入条件，，
，，，让天生模子能够准确挪用角色、场景和剧情上下文。。。。。

△AI天生

最厥后到「点评修改」阶段，，
，，，这里反倒更像影视制作里的审片环节～

无论是用户反馈，，
，，，照旧自动评价模子发明问题，，
，，，只要角色形象、行动体现、对白内容或音画同步泛起误差，，
，，，Agent都能快速定位到详细镜头，，
，，，重新调解对应条件和影象信息。。。。。。。。。。

并且最主要的是，，
，，，Agent只对受影响的部分举行重天生，，
，，，而不需要推倒重来，，
，，，修改后的效果还会同步更新到后续剧情中，，
，，，确保整个故事始终坚持连贯一致～

也正由于云云，，
，，，JoyAI-Echo不再只是一个认真天生视频的模子，，
，，，而更像是一套完整的长视频创作系统。。。。。

杀入全球第一梯队，，
，，，长视频天生最先靠近真实生产

光说不练假把式，，
，，，从官方评测数据来看，，
，，，JoyAI-Echo在长视频天生的多个要害指标上，，
，，，都展现出了领先体现。。。。。

在用户盲测环节，，
，，，研究团队将JoyAI-Echo与现在代表性的长视频模子举行了比照，，
，，，效果显示——

在长视频使命中，，
，，，用户有63.6%的情形下更喜欢JoyAI-Echo天生的视频画面。。。。。

在音频质量维度这一优势甚至抵达81.7%，，
，，，提醒词遵照偏好为80.6%，，
，，，IP一致性偏好为59.4%。。。。。

纵然放在人像短视频这一竞争最强烈的赛道中，，
，，，与主流视频模子相比，，
，，，JoyAI-Echo依然获得了更高的视觉美学用户偏好（58.8%vs26.5%）。。。。。

而JoyAI-Echo的宣布，，
，，，也同样标记着京东在长视频天生领域进入「全球第一梯队」：

已往几年，，
，，，AI视频天生虽然生长迅速，，
，，，但长视频始终停留在一个略显尴尬的位置：

演示效果惊艳，，
，，，真正投入生产却难题重重。。。。。

角色容易变脸、声音容易漂移、天生速度过慢、修改本钱极高……这些问题决议了大大都长视频作品更像是手艺Demo，，
，，，而非真正意义上的生产工具。。。。。

而JoyAI-Echo试图解决的，，
，，，恰恰是这些恒久困扰行业的焦点瓶颈。。。。。

更主要的是，，
，，，与许多闭源模子差别，，
，，，JoyAI-Echo选择了「开源」。。。。。

这意味着长视频天生不再只是少数头部公司的专属能力，，
，，，而最先成为一个能够被开发者、创作者和研究者配合验证、挪用和迭代的开下班具。。。。。

△AI天生

手艺框架提供了起点，，
，，，开放则让更多可能性逐步长出来。。。。。

当一致性、高分辨率、Agent等能力被开源一连验证和优化后，，
，，，行业内长视频天生的手艺迭代速率可能进一步加速。。。。。

无论是虚拟IP故事、数字人内容、品牌营销视频，，
，，，照旧教育课件、知识解说、游戏动画和互动剧情，，
，，，高一致性、可控、可迭代的长视频生产都能够成为可能。。。。。

若是说已往的大模子解决的是「能不可天生视频」的问题，，
，，，那么JoyAI-Echo正在实验回覆另一个更主要的问题：

AI能不可真正加入长视频的内容生产创作？？？？？？

从现在的效果来看，，
，，，谜底已经越来越靠近肯定。。。。。

JoyAI-Echo带来的，，
，，，不但是一款新的长视频模子，，
，，，更是一次AI视频生产范式的推进。。。。。

当稳固影象、实时交互、可控修改和高效天生最先同时泛起时，，
，，，AI长视频正在从手艺展示走向生产工具。。。。。

一个更稳固、更可控的AI长视频时代，，
，，，正在被推到台前。。。。。

GitHub地点：https://github.com/jd-opensource/JoyAI-Echo

项目主页：https://echo-team-joy-future-academy-jd.github.io/Echo-LongVideo-Page/

本月行业报告转达行业新转变5分钟AI长视频不翻车！国产开源框架杀到全球第一梯队

梦瑶 闻乐 发自 凹非寺量子位 | 公众号 QbitAI

AIGC生长到今天，，
，，，天生几秒钟的AI视频真的已经不算新鲜事儿了。。。。。

但！难的地方在于，，
，，，让统一个角色在几分钟里始终坚持一致（扎心.jpg）——

多镜头切换，，
，，，脸可能变了，，
，，，换场景，，
，，，衣服发型最先漂
；；；；人物启齿，，
，，，音色前后接不上。。。。。

问题不在模子「不会造梦」，，
，，，而在于它很难「记着」这个梦……

△AI天生

也正因云云，，
，，，长视频天生迟迟未能进入全行业的生产流程，，
，，，更别说大规模商业化。。。。。

在长视频天生整体卡壳确当下，，
，，，刚刚，，
，，，有团队给出了一套新解法——

开源长音视频天生框架JoyAI-Echo，，
，，，并杀入全球长视频天生领域全球「第一梯队」。。。。。

把长视频创作里角色一致性、音色稳固性、天生速率和画面质量等天生痛点，，
，，，一把梭哈～

哪怕是几分钟的视频，，
，，，多镜头、多场景、多段语音一连切换，，
，，，人物形象和声音也能狠狠稳住。。。。。

不但云云，，
，，，支持对话式编辑的Agent能力也一起安排上了，，
，，，以后我们做视频就像和导演谈天一样了！

然后嘛，，
，，，我再仔细一看，，
，，，这套高性能开源框架，，
，，，竟然来自——

京东？？？？？？！属实藏得太深……（震惊.jpg)

评测显示，，
，，，JoyAI-Echo在跨镜头一致性、语音准确率（0.8646）等指标上周全领先行业，，
，，，甚至用户偏好达59.4%~81.7%。。。。。

这下好了，，
，，，AI视频也能所见即所得了。。。。。

一个可交互、高一致性、可一连迭代的长视频时代来了！

长视频不再“跑偏”：高一致性、低延迟、实时超分

已往一年，，
，，，AI视频模子的竞争重点多集中在几秒到几十秒片断：画质、运镜、气概、物理合理性。。。。。

各家模子卷得飞起，，
，，，效果确实肉眼可看法next level，，
，，，种种Benchmark评测体现也都很是漂亮。。。。。

然鹅吧，，
，，，在AI视频天生似乎已经进入成熟期的今天，，
，，，一个问题依然没有被真正解决——长视频天生。。。。。

原因很简朴：长视频，，
，，，对整个行业来说都《太难了》…….（扎心jpg)

相比短视频天生，，
，，，长视频不但是在时间维度上的简朴拉长，，
，，，更意味着跨镜头、跨场景、跨行动的一连叙事。。。。。

但现在行业里的长视频天生，，
，，，仍然普遍保存几个恒久逆境：

语言人的音色忽高忽低
；；；；天生速率也慢得离谱，，
，，，往往要等上好几分钟才华看到效果。。。。。

这些问题背后，，
，，，袒露的则是目今模子在长时序天生上的自然挑战：

模子过失累积、长程时序一致性弱、推理延迟高。。。。。

最终带来的效果就是，，
，，，视频里的人物会变脸，，
，，，声音会飘，，
，，，天生还得等良久。。。。。

这些问题也直接限制了AI视频在虚拟叙事、数字人助手、实时内容创作等场景中的进一步落地和「规
；；；；τ谩。。。。。

△AI天生

而JoyAI-Echo给出的解法是，，
，，，通过跨模态音视频影象库、影象驱动后训练、轻量化实时超分让长视频天生更稳。。。。。

哪怕是几分钟的视频，，
，，，我们也能丝滑拿下。。。。。【芫馗闯榭ǎ。。。。。

跨模态音视频影象库：角色再也不“变脸”

长视频天生最让人头疼、行业最难啃的一块骨头，，
，，，就是角色和声音的「前后纷歧致」。。。。。

在JoyAI-Echo团队看来，，
，，，问题的泉源在于现有模子缺乏真正意义上的恒久影象能力。。。。。

行业里古板方案、通常依赖上下文窗口生涯历史信息，，
，，，但随着视频长度增添，，
，，，早期内容会逐渐被后续信息稀释。。。。。

模子虽然能够记着最近几个镜头，，
，，，却很难稳固生涯数分钟之前的人物特征。。。。。

而JoyAI-Echo的做法是——

直接在框架里塞进了一套「跨模态音视频影象库」。。。。。

与其让模子记着所有历史内容，，
，，，不如把最要害的身份信息生涯下来，，
，，，并在后续天生历程中一连挪用。。。。。

这样一来，，
，，，即便视频长度来到5分钟，，
，，，角色的身份、外观和声音依然能够坚持高度一致。。。。。。。。。。

这套影象库最大的特点在于，，
，，，它纪录的不但是人物长相，，
，，，还会同步纪录语言人的音色，，
，，，并将两者绑定在一起。。。。。

当角色首次登场时，，
，，，系统会提取其视觉特征和声音特征写入影象库
；；；；后续每天生一个镜头，，
，，，都会从影象库中调取这些信息作为参考。。。。。

为了兼顾效果和效率，，
，，，系统也不会无限扩展影象，，
，，，而是保存故事开头的要害镜头，，
，，，以及最近天生的镜头。。。。。

这样既不会遗忘主角最初长什么样，，
，，，也始终知道剧情刚刚推进到了那里：

以是说JoyAI-Echo并不是让模子拥有更大的影象力，，
，，，而是让模子学会像人一样影象——

只保存最主要的信息，，
，，，并在需要的时间准确挪用。。。。。

而这套跨模态音视频影象机制，，
，，，也成为JoyAI-Echo实现5分钟长视频高一致性天生的焦点基础～

影象驱动后训练：速率提升7.5倍

关于长视频天生来说，，
，，，一致性只是第一步，，
，，，天生速率同样决议了产品能不可真正落地。。。。。

为此JoyAI-Echo团队在模子训练之外，，
，，，又专门设计了一套影象驱动的后训练流程，，
，，，在不牺牲天生质量的条件下，，
，，，把推理效率再往前推一步～

整个流程主要分为三步，，
，，，首先通过SFT监视微调，，
，，，让模子学习高质量音视频天生能力。。。。。

随后使用人类反馈强化学习进一步优化人物一致性、画面质量以及音画同步效果。。。。。

最后再通过DMD（Distribution Matching Distillation）手艺，，
，，，将重大的大模子能力压缩到更高效的推理模子中。。。。。

△AI天生

在整个后训练系统中，，
，，，DMD是最要害的一环。。。。。

并且最最最最需要夸的一点是，，
，，，仅DMD相关优化就带来了约7.5倍的推理速率提升。。。。。

我们可以把DMD明确成一次「能力浓缩」——

先让一个能力更强、但推理速率较慢的西席模子完成完整天生流程，，
，，，再让一个越发轻量的学生模子去学习和复现西席模子的天生效果。。。。。

这样一来，，
，，，原本需要大宗扩散方法才华完成的天生使命，，
，，，被压缩成更少的推理方法，，
，，，模子却依然能够坚持靠近的天生效果。。。。。

若是说跨模态音视频影象库解决的是「不要忘」，，
，，，那么这套后训练系统解决的就是「别太慢」。。。。。

一个认真守住长视频的一致性，，
，，，一个认真提升长视频的天生效率。。。。。

两者连系，，
，，，才让JoyAI-Echo真正具备了迈向长视频生产工具的基础能力～

轻量化实时超分：高清输出不卡顿

一致性有了，，
，，，速率也上来了，，
，，，但长视频天生尚有最后一道坎儿——清晰度。。。。。

事实真到了数字人、品牌营销、短剧创作这些场景里，，
，，，谁也不希望最后拿到的是一个糊糊的视频……

但问题是，，
，，，目今业内通常接纳「视频天生+离线超分」的两阶段架构。。。。。

视频先天生，，
，，，再交给自力超分模子处理。。。。。

这种方案虽然也能提高分辨率，，
，，，但特殊引入了一轮推理流程，，
，，，不但增添期待时间，，
，，，还容易造成天生效果和超分效果的误差。。。。。

意思就是，，
，，，高清是高清了，，
，，，可期待时间也随着上去了。。。。。

△AI天生

而JoyAI-Echo给出的解决要领是，，
，，，立异性地把超分能力直接塞进天生链路里。。。。。

详细来说，，
，，，系统会先天生720P视频和对应音频，，
，，，再通过轻量化实时超分模？？？？？橐徊酵瓿筛咔迨悠岛鸵羝迪附谠銮。。。。。

整个超分历程只需要一次向前推理，，
，，，就能直接输出1K甚至2K分辨率效果～

这样不但画面细节更富厚，，
，，，音频质量也会同步优化。。。。。

整个历程还不会显着增添天生延迟，，
，，，用户也终于可以不必在「速率」和「清晰度」之间做选择了。。。。。

关于数字人直播、实时创作、内容互动这些对延迟极其敏感的场景来说，，
，，，高清输出不卡顿，，
，，，真的太香了……

Director Agent，，
，，，专属于你的AI视频导演搭子！

各人都懂，，
，，，现实中的影视制作，，
，，，历来不是一次完成的。。。。。

已往的AI视频天生，，
，，，大多停留在一次性出片的阶段。。。。。

从剧本、分镜到拍摄、审片，，
，，，再到返工和重拍，，
，，，每一个环节都需要重复打磨。。。。。

若是其中某个镜头泛起问题，，
，，，创作者往往只能重新天生整条视频，，
，，，不但耗时，，
，，，也很难包管前后内容的一致性。。。。。

这也是AI长视频恒久难以真正进入生产环节的原因之一。。。。。。。。。。

以是，，
，，，创作者需要的并不但是一次性效果，，
，，，还需要像真实拍摄一样，，
，，，拥有能够妄想、天生、返工，，
，，，甚至局部重拍的工具。。。。。

这个问题，，
，，，JoyAI-Echo手艺团队也想到了，，
，，，于是给视频模子配了一位「AI导演」——Director Agent。。。。。

我们只需要用自然语言说需求，，
，，，它会自动资助拆分成剧本、角色、场景和镜头～

详细来说，，
，，，Director Agent整个手艺链路被拆成：策划、天生、点评修改三个阶段。。。。。

在策划阶段，，
，，，Agent更像一位「编剧兼导演」。。。。。

它会先明确用户意图，，
，，，将一句自然语言需求扩展成完整的故事框架，，
，，，增补角色设定、场景信息和叙事逻辑，，
，，，再进一步拆解为镜头级妄想，，
，，，最终天生切合模子训练名堂的结构化条件。。。。。

进入天生阶段后，，
，，，Agent又酿成了一位「现场导演」。。。。。

它会凭证目今镜头内容，，
，，，从已经天生的历史镜头中检索最相关的信息，，
，，，并将这些参考内容与目今剧本状态一起整理成模子需要的输入条件，，
，，，让天生模子能够准确挪用角色、场景和剧情上下文。。。。。

△AI天生

最厥后到「点评修改」阶段，，
，，，这里反倒更像影视制作里的审片环节～

无论是用户反馈，，
，，，照旧自动评价模子发明问题，，
，，，只要角色形象、行动体现、对白内容或音画同步泛起误差，，
，，，Agent都能快速定位到详细镜头，，
，，，重新调解对应条件和影象信息。。。。。。。。。。

并且最主要的是，，
，，，Agent只对受影响的部分举行重天生，，
，，，而不需要推倒重来，，
，，，修改后的效果还会同步更新到后续剧情中，，
，，，确保整个故事始终坚持连贯一致～

也正由于云云，，
，，，JoyAI-Echo不再只是一个认真天生视频的模子，，
，，，而更像是一套完整的长视频创作系统。。。。。

杀入全球第一梯队，，
，，，长视频天生最先靠近真实生产

光说不练假把式，，
，，，从官方评测数据来看，，
，，，JoyAI-Echo在长视频天生的多个要害指标上，，
，，，都展现出了领先体现。。。。。

在用户盲测环节，，
，，，研究团队将JoyAI-Echo与现在代表性的长视频模子举行了比照，，
，，，效果显示——

在长视频使命中，，
，，，用户有63.6%的情形下更喜欢JoyAI-Echo天生的视频画面。。。。。

在音频质量维度这一优势甚至抵达81.7%，，
，，，提醒词遵照偏好为80.6%，，
，，，IP一致性偏好为59.4%。。。。。

纵然放在人像短视频这一竞争最强烈的赛道中，，
，，，与主流视频模子相比，，
，，，JoyAI-Echo依然获得了更高的视觉美学用户偏好（58.8%vs26.5%）。。。。。

而JoyAI-Echo的宣布，，
，，，也同样标记着京东在长视频天生领域进入「全球第一梯队」：

已往几年，，
，，，AI视频天生虽然生长迅速，，
，，，但长视频始终停留在一个略显尴尬的位置：

演示效果惊艳，，
，，，真正投入生产却难题重重。。。。。

角色容易变脸、声音容易漂移、天生速度过慢、修改本钱极高……这些问题决议了大大都长视频作品更像是手艺Demo，，
，，，而非真正意义上的生产工具。。。。。

而JoyAI-Echo试图解决的，，
，，，恰恰是这些恒久困扰行业的焦点瓶颈。。。。。

更主要的是，，
，，，与许多闭源模子差别，，
，，，JoyAI-Echo选择了「开源」。。。。。

这意味着长视频天生不再只是少数头部公司的专属能力，，
，，，而最先成为一个能够被开发者、创作者和研究者配合验证、挪用和迭代的开下班具。。。。。

△AI天生

手艺框架提供了起点，，
，，，开放则让更多可能性逐步长出来。。。。。

当一致性、高分辨率、Agent等能力被开源一连验证和优化后，，
，，，行业内长视频天生的手艺迭代速率可能进一步加速。。。。。

无论是虚拟IP故事、数字人内容、品牌营销视频，，
，，，照旧教育课件、知识解说、游戏动画和互动剧情，，
，，，高一致性、可控、可迭代的长视频生产都能够成为可能。。。。。

若是说已往的大模子解决的是「能不可天生视频」的问题，，
，，，那么JoyAI-Echo正在实验回覆另一个更主要的问题：

AI能不可真正加入长视频的内容生产创作？？？？？？

从现在的效果来看，，
，，，谜底已经越来越靠近肯定。。。。。

JoyAI-Echo带来的，，
，，，不但是一款新的长视频模子，，
，，，更是一次AI视频生产范式的推进。。。。。

当稳固影象、实时交互、可控修改和高效天生最先同时泛起时，，
，，，AI长视频正在从手艺展示走向生产工具。。。。。

一个更稳固、更可控的AI长视频时代，，
，，，正在被推到台前。。。。。

GitHub地点：https://github.com/jd-opensource/JoyAI-Echo

项目主页：https://echo-team-joy-future-academy-jd.github.io/Echo-LongVideo-Page/

中新网上海5月11日电 (陈少颖 许婧)为期23天的2026上海国际花卉节10日落下帷幕。。。。。江风裹着花香，，
，，，在徐汇滨江，，
，，，8座由13个辖区街道住民设计搭建的“共创花园”沿江绽放，，
，，，吸睛无数。。。。。

凯时AG

詹姆斯打高尔夫惹讼事面临罚？？？？？钭