克日羁系部分宣布主要转达央行一连18个月购金 投资者跟不跟 很兴奋为您解答这个问题，，让我来帮您详细说明一下。。
。
。品牌授权报修电话，，快速上门服务

山西省临汾市安泽县陕西省西安市未央区四川省广安市岳池县陕西省咸阳市兴平市山西省晋都会泽州县蚌埠市龙子湖区福建省福州市永泰县江苏省南通市启东市福建省莆田市仙游县甘肃省庆阳市镇原县百色市靖西市焦作市河东区东新街道四川省凉山彝族自治州甘洛县合肥市庐阳区山东省泰安市泰山区西藏阿里地区日土县伊犁哈萨克自治州昭苏县南阳市内乡县蓟州区东赵各庄镇甘肃省甘南藏族自治州江苏省南京市浦口区四川省凉山彝族自治州昭觉县静海区大邱庄镇山东省威海市南开区体育中心街道四川省甘孜藏族自治州黑龙江省佳木斯市汤原县向阳区双井街道山东省淄博市临淄区重庆市县巫山县四川省凉山彝族自治州昭觉县贵州省黔东南苗族侗族自治州天柱县山西省长治市襄垣县山西省忻州市定襄县山东省枣庄市台儿庄区宝坻区牛家牌镇内蒙古鄂尔多斯市康巴什区百色市靖西市山东省烟台市牟平区蓟州区东赵各庄镇海南省三沙市西沙区四川省甘孜藏族自治州丹巴县井陉县测鱼镇青秀区焦作市湖北省宜昌市秭归县广东省江门市海南省三沙市西沙区巴音郭楞蒙古自治州和硕县青海省果洛藏族自治州无极县大陈镇四川省甘孜藏族自治州九龙县黑龙江省鸡西市鸡冠区四川省乐山市门头沟区大峪街道贵州省安顺市普定县广东省汕头市龙湖区向阳区酒仙桥街道甘肃省白银市景泰县河东区东新街道密云区不老屯镇平山县宅北乡青海省海北藏族自治州门源回族自治县陕西省汉中市南郑区江苏省南通市启东市江西省景德镇市昌江区许昌市建安区广东省惠州市龙门县宝坻区牛家牌镇吉林省长春市双阳区蓟州区官庄镇江苏省镇江市句容市河东区大直沽街道陕西省咸阳市兴平市黑龙江省鹤岗市江西省九江市武宁县桥西区留营街道福建省漳州市龙海市蓟州区官庄镇青海省果洛藏族自治州青海省海北藏族自治州门源回族自治县陕西省宝鸡市千阳县江西省萍乡市上栗县西藏拉萨市达孜区西藏山南市贡嘎县固原市西吉县西乡塘区广东省汕头市龙湖区山西省阳泉市平定县固原市西吉县广东省江门市山西省忻州市定襄县洛阳市汝阳县黑龙江省佳木斯市富锦市阿克苏地区拜城县甘肃省白银市景泰县黑龙江省鹤岗市陕西省咸阳市兴平市黑龙江省佳木斯市汤原县

本月行业报告披露新效果5分钟AI长视频不翻车！国产开源框架杀到全球第一梯队，，很兴奋为您解答这个问题，，让我来帮您详细说明一下:官方服务专线，，支持多品牌报修

赞皇县西龙门乡山西省阳泉市平定县黑龙江省大兴安岭地区呼玛县西藏拉萨市达孜区大兴区山西省忻州市定襄县山西省运都会夏县重庆市县巫山县广东省深圳市蚌埠市龙子湖区福建省福州市罗源县四川省甘孜藏族自治州泸定县湖北省孝感市汉川市西乡塘区百色市田林县陕西省汉中市留坝县赞皇县西龙门乡延庆区沈家营镇四川省广元市湖北省孝感市汉川市蓟州区东施古镇蚌埠市龙子湖区贵州省黔南布依族苗族自治州惠水县四川省成都会双流区山东省淄博市临淄区山西省朔州市山阴县江苏省徐州市丰县辽宁省铁岭市清河区怀柔区雁栖地区蚌埠市龙子湖区陕西省宝鸡市千阳县平顶山市湛河区山东省烟台市龙口市内蒙古鄂尔多斯市鄂托克旗向阳区小关街道蓟州区东赵各庄镇黑龙江省哈尔滨市巴彦县贵州省铜仁市玉屏侗族自治县山东省淄博市临淄区博尔塔拉蒙古自治州温泉县密云区河南寨镇丰台区宛平城地区吉林省四平市铁西区广东省汕头市南澳县丰台区宛平城地区湖北省孝感市汉川市西城区天桥街道信阳市平桥区西城区月坛街道喀什地区麦盖提县江西省萍乡市上栗县马鞍山市博望区向阳区豆各庄地区江苏省镇江市句容市西城区月坛街道芜湖市南陵县怀柔区宝山镇陕西省宝鸡市眉县江西省吉安市吉安县福建省南平市建瓯市合肥市瑶海区怀柔区雁栖地区河东区大直沽街道江西省鹰潭市余江区山东省聊都会冠县南开区体育中心街道云南省文山壮族苗族自治州广南县山东省泰安市东平县山东省聊都会冠县福建省莆田市城厢区广东省珠海市斗门区大兴区桂林市秀峰区云南省大理白族自治州云龙县江苏省徐州市新沂市百色市靖西市武清区上马台镇云南省大理白族自治州云龙县蚌埠市龙子湖区内蒙古兴安盟乌兰浩特市云南省普洱市景东彝族自治县平山县东回舍镇伊犁哈萨克自治州昭苏县芜湖市南陵县南开区长虹街道四川省甘孜藏族自治州九龙县开封市通许县喀什地区叶城县平顶山市湛河区四川省宜宾市珙县昌平区延寿镇海淀区青龙桥街道濮阳市南乐县江苏省徐州市合肥市庐阳区四川省乐山市西青区精武镇江苏省连云港市赣榆区青海省海北藏族自治州门源回族自治县鹿泉区寺家庄镇

全球服务区域:山西省临汾市安泽县江西省萍乡市上栗县辽宁省大连市旅顺口区伊犁哈萨克自治州昭苏县许昌市建安区西青区精武镇大兴区崇左市宁明县广东省珠海市斗门区和田地区江西省吉安市永新县甘肃省甘南藏族自治州内蒙古锡林郭勒盟镶黄旗延庆区康庄镇江苏省连云港市赣榆区南开区长虹街道伊犁哈萨克自治州昭苏县河东区东新街道辽宁省大连市旅顺口区焦作市沁阳市昌平区小汤山镇静海区西翟庄镇内蒙古锡林郭勒盟正镶白旗云南省西双版纳傣族自治州勐腊县云南省怒江傈僳族自治州福贡县静海区大邱庄镇静海区西翟庄镇蚌埠市蚌山区辽宁省沈阳市内蒙古乌海市乌达区大兴区焦作市甘肃省白银市景泰县桥西区苑东街道福建省厦门市湖里区元氏县殷村镇山东省淄博市临淄区内蒙古鄂尔多斯市康巴什区甘肃省陇南市武都区昌平区回龙观街道山西省忻州市宁武县湖北省宜昌市宜都会四川省广元市长安区广安街道青海省果洛藏族自治州甘肃省白银市景泰县蓟州区官庄镇陕西省咸阳市兴平市百色市靖西市百色市靖西市辽宁省铁岭市开原市陕西省汉中市留坝县甘肃省白银市景泰县许昌市建安区延庆区沈家营镇山东省东营市垦利区吉林省四平市铁西区江西省鹰潭市余江区新乐市协神乡开封市通许县云南省红河哈尼族彝族自治州绿春县向阳区小关街道贵州省黔东南苗族侗族自治州天柱县福建省三明市梅列区吉林省四平市铁西区四川省凉山彝族自治州西昌市湖北省宜昌市西陵区平山县上观音堂乡四川省宜宾市珙县蓟州区东施古镇鹿泉区寺家庄镇江苏省徐州市江苏省连云港市赣榆区山西省吕梁市岚县陕西省汉中市留坝县湖北省孝感市汉川市蓟州区东施古镇甘肃省陇南市武都区福建省莆田市仙游县平山县东回舍镇北海市海城区江苏省南京市浦口区四川省甘孜藏族自治州泸定县内蒙古乌海市乌达区江西省吉安市吉安县重庆市县巫山县内蒙古鄂尔多斯市康巴什区贵州省铜仁市印江土家族苗族自治县广东省深圳市西城区天桥街道青海省海西蒙古族藏族自治州德令哈市西藏山南市贡嘎县黑龙江省七台河市桃山区广东省珠海市斗门区百色市田林县洛阳市汝阳县合肥市瑶海区山东省威海市昌平区回龙观街道陕西省咸阳市兴平市

昨日研究机构宣布重大效果5分钟AI长视频不翻车！国产开源框架杀到全球第一梯队，，很兴奋为您解答这个问题，，让我来帮您详细说明一下:售后服务维修中心电话，，支持多渠道服务

天下服务区域：四川省成都会双流区重庆市县巫山县江西省吉安市吉安县南开区体育中心街道云南省红河哈尼族彝族自治州泸西县和田地区河东区大直沽街道焦作市沁阳市山东省淄博市临淄区山西省阳泉市平定县丰台区长辛店镇四川省凉山彝族自治州甘洛县丰台区长辛店镇山东省泰安市东平县芜湖市南陵县重庆市市辖区北碚区向阳区豆各庄地区北辰区广源街道内蒙古锡林郭勒盟正镶白旗陕西省咸阳市兴平市湖北省宜昌市宜都会平顶山市卫东区赵县沙河店镇山西省运都会夏县辽宁省向阳市北票市四川省乐山市内蒙古锡林郭勒盟正镶白旗山西省忻州市定襄县云南省普洱市景东彝族自治县福建省莆田市仙游县福建省南平市建瓯市井陉县测鱼镇云南省怒江傈僳族自治州福贡县贵州省黔东南苗族侗族自治州天柱县平山县小觉镇云南省红河哈尼族彝族自治州泸西县行唐县龙州镇桂林市兴安县焦作市沁阳市合肥市瑶海区内蒙古乌海市乌达区湖北省宜昌市夷陵区西藏山南市山西省长治市襄垣县四川省甘孜藏族自治州四川省宜宾市珙县山西省朔州市山阴县山西省吕梁市中阳县阿克苏地区拜城县长安区广安街道湖北省宜昌市夷陵区广东省惠州市龙门县陕西省汉中市南郑区福建省三明市梅列区蓟州区东施古镇江西省萍乡市上栗县四川省成都会双流区江苏省连云港市赣榆区长安区广安街道海南省三沙市西沙区河西区桃园街道广东省汕头市龙湖区辽宁省沈阳市浑南区哈密市伊吾县青海省果洛藏族自治州防城港市东兴市辽宁省铁岭市开原市江苏省徐州市丰县蓟州区东施古镇陕西省宝鸡市眉县重庆市县巫山县赞皇县院头镇许昌市建安区重庆市市辖区北碚区山西省长治市襄垣县海南省？？谑忻览记＝ㄊ∠妹攀泻２浊＝ㄊ「Ｖ菔新拊聪卦颇鲜『旌庸尼族彝族自治州泸西县广东省惠州市龙门县四川省甘孜藏族自治州山西省吕梁市岚县青海省海西蒙古族藏族自治州德令哈市丰台区长辛店镇山东省德州市齐河县广东省汕头市龙湖区西青区精武镇蓟州区东二营镇焦作市沁阳市隆安县丰台区长辛店镇密云区河南寨镇乌鲁木齐市沙依巴克区福建省莆田市城厢区宝坻区牛家牌镇四川省甘孜藏族自治州泸定县云南省怒江傈僳族自治州福贡县清静区南市街道山西省吕梁市岚县青海省果洛藏族自治州

售后服务上门服务电话，，智能分配票据：5分钟AI长视频不翻车！国产开源框架杀到全球第一梯队

梦瑶 闻乐 发自 凹非寺量子位 | 公众号 QbitAI

AIGC生长到今天，，天生几秒钟的AI视频真的已经不算新鲜事儿了。。
。
。

但！难的地方在于，，让统一个角色在几分钟里始终坚持一致（扎心.jpg）——

多镜头切换，，脸可能变了，，换场景，，衣服发型最先漂；；；；；人物启齿，，音色前后接不上。。
。
。

问题不在模子「不会造梦」，，而在于它很难「记着」这个梦……

△AI天生

也正因云云，，长视频天生迟迟未能进入全行业的生产流程，，更别说大规模商业化。。
。
。

在长视频天生整体卡壳确当下，，刚刚，，有团队给出了一套新解法——

开源长音视频天生框架JoyAI-Echo，，并杀入全球长视频天生领域全球「第一梯队」。。
。
。

把长视频创作里角色一致性、音色稳固性、天生速率和画面质量等天生痛点，，一把梭哈～

哪怕是几分钟的视频，，多镜头、多场景、多段语音一连切换，，人物形象和声音也能狠狠稳住。。
。
。

不但云云，，支持对话式编辑的Agent能力也一起安排上了，，以后我们做视频就像和导演谈天一样了！

然后嘛，，我再仔细一看，，这套高性能开源框架，，竟然来自——

京东？？！属实藏得太深……（震惊.jpg)

评测显示，，JoyAI-Echo在跨镜头一致性、语音准确率（0.8646）等指标上周全领先行业，，甚至用户偏好达59.4%~81.7%。。
。
。

这下好了，，AI视频也能所见即所得了。。
。
。

一个可交互、高一致性、可一连迭代的长视频时代来了！

长视频不再“跑偏”：高一致性、低延迟、实时超分

已往一年，，AI视频模子的竞争重点多集中在几秒到几十秒片断：画质、运镜、气概、物理合理性。。
。
。

各家模子卷得飞起，，效果确实肉眼可看法next level，，种种Benchmark评测体现也都很是漂亮。。
。
。

然鹅吧，，在AI视频天生似乎已经进入成熟期的今天，，一个问题依然没有被真正解决——长视频天生。。
。
。

原因很简朴：长视频，，对整个行业来说都《太难了》…….（扎心jpg)

相比短视频天生，，长视频不但是在时间维度上的简朴拉长，，更意味着跨镜头、跨场景、跨行动的一连叙事。。
。
。

但现在行业里的长视频天生，，仍然普遍保存几个恒久逆境：

语言人的音色忽高忽低；；；；；天生速率也慢得离谱，，往往要等上好几分钟才华看到效果。。
。
。

这些问题背后，，袒露的则是目今模子在长时序天生上的自然挑战：

模子过失累积、长程时序一致性弱、推理延迟高。。
。
。

最终带来的效果就是，，视频里的人物会变脸，，声音会飘，，天生还得等良久。。
。
。

这些问题也直接限制了AI视频在虚拟叙事、数字人助手、实时内容创作等场景中的进一步落地和「规；；；；；τ谩。。
。
。

△AI天生

而JoyAI-Echo给出的解法是，，通过跨模态音视频影象库、影象驱动后训练、轻量化实时超分让长视频天生更稳。。
。
。

哪怕是几分钟的视频，，我们也能丝滑拿下。。
。
。【芫馗闯榭ǎ。。
。
。

跨模态音视频影象库：角色再也不“变脸”

长视频天生最让人头疼、行业最难啃的一块骨头，，就是角色和声音的「前后纷歧致」。。
。
。

在JoyAI-Echo团队看来，，问题的泉源在于现有模子缺乏真正意义上的恒久影象能力。。
。
。

行业里古板方案、通常依赖上下文窗口生涯历史信息，，但随着视频长度增添，，早期内容会逐渐被后续信息稀释。。
。
。

模子虽然能够记着最近几个镜头，，却很难稳固生涯数分钟之前的人物特征。。
。
。

而JoyAI-Echo的做法是——

直接在框架里塞进了一套「跨模态音视频影象库」。。
。
。

与其让模子记着所有历史内容，，不如把最要害的身份信息生涯下来，，并在后续天生历程中一连挪用。。
。
。

这样一来，，即便视频长度来到5分钟，，角色的身份、外观和声音依然能够坚持高度一致。。
。
。。。
。
。

这套影象库最大的特点在于，，它纪录的不但是人物长相，，还会同步纪录语言人的音色，，并将两者绑定在一起。。
。
。

当角色首次登场时，，系统会提取其视觉特征和声音特征写入影象库；；；；；后续每天生一个镜头，，都会从影象库中调取这些信息作为参考。。
。
。

为了兼顾效果和效率，，系统也不会无限扩展影象，，而是保存故事开头的要害镜头，，以及最近天生的镜头。。
。
。

这样既不会遗忘主角最初长什么样，，也始终知道剧情刚刚推进到了那里：

以是说JoyAI-Echo并不是让模子拥有更大的影象力，，而是让模子学会像人一样影象——

只保存最主要的信息，，并在需要的时间准确挪用。。
。
。

而这套跨模态音视频影象机制，，也成为JoyAI-Echo实现5分钟长视频高一致性天生的焦点基础～

影象驱动后训练：速率提升7.5倍

关于长视频天生来说，，一致性只是第一步，，天生速率同样决议了产品能不可真正落地。。
。
。

为此JoyAI-Echo团队在模子训练之外，，又专门设计了一套影象驱动的后训练流程，，在不牺牲天生质量的条件下，，把推理效率再往前推一步～

整个流程主要分为三步，，首先通过SFT监视微调，，让模子学习高质量音视频天生能力。。
。
。

随后使用人类反馈强化学习进一步优化人物一致性、画面质量以及音画同步效果。。
。
。

最后再通过DMD（Distribution Matching Distillation）手艺，，将重大的大模子能力压缩到更高效的推理模子中。。
。
。

△AI天生

在整个后训练系统中，，DMD是最要害的一环。。
。
。

并且最最最最需要夸的一点是，，仅DMD相关优化就带来了约7.5倍的推理速率提升。。
。
。

我们可以把DMD明确成一次「能力浓缩」——

先让一个能力更强、但推理速率较慢的西席模子完成完整天生流程，，再让一个越发轻量的学生模子去学习和复现西席模子的天生效果。。
。
。

这样一来，，原本需要大宗扩散方法才华完成的天生使命，，被压缩成更少的推理方法，，模子却依然能够坚持靠近的天生效果。。
。
。

若是说跨模态音视频影象库解决的是「不要忘」，，那么这套后训练系统解决的就是「别太慢」。。
。
。

一个认真守住长视频的一致性，，一个认真提升长视频的天生效率。。
。
。

两者连系，，才让JoyAI-Echo真正具备了迈向长视频生产工具的基础能力～

轻量化实时超分：高清输出不卡顿

一致性有了，，速率也上来了，，但长视频天生尚有最后一道坎儿——清晰度。。
。
。

事实真到了数字人、品牌营销、短剧创作这些场景里，，谁也不希望最后拿到的是一个糊糊的视频……

但问题是，，目今业内通常接纳「视频天生+离线超分」的两阶段架构。。
。
。

视频先天生，，再交给自力超分模子处理。。
。
。

这种方案虽然也能提高分辨率，，但特殊引入了一轮推理流程，，不但增添期待时间，，还容易造成天生效果和超分效果的误差。。
。
。

意思就是，，高清是高清了，，可期待时间也随着上去了。。
。
。

△AI天生

而JoyAI-Echo给出的解决要领是，，立异性地把超分能力直接塞进天生链路里。。
。
。

详细来说，，系统会先天生720P视频和对应音频，，再通过轻量化实时超分？？橐徊酵瓿筛咔迨悠岛鸵羝迪附谠銮。。
。
。

整个超分历程只需要一次向前推理，，就能直接输出1K甚至2K分辨率效果～

这样不但画面细节更富厚，，音频质量也会同步优化。。
。
。

整个历程还不会显着增添天生延迟，，用户也终于可以不必在「速率」和「清晰度」之间做选择了。。
。
。

关于数字人直播、实时创作、内容互动这些对延迟极其敏感的场景来说，，高清输出不卡顿，，真的太香了……

Director Agent，，专属于你的AI视频导演搭子！

各人都懂，，现实中的影视制作，，历来不是一次完成的。。
。
。

已往的AI视频天生，，大多停留在一次性出片的阶段。。
。
。

从剧本、分镜到拍摄、审片，，再到返工和重拍，，每一个环节都需要重复打磨。。
。
。

若是其中某个镜头泛起问题，，创作者往往只能重新天生整条视频，，不但耗时，，也很难包管前后内容的一致性。。
。
。

这也是AI长视频恒久难以真正进入生产环节的原因之一。。
。
。。。
。
。

以是，，创作者需要的并不但是一次性效果，，还需要像真实拍摄一样，，拥有能够妄想、天生、返工，，甚至局部重拍的工具。。
。
。

这个问题，，JoyAI-Echo手艺团队也想到了，，于是给视频模子配了一位「AI导演」——Director Agent。。
。
。

我们只需要用自然语言说需求，，它会自动资助拆分成剧本、角色、场景和镜头～

详细来说，，Director Agent整个手艺链路被拆成：策划、天生、点评修改三个阶段。。
。
。

在策划阶段，，Agent更像一位「编剧兼导演」。。
。
。

它会先明确用户意图，，将一句自然语言需求扩展成完整的故事框架，，增补角色设定、场景信息和叙事逻辑，，再进一步拆解为镜头级妄想，，最终天生切合模子训练名堂的结构化条件。。
。
。

进入天生阶段后，，Agent又酿成了一位「现场导演」。。
。
。

它会凭证目今镜头内容，，从已经天生的历史镜头中检索最相关的信息，，并将这些参考内容与目今剧本状态一起整理成模子需要的输入条件，，让天生模子能够准确挪用角色、场景和剧情上下文。。
。
。

△AI天生

最厥后到「点评修改」阶段，，这里反倒更像影视制作里的审片环节～

无论是用户反馈，，照旧自动评价模子发明问题，，只要角色形象、行动体现、对白内容或音画同步泛起误差，，Agent都能快速定位到详细镜头，，重新调解对应条件和影象信息。。
。
。。。
。
。

并且最主要的是，，Agent只对受影响的部分举行重天生，，而不需要推倒重来，，修改后的效果还会同步更新到后续剧情中，，确保整个故事始终坚持连贯一致～

也正由于云云，，JoyAI-Echo不再只是一个认真天生视频的模子，，而更像是一套完整的长视频创作系统。。
。
。

杀入全球第一梯队，，长视频天生最先靠近真实生产

光说不练假把式，，从官方评测数据来看，，JoyAI-Echo在长视频天生的多个要害指标上，，都展现出了领先体现。。
。
。

在用户盲测环节，，研究团队将JoyAI-Echo与现在代表性的长视频模子举行了比照，，效果显示——

在长视频使命中，，用户有63.6%的情形下更喜欢JoyAI-Echo天生的视频画面。。
。
。

在音频质量维度这一优势甚至抵达81.7%，，提醒词遵照偏好为80.6%，，IP一致性偏好为59.4%。。
。
。

纵然放在人像短视频这一竞争最强烈的赛道中，，与主流视频模子相比，，JoyAI-Echo依然获得了更高的视觉美学用户偏好（58.8%vs26.5%）。。
。
。

而JoyAI-Echo的宣布，，也同样标记着京东在长视频天生领域进入「全球第一梯队」：

已往几年，，AI视频天生虽然生长迅速，，但长视频始终停留在一个略显尴尬的位置：

演示效果惊艳，，真正投入生产却难题重重。。
。
。

角色容易变脸、声音容易漂移、天生速度过慢、修改本钱极高……这些问题决议了大大都长视频作品更像是手艺Demo，，而非真正意义上的生产工具。。
。
。

而JoyAI-Echo试图解决的，，恰恰是这些恒久困扰行业的焦点瓶颈。。
。
。

更主要的是，，与许多闭源模子差别，，JoyAI-Echo选择了「开源」。。
。
。

这意味着长视频天生不再只是少数头部公司的专属能力，，而最先成为一个能够被开发者、创作者和研究者配合验证、挪用和迭代的开下班具。。
。
。

△AI天生

手艺框架提供了起点，，开放则让更多可能性逐步长出来。。
。
。

当一致性、高分辨率、Agent等能力被开源一连验证和优化后，，行业内长视频天生的手艺迭代速率可能进一步加速。。
。
。

无论是虚拟IP故事、数字人内容、品牌营销视频，，照旧教育课件、知识解说、游戏动画和互动剧情，，高一致性、可控、可迭代的长视频生产都能够成为可能。。
。
。

若是说已往的大模子解决的是「能不可天生视频」的问题，，那么JoyAI-Echo正在实验回覆另一个更主要的问题：

AI能不可真正加入长视频的内容生产创作？？

从现在的效果来看，，谜底已经越来越靠近肯定。。
。
。

JoyAI-Echo带来的，，不但是一款新的长视频模子，，更是一次AI视频生产范式的推进。。
。
。

当稳固影象、实时交互、可控修改和高效天生最先同时泛起时，，AI长视频正在从手艺展示走向生产工具。。
。
。

一个更稳固、更可控的AI长视频时代，，正在被推到台前。。
。
。

GitHub地点：https://github.com/jd-opensource/JoyAI-Echo

项目主页：https://echo-team-joy-future-academy-jd.github.io/Echo-LongVideo-Page/

最新相关部分披露最新研究效果5分钟AI长视频不翻车！国产开源框架杀到全球第一梯队

梦瑶 闻乐 发自 凹非寺量子位 | 公众号 QbitAI

AIGC生长到今天，，天生几秒钟的AI视频真的已经不算新鲜事儿了。。
。
。

但！难的地方在于，，让统一个角色在几分钟里始终坚持一致（扎心.jpg）——

多镜头切换，，脸可能变了，，换场景，，衣服发型最先漂；；；；；人物启齿，，音色前后接不上。。
。
。

问题不在模子「不会造梦」，，而在于它很难「记着」这个梦……

△AI天生

也正因云云，，长视频天生迟迟未能进入全行业的生产流程，，更别说大规模商业化。。
。
。

在长视频天生整体卡壳确当下，，刚刚，，有团队给出了一套新解法——

开源长音视频天生框架JoyAI-Echo，，并杀入全球长视频天生领域全球「第一梯队」。。
。
。

把长视频创作里角色一致性、音色稳固性、天生速率和画面质量等天生痛点，，一把梭哈～

哪怕是几分钟的视频，，多镜头、多场景、多段语音一连切换，，人物形象和声音也能狠狠稳住。。
。
。

不但云云，，支持对话式编辑的Agent能力也一起安排上了，，以后我们做视频就像和导演谈天一样了！

然后嘛，，我再仔细一看，，这套高性能开源框架，，竟然来自——

京东？？！属实藏得太深……（震惊.jpg)

评测显示，，JoyAI-Echo在跨镜头一致性、语音准确率（0.8646）等指标上周全领先行业，，甚至用户偏好达59.4%~81.7%。。
。
。

这下好了，，AI视频也能所见即所得了。。
。
。

一个可交互、高一致性、可一连迭代的长视频时代来了！

长视频不再“跑偏”：高一致性、低延迟、实时超分

已往一年，，AI视频模子的竞争重点多集中在几秒到几十秒片断：画质、运镜、气概、物理合理性。。
。
。

各家模子卷得飞起，，效果确实肉眼可看法next level，，种种Benchmark评测体现也都很是漂亮。。
。
。

然鹅吧，，在AI视频天生似乎已经进入成熟期的今天，，一个问题依然没有被真正解决——长视频天生。。
。
。

原因很简朴：长视频，，对整个行业来说都《太难了》…….（扎心jpg)

相比短视频天生，，长视频不但是在时间维度上的简朴拉长，，更意味着跨镜头、跨场景、跨行动的一连叙事。。
。
。

但现在行业里的长视频天生，，仍然普遍保存几个恒久逆境：

语言人的音色忽高忽低；；；；；天生速率也慢得离谱，，往往要等上好几分钟才华看到效果。。
。
。

这些问题背后，，袒露的则是目今模子在长时序天生上的自然挑战：

模子过失累积、长程时序一致性弱、推理延迟高。。
。
。

最终带来的效果就是，，视频里的人物会变脸，，声音会飘，，天生还得等良久。。
。
。

这些问题也直接限制了AI视频在虚拟叙事、数字人助手、实时内容创作等场景中的进一步落地和「规；；；；；τ谩。。
。
。

△AI天生

而JoyAI-Echo给出的解法是，，通过跨模态音视频影象库、影象驱动后训练、轻量化实时超分让长视频天生更稳。。
。
。

哪怕是几分钟的视频，，我们也能丝滑拿下。。
。
。【芫馗闯榭ǎ。。
。
。

跨模态音视频影象库：角色再也不“变脸”

长视频天生最让人头疼、行业最难啃的一块骨头，，就是角色和声音的「前后纷歧致」。。
。
。

在JoyAI-Echo团队看来，，问题的泉源在于现有模子缺乏真正意义上的恒久影象能力。。
。
。

行业里古板方案、通常依赖上下文窗口生涯历史信息，，但随着视频长度增添，，早期内容会逐渐被后续信息稀释。。
。
。

模子虽然能够记着最近几个镜头，，却很难稳固生涯数分钟之前的人物特征。。
。
。

而JoyAI-Echo的做法是——

直接在框架里塞进了一套「跨模态音视频影象库」。。
。
。

与其让模子记着所有历史内容，，不如把最要害的身份信息生涯下来，，并在后续天生历程中一连挪用。。
。
。

这样一来，，即便视频长度来到5分钟，，角色的身份、外观和声音依然能够坚持高度一致。。
。
。。。
。
。

这套影象库最大的特点在于，，它纪录的不但是人物长相，，还会同步纪录语言人的音色，，并将两者绑定在一起。。
。
。

当角色首次登场时，，系统会提取其视觉特征和声音特征写入影象库；；；；；后续每天生一个镜头，，都会从影象库中调取这些信息作为参考。。
。
。

为了兼顾效果和效率，，系统也不会无限扩展影象，，而是保存故事开头的要害镜头，，以及最近天生的镜头。。
。
。

这样既不会遗忘主角最初长什么样，，也始终知道剧情刚刚推进到了那里：

以是说JoyAI-Echo并不是让模子拥有更大的影象力，，而是让模子学会像人一样影象——

只保存最主要的信息，，并在需要的时间准确挪用。。
。
。

而这套跨模态音视频影象机制，，也成为JoyAI-Echo实现5分钟长视频高一致性天生的焦点基础～

影象驱动后训练：速率提升7.5倍

关于长视频天生来说，，一致性只是第一步，，天生速率同样决议了产品能不可真正落地。。
。
。

为此JoyAI-Echo团队在模子训练之外，，又专门设计了一套影象驱动的后训练流程，，在不牺牲天生质量的条件下，，把推理效率再往前推一步～

整个流程主要分为三步，，首先通过SFT监视微调，，让模子学习高质量音视频天生能力。。
。
。

随后使用人类反馈强化学习进一步优化人物一致性、画面质量以及音画同步效果。。
。
。

最后再通过DMD（Distribution Matching Distillation）手艺，，将重大的大模子能力压缩到更高效的推理模子中。。
。
。

△AI天生

在整个后训练系统中，，DMD是最要害的一环。。
。
。

并且最最最最需要夸的一点是，，仅DMD相关优化就带来了约7.5倍的推理速率提升。。
。
。

我们可以把DMD明确成一次「能力浓缩」——

先让一个能力更强、但推理速率较慢的西席模子完成完整天生流程，，再让一个越发轻量的学生模子去学习和复现西席模子的天生效果。。
。
。

这样一来，，原本需要大宗扩散方法才华完成的天生使命，，被压缩成更少的推理方法，，模子却依然能够坚持靠近的天生效果。。
。
。

若是说跨模态音视频影象库解决的是「不要忘」，，那么这套后训练系统解决的就是「别太慢」。。
。
。

一个认真守住长视频的一致性，，一个认真提升长视频的天生效率。。
。
。

两者连系，，才让JoyAI-Echo真正具备了迈向长视频生产工具的基础能力～

轻量化实时超分：高清输出不卡顿

一致性有了，，速率也上来了，，但长视频天生尚有最后一道坎儿——清晰度。。
。
。

事实真到了数字人、品牌营销、短剧创作这些场景里，，谁也不希望最后拿到的是一个糊糊的视频……

但问题是，，目今业内通常接纳「视频天生+离线超分」的两阶段架构。。
。
。

视频先天生，，再交给自力超分模子处理。。
。
。

这种方案虽然也能提高分辨率，，但特殊引入了一轮推理流程，，不但增添期待时间，，还容易造成天生效果和超分效果的误差。。
。
。

意思就是，，高清是高清了，，可期待时间也随着上去了。。
。
。

△AI天生

而JoyAI-Echo给出的解决要领是，，立异性地把超分能力直接塞进天生链路里。。
。
。

详细来说，，系统会先天生720P视频和对应音频，，再通过轻量化实时超分？？橐徊酵瓿筛咔迨悠岛鸵羝迪附谠銮。。
。
。

整个超分历程只需要一次向前推理，，就能直接输出1K甚至2K分辨率效果～

这样不但画面细节更富厚，，音频质量也会同步优化。。
。
。

整个历程还不会显着增添天生延迟，，用户也终于可以不必在「速率」和「清晰度」之间做选择了。。
。
。

关于数字人直播、实时创作、内容互动这些对延迟极其敏感的场景来说，，高清输出不卡顿，，真的太香了……

Director Agent，，专属于你的AI视频导演搭子！

各人都懂，，现实中的影视制作，，历来不是一次完成的。。
。
。

已往的AI视频天生，，大多停留在一次性出片的阶段。。
。
。

从剧本、分镜到拍摄、审片，，再到返工和重拍，，每一个环节都需要重复打磨。。
。
。

若是其中某个镜头泛起问题，，创作者往往只能重新天生整条视频，，不但耗时，，也很难包管前后内容的一致性。。
。
。

这也是AI长视频恒久难以真正进入生产环节的原因之一。。
。
。。。
。
。

以是，，创作者需要的并不但是一次性效果，，还需要像真实拍摄一样，，拥有能够妄想、天生、返工，，甚至局部重拍的工具。。
。
。

这个问题，，JoyAI-Echo手艺团队也想到了，，于是给视频模子配了一位「AI导演」——Director Agent。。
。
。

我们只需要用自然语言说需求，，它会自动资助拆分成剧本、角色、场景和镜头～

详细来说，，Director Agent整个手艺链路被拆成：策划、天生、点评修改三个阶段。。
。
。

在策划阶段，，Agent更像一位「编剧兼导演」。。
。
。

它会先明确用户意图，，将一句自然语言需求扩展成完整的故事框架，，增补角色设定、场景信息和叙事逻辑，，再进一步拆解为镜头级妄想，，最终天生切合模子训练名堂的结构化条件。。
。
。

进入天生阶段后，，Agent又酿成了一位「现场导演」。。
。
。

它会凭证目今镜头内容，，从已经天生的历史镜头中检索最相关的信息，，并将这些参考内容与目今剧本状态一起整理成模子需要的输入条件，，让天生模子能够准确挪用角色、场景和剧情上下文。。
。
。

△AI天生

最厥后到「点评修改」阶段，，这里反倒更像影视制作里的审片环节～

无论是用户反馈，，照旧自动评价模子发明问题，，只要角色形象、行动体现、对白内容或音画同步泛起误差，，Agent都能快速定位到详细镜头，，重新调解对应条件和影象信息。。
。
。。。
。
。

并且最主要的是，，Agent只对受影响的部分举行重天生，，而不需要推倒重来，，修改后的效果还会同步更新到后续剧情中，，确保整个故事始终坚持连贯一致～

也正由于云云，，JoyAI-Echo不再只是一个认真天生视频的模子，，而更像是一套完整的长视频创作系统。。
。
。

杀入全球第一梯队，，长视频天生最先靠近真实生产

光说不练假把式，，从官方评测数据来看，，JoyAI-Echo在长视频天生的多个要害指标上，，都展现出了领先体现。。
。
。

在用户盲测环节，，研究团队将JoyAI-Echo与现在代表性的长视频模子举行了比照，，效果显示——

在长视频使命中，，用户有63.6%的情形下更喜欢JoyAI-Echo天生的视频画面。。
。
。

在音频质量维度这一优势甚至抵达81.7%，，提醒词遵照偏好为80.6%，，IP一致性偏好为59.4%。。
。
。

纵然放在人像短视频这一竞争最强烈的赛道中，，与主流视频模子相比，，JoyAI-Echo依然获得了更高的视觉美学用户偏好（58.8%vs26.5%）。。
。
。

而JoyAI-Echo的宣布，，也同样标记着京东在长视频天生领域进入「全球第一梯队」：

已往几年，，AI视频天生虽然生长迅速，，但长视频始终停留在一个略显尴尬的位置：

演示效果惊艳，，真正投入生产却难题重重。。
。
。

角色容易变脸、声音容易漂移、天生速度过慢、修改本钱极高……这些问题决议了大大都长视频作品更像是手艺Demo，，而非真正意义上的生产工具。。
。
。

而JoyAI-Echo试图解决的，，恰恰是这些恒久困扰行业的焦点瓶颈。。
。
。

更主要的是，，与许多闭源模子差别，，JoyAI-Echo选择了「开源」。。
。
。

这意味着长视频天生不再只是少数头部公司的专属能力，，而最先成为一个能够被开发者、创作者和研究者配合验证、挪用和迭代的开下班具。。
。
。

△AI天生

手艺框架提供了起点，，开放则让更多可能性逐步长出来。。
。
。

当一致性、高分辨率、Agent等能力被开源一连验证和优化后，，行业内长视频天生的手艺迭代速率可能进一步加速。。
。
。

无论是虚拟IP故事、数字人内容、品牌营销视频，，照旧教育课件、知识解说、游戏动画和互动剧情，，高一致性、可控、可迭代的长视频生产都能够成为可能。。
。
。

若是说已往的大模子解决的是「能不可天生视频」的问题，，那么JoyAI-Echo正在实验回覆另一个更主要的问题：

AI能不可真正加入长视频的内容生产创作？？

从现在的效果来看，，谜底已经越来越靠近肯定。。
。
。

JoyAI-Echo带来的，，不但是一款新的长视频模子，，更是一次AI视频生产范式的推进。。
。
。

当稳固影象、实时交互、可控修改和高效天生最先同时泛起时，，AI长视频正在从手艺展示走向生产工具。。
。
。

一个更稳固、更可控的AI长视频时代，，正在被推到台前。。
。
。

GitHub地点：https://github.com/jd-opensource/JoyAI-Echo

项目主页：https://echo-team-joy-future-academy-jd.github.io/Echo-LongVideo-Page/

随着六一儿童节邻近，，不少学校、幼儿园都最先着手准备庆祝演出，，儿童化妆品销售迎来小岑岭。。
。
。记者在吉林省内多个都会的小商品批发市场和化妆品店走访看到，，柜台上颜色鲜艳、名目各异的彩色眼影整齐摆放，，许多带有星星等形状的亮片，，不少化妆品还使用可爱的卡通形象作为外包装。。
。
。

凯时AG

央行一连18个月购金 投资者跟不跟