视频模子悄然了泰半年,,,,,最近突然热闹了起来。。。
一天内,,,,,Seedance 推出 2.5,,,,,升级新版本,,,,,而 MiniMax 也宣布了新模子 H3。。。
这操作属实不常见,,,,,世超看了看 Articifial Analysis 的三个视频榜,,,,,发明 MiniMax H3 直接凑了个 1,,,,,2,,,,,3。。。
好家伙,,,,,隔这儿网络奖杯呢??
并且更牛的是,,,,,这模子照旧开源的,,,,,在外洋创作者里也引起了不小的讨论,,,,,大伙儿纷纷下场测试。。。
有说它指令遵照精准的,,,,,视频模子终于能在黑板上准确写字了。。。
尚有说它一致性精彩的,,,,,影戏叙事和商品广告的效果很好。。。
搞这么热闹,,,,,那我得尝尝味道怎样了。。。
搓了一堆视频后,,,,,先省流一波,,,,,这模子确实有点工具,,,,,2k 画质下,,,,,细节和稳固性都很在线。。。
尤其是它 AI 后期的效果,,,,,美术气概确实带感,,,,,一度让我惊讶这种文字加排版的重大视频,,,,,居然是模子搓出来的。。。
尚有定价,,,,,768P 分辨率五毛一秒,,,,,2K 则是八毛,,,,,或许是之前一些旗舰模子三分之一的价钱,,,,,性价比这块儿相当能打了。。。
话未几说,,,,,咱先跑一下刚刚的案例验验货,,,,,只给一句话,,,,,让它写个欧拉公式看看成色。。。
这使命听着简朴,,,,,就画几个符号的事儿,,,,,但现实上无数视频模子都翻过车,,,,,不是不晓得公式为何物,,,,,就是还祛除笔,,,,,字儿就凭空泛起了。。。
这次 MiniMax H3 的体现不赖,,,,,你不可说它完善,,,,,但这物理因果基本是对的。。。
最少手,,,,,粉笔,,,,,字??瓷先ズ侠,,,,,不漂移,,,,,粉笔写出来的质感和敲击黑板的配音也都没毛呲。。。
接下来再瞅瞅光影体现,,,,,甩给它一张 3A 射击游戏的截图,,,,,让它还原一下战场气氛。。。
看这效果,,,,,你不说我以为又开了一把了呢,,,,,这光追我平时搁自己电脑上都舍不得开。。。。。。。。。
大伙儿也可以关注一些细节,,,,,好比左上角的小地图,,,,,在人物转动视角的时间,,,,,它是会随着一起转的。。;;I杏锌沟氖奔,,,,,枪声和抛壳的频率也是一致的。。。
这就是原生多模态的利益了,,,,,它能更逼真地模拟物理天下,,,,,画面声音和物理纪律会相对统一,,,,,禁止易穿帮。。。
不过右下角的备弹数目照旧漏了点破绽,,,,,这些小纰漏或许等模子能力再迭代几轮才华搞定。。。
虽然,,,,,多模态尚有个利益,,,,,就是生视频的时间,,,,,你有啥素材只管往里丢就行,,,,,什么图片,,,,,视频,,,,,音频,,,,,都能当参考。。。
好比这里来个大杂烩,,,,,先放个视频当运镜参考,,,,,再来点人物和分镜图,,,,,最后加俩音频当他们说的话,,,,,可以说是能喂的都喂了。。。
视频里它倒也能接得住,,,,,猫狗的毛发都挺有质感,,,,,一致性也稳到了最后。。。
尤其是指令遵照上,,,,,提醒词里五花八门的要求基本都知足了,,,,,切镜,,,,,神志,,,,,以及精准卡点的一声叫,,,,,都很带感。。。
唯一的遗憾是我忘加配景 BGM 了,,,,,为了省点儿积分,,,,,手动加了一下,,,,,味道更足了,,,,,进军二创视频指日可待。。。。。。。。。
但话说回来,,,,,整活儿只是稍带的,,,,,MiniMax 更强的地方着实是视频编辑,,,,,别忘了,,,,,编辑相关的跑分它干到了 AA 榜的第一位。。。
我直接对着桌面来了个实拍,,,,,配合中年帕金森的稍微手抖,,,,,看看它能怎么拯救视频效果。。。
效果相当 Amazing 啊,,,,,虽然没什么炫酷的特效,,,,,但加的这个手绘小玩意儿还挺灵动。。。
它从空中飞到鼠标上,,,,,顺着镜头爬了两圈,,,,,一个蓄力跳到了键盘上,,,,,跳跃的行动跟手抖的部分正好吻合,,,,,也是让我运上镜了。。。
接下来我又试了试多模态的编辑,,,,,说人话就是把音频也放进来一起处理。。。之前可能就需要另外找个音频模子,,,,,先提取音色,,,,,然后天生配音,,,,,最后再回到视频模子这儿融合。。。
但 H3 处理起来要简朴些,,,,,克隆声音就随手的事儿。。。咱素材复用,,,,,让写公式的老教授启齿念几句诗,,,,,把一段美式口音丢进去让他克隆,,,,,再换成英音朗诵。。。
老教授台风很稳,,,,,扎好架子就开读,,,,,声音克隆的很还原,,,,,正宗老伦敦读莎士比亚,,,,,味道就是正,,,,,口型没误差,,,,,肢体小行动也是话剧演讲的那套,,,,,镜头一拉很专业好吧。。。
测试到这儿,,,,,也能感受出来,,,,,MiniMax H3 真正值得聊的,,,,,着实不在于能不可搓个以假乱真的镜头。。。
由于真实感是个慢工出细活儿的差事,,,,,需要大宗数据和算力喂养,,,,,一眼看不到止境。。。
它或许是视频天生模子的主线,,,,,但肯定不是唯一,,,,,由于一条真正拿去用的视频,,,,,除了画面真实感,,,,,还要有文字排版,,,,,剪辑转场,,,,,以致音效和奇异的视觉气概,,,,,这些都得打磨。。。
而 MiniMax H3 的特殊之处就在于,,,,,它试图加入到片子的后期制作当中。。。先是点了多模态的手艺,,,,,又在文字一致性上下功夫,,,,,配合不俗的天下知识,,,,,整体的编辑可控性比起之前就强了太多。。。
以是接下来,,,,,我准备从基础的文字最先,,,,,一步步加码,,,,,看看它究竟能把 AI 后期做到什么水平。。。
先看文字,,,,,直接扔一段歌曲进去,,,,,让它做一段歌词的 MV。。。
以前老模子做这种视频,,,,,先不说字体字形的准确性,,,,,一旦运动起来,,,,,纵然前面几帧对了,,,,,后面也有可能模糊掉。。。
但 MiniMax H3 的处理精准的多,,,,,它提取了 Prompt 中的主要形貌词,,,,,先统了一下气概,,,,,明确要搞成旧杂志拼贴的样式。。。
然后将歌词,,,,,人像和线条融合进报纸碎片中,,,,,文字不但是字幕,,,,,会加入进视觉设计,,,,,随着音乐缩放。。。配景也不是无关元素的堆砌,,,,,词里有蓝色,,,,,报纸上是真会甩几滴蓝色油漆。。。
再细点看的话,,,,,倒是有一处拼写过失,,,,,刚最先的「try」它拼成了「ttr」,,,,,得微调一下,,,,,不过整体文字的动态排版照旧挺靠谱的。。。
作为歌词的 MV,,,,,这套工具完全可以批量合成,,,,,演唱的时间就能直接放大屏幕上,,,,,维持气概的同时每场还能整点花活儿。。。
文字站稳后,,,,,我又给他上了一张橙子汽水的静态海报。。。
这次,,,,,我想看它在稳固文字的基础上,,,,,能不可往专业剪辑的偏向靠,,,,,给产品加动态镜头,,,,,处理好空间关系。。。
成片效果不错,,,,,汽水罐从平面中央逐渐靠近,,,,,罐体,,,,,冰块,,,,,水花冲出原本的海报画框。。。
这个前后景的比照很取巧,,,,,它不是那种简朴的图片转动图,,,,,而是用线框划脱离空间,,,,,突脸给你来个 3D 效果,,,,,既维持了原来的视觉特征,,,,,又能把汽水的攻击力渲染出来。。。
不过,,,,,一张海报再怎么冲出屏幕,,,,,实质上照旧一个镜头。。。真正的广告片,,,,,还得会组织多个画面。。。
我们请出编辑部老员工暖锅 ( 幼年版 ) 当模特,,,,,拿起汽水罐,,,,,做一条逻辑完整的汽水广告试试。。。
设计是这样的,,,,,开头让暖锅翻开汽水喝一小口,,,,,然后给特写,,,,,人物一直换装,,,,,然后整体的元素随主题变换。。?Dチ返氖 H3 的资产调理和多镜头的一连性。。。
来看成片,,,,,15 秒的时间叠加了 4 套主题,,,,,但无论怎么转场,,,,,暖锅以及橙子汽水罐的特征都没变形,,,,,整套橙色视觉系统也延续了下来。。。
特殊是动效组合的不错,,,,,汽水罐旋转时有变速,,,,,周围配饰以及上方字体弹出也有惯性,,,,,配合 BGM 相当丝滑。。。
这种效果比起拿 AE 手搓可能差点细节,,,,,但都这个速率了,,,,,还要啥自行车。。。
况且我也就抽了一次,,,,,一批两个视频,,,,,第一个汽水罐是上下转的,,,,,第二个则是左右转,,,,,思量的还挺全。。。。。。。。。
虽然,,,,,说到 AE,,,,,较量常见的就是 MG 动画,,,,,这个着实是更偏后期的视频类型。。。
它比看上去要难堪多,,,,,由于上面的宣传视频有角色和产品可以当现实参考,,,,,但 MG 动画里,,,,,文字怎么拆,,,,,粒子怎么飞,,,,,怎么组合都得自己来设计。。。
咱直接拿差评前沿部的 Logo 交给它,,,,,让 MiniMax H3 做个动画瞧瞧。。。
你别说,,,,,整得还挺花里胡哨,,,,,整体特效围绕粒子和线条组成,,,,,先散开延展出去,,,,,然后在三维空间中旋转,,,,,最后又收束重组回来。。。
21:9 的宽幅比例下,,,,,视觉重心也没跑偏,,,,,尤其中心一闪而过的是非效果,,,,,看着还挺酷炫的。。。
最后,,,,,咱把前面这些工具打包塞一起,,,,,给它上个更难的使命,,,,,让它模拟一下游戏的菜单选人界面。。。
效果视频效果很是利索,,,,,整体陌头涂鸦的气概很耐看,,,,,跟友情客串的暖锅也正好匹配。。。
菜单文字没跑偏,,,,,光标点击也有反馈,,,,,甚至还能换装,,,,,装置差别配件,,,,,这些转变都会实时反馈在暖锅本体上。。。
菜单到游戏的转场也很流通,,,,,报纸糊住屏幕再撕开,,,,,暖锅就蹿到了街区上。。。
虽然这实质照旧段动画,,,,,但关于游戏制作而言,,,,,这玩意儿已经能被拿去当看法设计,,,,,或者提案的 Demo 了,,,,,应用价值很是明确。。。
一堆测试跑下来,,,,,MiniMax H3 的长板着实已经很清晰了,,,,,就是它很是来劲的 AI 后期能力。。。
除了天生漂亮的镜头,,,,,它还想帮你剪完整的片子。。。
虽然没强到指哪打哪,,,,,但它缩短了通俗人跟成片之间的距离,,,,,你不必学太多剪辑技巧,,,,, 靠形貌也能搓个及格的作品出来。。。
22 年的时间,,,,,Stable Diffusion 1.5 模子的开源引爆了 AI 绘画的热潮,,,,,社区里大伙儿 DIY 得火朝天,,,,,种种微调工具层出不穷。。。
而这次的 H3 视频模子也选择了开源,,,,,那它未来会被各人折腾成什么样子呢??
这个我是真想看看。。。。。。。。。