视频模子悄然了泰半年,,,,最近突然热闹了起来。。。
一天内,,,,Seedance 推出 2.5,,,,升级新版本,,,,而 MiniMax 也宣布了新模子 H3。。。
这操作属实不常见,,,,世超看了看 Articifial Analysis 的三个视频榜,,,,发明 MiniMax H3 直接凑了个 1,,,,2,,,,3。。。
好家伙,,,,隔这儿网络奖杯呢?????
并且更牛的是,,,,这模子照旧开源的,,,,在外洋创作者里也引起了不小的讨论,,,,大伙儿纷纷下场测试。。。
有说它指令遵照精准的,,,,视频模子终于能在黑板上准确写字了。。。
尚有说它一致性精彩的,,,,影戏叙事和商品广告的效果很好。。。
搞这么热闹,,,,那我得尝尝味道怎样了。。。
搓了一堆视频后,,,,先省流一波,,,,这模子确实有点工具,,,,2k 画质下,,,,细节和稳固性都很在线。。。
尤其是它 AI 后期的效果,,,,美术气概确实带感,,,,一度让我惊讶这种文字加排版的重大视频,,,,居然是模子搓出来的。。。
尚有定价,,,,768P 分辨率五毛一秒,,,,2K 则是八毛,,,,或许是之前一些旗舰模子三分之一的价钱,,,,性价比这块儿相当能打了。。。
话未几说,,,,咱先跑一下刚刚的案例验验货,,,,只给一句话,,,,让它写个欧拉公式看看成色。。。
这使命听着简朴,,,,就画几个符号的事儿,,,,但现实上无数视频模子都翻过车,,,,不是不晓得公式为何物,,,,就是还祛除笔,,,,字儿就凭空泛起了。。。
这次 MiniMax H3 的体现不赖,,,,你不可说它完善,,,,但这物理因果基本是对的。。。
最少手,,,,粉笔,,,,字迹????瓷先ズ侠,,,,不漂移,,,,粉笔写出来的质感和敲击黑板的配音也都没毛呲。。。
接下来再瞅瞅光影体现,,,,甩给它一张 3A 射击游戏的截图,,,,让它还原一下战场气氛。。。
看这效果,,,,你不说我以为又开了一把了呢,,,,这光追我平时搁自己电脑上都舍不得开。。。。。。。。。
大伙儿也可以关注一些细节,,,,好比左上角的小地图,,,,在人物转动视角的时间,,,,它是会随着一起转的。。;;;;;I杏锌沟氖奔,,,,枪声和抛壳的频率也是一致的。。。
这就是原生多模态的利益了,,,,它能更逼真地模拟物理天下,,,,画面声音和物理纪律会相对统一,,,,禁止易穿帮。。。
不过右下角的备弹数目照旧漏了点破绽,,,,这些小纰漏或许等模子能力再迭代几轮才华搞定。。。
虽然,,,,多模态尚有个利益,,,,就是生视频的时间,,,,你有啥素材只管往里丢就行,,,,什么图片,,,,视频,,,,音频,,,,都能当参考。。。
好比这里来个大杂烩,,,,先放个视频当运镜参考,,,,再来点人物和分镜图,,,,最后加俩音频当他们说的话,,,,可以说是能喂的都喂了。。。
视频里它倒也能接得住,,,,猫狗的毛发都挺有质感,,,,一致性也稳到了最后。。。
尤其是指令遵照上,,,,提醒词里五花八门的要求基本都知足了,,,,切镜,,,,神志,,,,以及精准卡点的一声叫,,,,都很带感。。。
唯一的遗憾是我忘加配景 BGM 了,,,,为了省点儿积分,,,,手动加了一下,,,,味道更足了,,,,进军二创视频指日可待。。。。。。。。。
但话说回来,,,,整活儿只是稍带的,,,,MiniMax 更强的地方着实是视频编辑,,,,别忘了,,,,编辑相关的跑分它干到了 AA 榜的第一位。。。
我直接对着桌面来了个实拍,,,,配合中年帕金森的稍微手抖,,,,看看它能怎么拯救视频效果。。。
效果相当 Amazing 啊,,,,虽然没什么炫酷的特效,,,,但加的这个手绘小玩意儿还挺灵动。。。
它从空中飞到鼠标上,,,,顺着镜头爬了两圈,,,,一个蓄力跳到了键盘上,,,,跳跃的行动跟手抖的部分正好吻合,,,,也是让我运上镜了。。。
接下来我又试了试多模态的编辑,,,,说人话就是把音频也放进来一起处理。。。之前可能就需要另外找个音频模子,,,,先提取音色,,,,然后天生配音,,,,最后再回到视频模子这儿融合。。。
但 H3 处理起来要简朴些,,,,克隆声音就随手的事儿。。。咱素材复用,,,,让写公式的老教授启齿念几句诗,,,,把一段美式口音丢进去让他克隆,,,,再换成英音朗诵。。。
老教授台风很稳,,,,扎好架子就开读,,,,声音克隆的很还原,,,,正宗老伦敦读莎士比亚,,,,味道就是正,,,,口型没误差,,,,肢体小行动也是话剧演讲的那套,,,,镜头一拉很专业好吧。。。
测试到这儿,,,,也能感受出来,,,,MiniMax H3 真正值得聊的,,,,着实不在于能不可搓个以假乱真的镜头。。。
由于真实感是个慢工出细活儿的差事,,,,需要大宗数据和算力喂养,,,,一眼看不到止境。。。
它或许是视频天生模子的主线,,,,但肯定不是唯一,,,,由于一条真正拿去用的视频,,,,除了画面真实感,,,,还要有文字排版,,,,剪辑转场,,,,以致音效和奇异的视觉气概,,,,这些都得打磨。。。
而 MiniMax H3 的特殊之处就在于,,,,它试图加入到片子的后期制作当中。。。先是点了多模态的手艺,,,,又在文字一致性上下功夫,,,,配合不俗的天下知识,,,,整体的编辑可控性比起之前就强了太多。。。
以是接下来,,,,我准备从基础的文字最先,,,,一步步加码,,,,看看它究竟能把 AI 后期做到什么水平。。。
先看文字,,,,直接扔一段歌曲进去,,,,让它做一段歌词的 MV。。。
以前老模子做这种视频,,,,先不说字体字形的准确性,,,,一旦运动起来,,,,纵然前面几帧对了,,,,后面也有可能模糊掉。。。
但 MiniMax H3 的处理精准的多,,,,它提取了 Prompt 中的主要形貌词,,,,先统了一下气概,,,,明确要搞成旧杂志拼贴的样式。。。
然后将歌词,,,,人像和线条融合进报纸碎片中,,,,文字不但是字幕,,,,会加入进视觉设计,,,,随着音乐缩放。。。配景也不是无关元素的堆砌,,,,词里有蓝色,,,,报纸上是真会甩几滴蓝色油漆。。。
再细点看的话,,,,倒是有一处拼写过失,,,,刚最先的「try」它拼成了「ttr」,,,,得微调一下,,,,不过整体文字的动态排版照旧挺靠谱的。。。
作为歌词的 MV,,,,这套工具完全可以批量合成,,,,演唱的时间就能直接放大屏幕上,,,,维持气概的同时每场还能整点花活儿。。。
文字站稳后,,,,我又给他上了一张橙子汽水的静态海报。。。
这次,,,,我想看它在稳固文字的基础上,,,,能不可往专业剪辑的偏向靠,,,,给产品加动态镜头,,,,处理好空间关系。。。
成片效果不错,,,,汽水罐从平面中央逐渐靠近,,,,罐体,,,,冰块,,,,水花冲出原本的海报画框。。。
这个前后景的比照很取巧,,,,它不是那种简朴的图片转动图,,,,而是用线框划脱离空间,,,,突脸给你来个 3D 效果,,,,既维持了原来的视觉特征,,,,又能把汽水的攻击力渲染出来。。。
不过,,,,一张海报再怎么冲出屏幕,,,,实质上照旧一个镜头。。。真正的广告片,,,,还得会组织多个画面。。。
我们请出编辑部老员工暖锅 ( 幼年版 ) 当模特,,,,拿起汽水罐,,,,做一条逻辑完整的汽水广告试试。。。
设计是这样的,,,,开头让暖锅翻开汽水喝一小口,,,,然后给特写,,,,人物一直换装,,,,然后整体的元素随主题变换。。。???Dチ返氖 H3 的资产调理和多镜头的一连性。。。
来看成片,,,,15 秒的时间叠加了 4 套主题,,,,但无论怎么转场,,,,暖锅以及橙子汽水罐的特征都没变形,,,,整套橙色视觉系统也延续了下来。。。
特殊是动效组合的不错,,,,汽水罐旋转时有变速,,,,周围配饰以及上方字体弹出也有惯性,,,,配合 BGM 相当丝滑。。。
这种效果比起拿 AE 手搓可能差点细节,,,,但都这个速率了,,,,还要啥自行车。。。
况且我也就抽了一次,,,,一批两个视频,,,,第一个汽水罐是上下转的,,,,第二个则是左右转,,,,思量的还挺全。。。。。。。。。
虽然,,,,说到 AE,,,,较量常见的就是 MG 动画,,,,这个着实是更偏后期的视频类型。。。
它比看上去要难堪多,,,,由于上面的宣传视频有角色和产品可以当现实参考,,,,但 MG 动画里,,,,文字怎么拆,,,,粒子怎么飞,,,,怎么组合都得自己来设计。。。
咱直接拿差评前沿部的 Logo 交给它,,,,让 MiniMax H3 做个动画瞧瞧。。。
你别说,,,,整得还挺花里胡哨,,,,整体特效围绕粒子和线条组成,,,,先散开延展出去,,,,然后在三维空间中旋转,,,,最后又收束重组回来。。。
21:9 的宽幅比例下,,,,视觉重心也没跑偏,,,,尤其中心一闪而过的是非效果,,,,看着还挺酷炫的。。。
最后,,,,咱把前面这些工具打包塞一起,,,,给它上个更难的使命,,,,让它模拟一下游戏的菜单选人界面。。。
效果视频效果很是利索,,,,整体陌头涂鸦的气概很耐看,,,,跟友情客串的暖锅也正好匹配。。。
菜单文字没跑偏,,,,光标点击也有反馈,,,,甚至还能换装,,,,装置差别配件,,,,这些转变都会实时反馈在暖锅本体上。。。
菜单到游戏的转场也很流通,,,,报纸糊住屏幕再撕开,,,,暖锅就蹿到了街区上。。。
虽然这实质照旧段动画,,,,但关于游戏制作而言,,,,这玩意儿已经能被拿去当看法设计,,,,或者提案的 Demo 了,,,,应用价值很是明确。。。
一堆测试跑下来,,,,MiniMax H3 的长板着实已经很清晰了,,,,就是它很是来劲的 AI 后期能力。。。
除了天生漂亮的镜头,,,,它还想帮你剪完整的片子。。。
虽然没强到指哪打哪,,,,但它缩短了通俗人跟成片之间的距离,,,,你不必学太多剪辑技巧,,,, 靠形貌也能搓个及格的作品出来。。。
22 年的时间,,,,Stable Diffusion 1.5 模子的开源引爆了 AI 绘画的热潮,,,,社区里大伙儿 DIY 得火朝天,,,,种种微调工具层出不穷。。。
而这次的 H3 视频模子也选择了开源,,,,那它未来会被各人折腾成什么样子呢?????
这个我是真想看看。。。。。。。。。