视频模子悄然了泰半年,,,,,,最近突然热闹了起来。。。。
一天内,,,,,,Seedance 推出 2.5,,,,,,升级新版本,,,,,,而 MiniMax 也宣布了新模子 H3。。。。
这操作属实不常见,,,,,,世超看了看 Articifial Analysis 的三个视频榜,,,,,,发明 MiniMax H3 直接凑了个 1,,,,,,2,,,,,,3。。。。
好家伙,,,,,,隔这儿网络奖杯呢???
并且更牛的是,,,,,,这模子照旧开源的,,,,,,在外洋创作者里也引起了不小的讨论,,,,,,大伙儿纷纷下场测试。。。。
有说它指令遵照精准的,,,,,,视频模子终于能在黑板上准确写字了。。。。
尚有说它一致性精彩的,,,,,,影戏叙事和商品广告的效果很好。。。。
搞这么热闹,,,,,,那我得尝尝味道怎样了。。。。
搓了一堆视频后,,,,,,先省流一波,,,,,,这模子确实有点工具,,,,,,2k 画质下,,,,,,细节和稳固性都很在线。。。。
尤其是它 AI 后期的效果,,,,,,美术气概确实带感,,,,,,一度让我惊讶这种文字加排版的重大视频,,,,,,居然是模子搓出来的。。。。
尚有定价,,,,,,768P 分辨率五毛一秒,,,,,,2K 则是八毛,,,,,,或许是之前一些旗舰模子三分之一的价钱,,,,,,性价比这块儿相当能打了。。。。
话未几说,,,,,,咱先跑一下刚刚的案例验验货,,,,,,只给一句话,,,,,,让它写个欧拉公式看看成色。。。。
这使命听着简朴,,,,,,就画几个符号的事儿,,,,,,但现实上无数视频模子都翻过车,,,,,,不是不晓得公式为何物,,,,,,就是还祛除笔,,,,,,字儿就凭空泛起了。。。。
这次 MiniMax H3 的体现不赖,,,,,,你不可说它完善,,,,,,但这物理因果基本是对的。。。。
最少手,,,,,,粉笔,,,,,,字迹??瓷先ズ侠,,,,,,不漂移,,,,,,粉笔写出来的质感和敲击黑板的配音也都没毛呲。。。。
接下来再瞅瞅光影体现,,,,,,甩给它一张 3A 射击游戏的截图,,,,,,让它还原一下战场气氛。。。。
看这效果,,,,,,你不说我以为又开了一把了呢,,,,,,这光追我平时搁自己电脑上都舍不得开。。。。。。。。。。。。
大伙儿也可以关注一些细节,,,,,,好比左上角的小地图,,,,,,在人物转动视角的时间,,,,,,它是会随着一起转的。。。;I杏锌沟氖奔,,,,,,枪声和抛壳的频率也是一致的。。。。
这就是原生多模态的利益了,,,,,,它能更逼真地模拟物理天下,,,,,,画面声音和物理纪律会相对统一,,,,,,禁止易穿帮。。。。
不过右下角的备弹数目照旧漏了点破绽,,,,,,这些小纰漏或许等模子能力再迭代几轮才华搞定。。。。
虽然,,,,,,多模态尚有个利益,,,,,,就是生视频的时间,,,,,,你有啥素材只管往里丢就行,,,,,,什么图片,,,,,,视频,,,,,,音频,,,,,,都能当参考。。。。
好比这里来个大杂烩,,,,,,先放个视频当运镜参考,,,,,,再来点人物和分镜图,,,,,,最后加俩音频当他们说的话,,,,,,可以说是能喂的都喂了。。。。
视频里它倒也能接得住,,,,,,猫狗的毛发都挺有质感,,,,,,一致性也稳到了最后。。。。
尤其是指令遵照上,,,,,,提醒词里五花八门的要求基本都知足了,,,,,,切镜,,,,,,神志,,,,,,以及精准卡点的一声叫,,,,,,都很带感。。。。
唯一的遗憾是我忘加配景 BGM 了,,,,,,为了省点儿积分,,,,,,手动加了一下,,,,,,味道更足了,,,,,,进军二创视频指日可待。。。。。。。。。。。。
但话说回来,,,,,,整活儿只是稍带的,,,,,,MiniMax 更强的地方着实是视频编辑,,,,,,别忘了,,,,,,编辑相关的跑分它干到了 AA 榜的第一位。。。。
我直接对着桌面来了个实拍,,,,,,配合中年帕金森的稍微手抖,,,,,,看看它能怎么拯救视频效果。。。。
效果相当 Amazing 啊,,,,,,虽然没什么炫酷的特效,,,,,,但加的这个手绘小玩意儿还挺灵动。。。。
它从空中飞到鼠标上,,,,,,顺着镜头爬了两圈,,,,,,一个蓄力跳到了键盘上,,,,,,跳跃的行动跟手抖的部分正好吻合,,,,,,也是让我运上镜了。。。。
接下来我又试了试多模态的编辑,,,,,,说人话就是把音频也放进来一起处理。。。。之前可能就需要另外找个音频模子,,,,,,先提取音色,,,,,,然后天生配音,,,,,,最后再回到视频模子这儿融合。。。。
但 H3 处理起来要简朴些,,,,,,克隆声音就随手的事儿。。。。咱素材复用,,,,,,让写公式的老教授启齿念几句诗,,,,,,把一段美式口音丢进去让他克隆,,,,,,再换成英音朗诵。。。。
老教授台风很稳,,,,,,扎好架子就开读,,,,,,声音克隆的很还原,,,,,,正宗老伦敦读莎士比亚,,,,,,味道就是正,,,,,,口型没误差,,,,,,肢体小行动也是话剧演讲的那套,,,,,,镜头一拉很专业好吧。。。。
测试到这儿,,,,,,也能感受出来,,,,,,MiniMax H3 真正值得聊的,,,,,,着实不在于能不可搓个以假乱真的镜头。。。。
由于真实感是个慢工出细活儿的差事,,,,,,需要大宗数据和算力喂养,,,,,,一眼看不到止境。。。。
它或许是视频天生模子的主线,,,,,,但肯定不是唯一,,,,,,由于一条真正拿去用的视频,,,,,,除了画面真实感,,,,,,还要有文字排版,,,,,,剪辑转场,,,,,,以致音效和奇异的视觉气概,,,,,,这些都得打磨。。。。
而 MiniMax H3 的特殊之处就在于,,,,,,它试图加入到片子的后期制作当中。。。。先是点了多模态的手艺,,,,,,又在文字一致性上下功夫,,,,,,配合不俗的天下知识,,,,,,整体的编辑可控性比起之前就强了太多。。。。
以是接下来,,,,,,我准备从基础的文字最先,,,,,,一步步加码,,,,,,看看它究竟能把 AI 后期做到什么水平。。。。
先看文字,,,,,,直接扔一段歌曲进去,,,,,,让它做一段歌词的 MV。。。。
以前老模子做这种视频,,,,,,先不说字体字形的准确性,,,,,,一旦运动起来,,,,,,纵然前面几帧对了,,,,,,后面也有可能模糊掉。。。。
但 MiniMax H3 的处理精准的多,,,,,,它提取了 Prompt 中的主要形貌词,,,,,,先统了一下气概,,,,,,明确要搞成旧杂志拼贴的样式。。。。
然后将歌词,,,,,,人像和线条融合进报纸碎片中,,,,,,文字不但是字幕,,,,,,会加入进视觉设计,,,,,,随着音乐缩放。。。。配景也不是无关元素的堆砌,,,,,,词里有蓝色,,,,,,报纸上是真会甩几滴蓝色油漆。。。。
再细点看的话,,,,,,倒是有一处拼写过失,,,,,,刚最先的「try」它拼成了「ttr」,,,,,,得微调一下,,,,,,不过整体文字的动态排版照旧挺靠谱的。。。。
作为歌词的 MV,,,,,,这套工具完全可以批量合成,,,,,,演唱的时间就能直接放大屏幕上,,,,,,维持气概的同时每场还能整点花活儿。。。。
文字站稳后,,,,,,我又给他上了一张橙子汽水的静态海报。。。。
这次,,,,,,我想看它在稳固文字的基础上,,,,,,能不可往专业剪辑的偏向靠,,,,,,给产品加动态镜头,,,,,,处理好空间关系。。。。
成片效果不错,,,,,,汽水罐从平面中央逐渐靠近,,,,,,罐体,,,,,,冰块,,,,,,水花冲出原本的海报画框。。。。
这个前后景的比照很取巧,,,,,,它不是那种简朴的图片转动图,,,,,,而是用线框划脱离空间,,,,,,突脸给你来个 3D 效果,,,,,,既维持了原来的视觉特征,,,,,,又能把汽水的攻击力渲染出来。。。。
不过,,,,,,一张海报再怎么冲出屏幕,,,,,,实质上照旧一个镜头。。。。真正的广告片,,,,,,还得会组织多个画面。。。。
我们请出编辑部老员工暖锅 ( 幼年版 ) 当模特,,,,,,拿起汽水罐,,,,,,做一条逻辑完整的汽水广告试试。。。。
设计是这样的,,,,,,开头让暖锅翻开汽水喝一小口,,,,,,然后给特写,,,,,,人物一直换装,,,,,,然后整体的元素随主题变换。。。。?Dチ返氖 H3 的资产调理和多镜头的一连性。。。。
来看成片,,,,,,15 秒的时间叠加了 4 套主题,,,,,,但无论怎么转场,,,,,,暖锅以及橙子汽水罐的特征都没变形,,,,,,整套橙色视觉系统也延续了下来。。。。
特殊是动效组合的不错,,,,,,汽水罐旋转时有变速,,,,,,周围配饰以及上方字体弹出也有惯性,,,,,,配合 BGM 相当丝滑。。。。
这种效果比起拿 AE 手搓可能差点细节,,,,,,但都这个速率了,,,,,,还要啥自行车。。。。
况且我也就抽了一次,,,,,,一批两个视频,,,,,,第一个汽水罐是上下转的,,,,,,第二个则是左右转,,,,,,思量的还挺全。。。。。。。。。。。。
虽然,,,,,,说到 AE,,,,,,较量常见的就是 MG 动画,,,,,,这个着实是更偏后期的视频类型。。。。
它比看上去要难堪多,,,,,,由于上面的宣传视频有角色和产品可以当现实参考,,,,,,但 MG 动画里,,,,,,文字怎么拆,,,,,,粒子怎么飞,,,,,,怎么组合都得自己来设计。。。。
咱直接拿差评前沿部的 Logo 交给它,,,,,,让 MiniMax H3 做个动画瞧瞧。。。。
你别说,,,,,,整得还挺花里胡哨,,,,,,整体特效围绕粒子和线条组成,,,,,,先散开延展出去,,,,,,然后在三维空间中旋转,,,,,,最后又收束重组回来。。。。
21:9 的宽幅比例下,,,,,,视觉重心也没跑偏,,,,,,尤其中心一闪而过的是非效果,,,,,,看着还挺酷炫的。。。。
最后,,,,,,咱把前面这些工具打包塞一起,,,,,,给它上个更难的使命,,,,,,让它模拟一下游戏的菜单选人界面。。。。
效果视频效果很是利索,,,,,,整体陌头涂鸦的气概很耐看,,,,,,跟友情客串的暖锅也正好匹配。。。。
菜单文字没跑偏,,,,,,光标点击也有反馈,,,,,,甚至还能换装,,,,,,装置差别配件,,,,,,这些转变都会实时反馈在暖锅本体上。。。。
菜单到游戏的转场也很流通,,,,,,报纸糊住屏幕再撕开,,,,,,暖锅就蹿到了街区上。。。。
虽然这实质照旧段动画,,,,,,但关于游戏制作而言,,,,,,这玩意儿已经能被拿去当看法设计,,,,,,或者提案的 Demo 了,,,,,,应用价值很是明确。。。。
一堆测试跑下来,,,,,,MiniMax H3 的长板着实已经很清晰了,,,,,,就是它很是来劲的 AI 后期能力。。。。
除了天生漂亮的镜头,,,,,,它还想帮你剪完整的片子。。。。
虽然没强到指哪打哪,,,,,,但它缩短了通俗人跟成片之间的距离,,,,,,你不必学太多剪辑技巧,,,,,, 靠形貌也能搓个及格的作品出来。。。。
22 年的时间,,,,,,Stable Diffusion 1.5 模子的开源引爆了 AI 绘画的热潮,,,,,,社区里大伙儿 DIY 得火朝天,,,,,,种种微调工具层出不穷。。。。
而这次的 H3 视频模子也选择了开源,,,,,,那它未来会被各人折腾成什么样子呢???
这个我是真想看看。。。。。。。。。。。。