自 24 年 H2 开始,AI 视频行业以周为单位高速发展,GenLumio 是我从 24 年开始 0-1 规划 - 设计 - 开发的 AI 视频项目,旨在为大家带来每周最新鲜的 AI 视频优秀作品、产品动向。
我计划通过这个系列的文章选取新鲜产品动向、优质作品案例为大家介绍。
网站1期功能介绍
- 多维度分类:目前网站已整理出 20 种类别,包括 动漫、叙事短篇、增加元素、风格参考、主体物替换、首尾帧、对口型等,涵盖 AI 视频技术的主要应用场景。
- 涵盖多达 24 种主流 AI 视频生成产品及模型:从闭源的 Runway、Kling、Hailuo、Luma、Pika、Pixverse...到开源模型 Wan 2.1、CogVideoX、Live portrait、Animatediff 均有涵盖
- 动态更新:每周持续收录高质量作品,保持内容的前沿性。
品牌命名 & 设计理念
Gen 代表 Generative(生成式),是当前 AI 领域的核心概念之一。
Lumio 源自 Luminary(发光体)
整体寓意“生成灵感之光”,希望这一平台能够为 AI 视频创作者提供展示的平台,也方便大家了解最新的 AI 视频产品进展。
1. Pika
近几个月 Pika 动作颇多,在发布了主体物参考、主体物替换、给视频中添加元素、情人节模板等多个火爆功能后,Pika 模型也进入 2.2 时代。
当前生成分辨率升级至 1080p,支持生成 10s 长视频,并成为行业内第一个支持 10s 首尾帧功能的模型。
来自 Matt Menendez 的测评案例
目前支持 1080p 分辨率的有 Luma Ray2 和 Pika 2.2 模型;
目前支持首尾帧的产品有 Pika 2.2、Runway、Luma、Kling、Vidu。
2. Wan 2.1 最强开源模型
阿里 Wan 2.1 开源模型,支持 720p、480p 视频生成。但 Wan 模型对硬件要求极高,自行部署运行时间非常久。经过我的测试,可以说是当下最好的开源模型没有之一。非常感人的是,Wan 对于动漫平面风格的支持也很好,开源视频整体迭代较慢,期待今后有又好又快的模型出现。
这里我用 Wan 2.1 和 Luma 最新模型 Ray2 测试了几个案例做对比,可以看到 Wan 2.1 有着完全不输闭源模型的能力:视频中展示的片段几乎没有抽卡:
第二段油画花朵绽放的效果对语义理解到位,Luma 呈现的效果不佳;但第三段 Luma 准确理解慢动作镜头的指令而 Wan 没有。
大家如果想体验 Wan 的话可以考虑选择一些云端 All in one 平台,可以避免自己本地部署开源模型的麻烦,生成速度也更快。这里给大家推荐一款华人团队的产品 Pollo,集成了最新的 AI 视频、图像生成工具。套餐支持梯度定价,可选择性非常高。
访问地址: https://pollo.ai?ref=yti3mjk
一个账号可以同时使用市面上 11 款热门视频模型,还是挺香的
3. Luma
Luma 在发布了惊艳的 Ray2 模型后,更新了视频匹配声音、首尾帧、循环动画、延长时间等功能。
同时推出了新型号 Ray2 Flash,比 Ray2 速度快 3 倍、价格便宜 3 倍。
4. Pixverse
Pixverse 上线 4.0,其中一个 3D 效果的视频模板很有意思。自毒液特效、肌肉特效等爆火后,Pixverse 和 Pika 尝到了甜头,都在视频特效道路上不断尝试。
同时上周 Pixverse 宣布月活突破 1500 万,注册用户达 4000 万。
5. Runway
从去年下半年开始 Runway 模型层面沉寂了比较久的时间,最近比较大的更新是增加了首帧风格化能力,通过给模型输入一张风格化图片,可以实现视频整体风格转换。
这个案例出自@Ror_Fly,初始视频通过 VEO2 I2V 生成,然后通过 Premiere 进行像素化 + FPS 降低,通过 Magnific 的结构参考图像进行了首帧风格化,最终用 Runway 实现视频风格化。
1. T2V 短片 - 汗青
Veo2 是 Google 发布的 T2V 视频模型,目前在 T2V 方向上拥有独一档的效果,近期能看到越来越多使用 Veo2 T2V 完成的作品。以下作品来自国内知名博主汗青工作室
2. 数字人歌手 MV - 汗青
同样来自汗青工作室的作品,他们内测了本月将在即梦上线的 对口型模型 OmniHuman-1。该模型主要有以下特点:角度包容性高,此前的工具无法支持 90 度纯侧面;
精细还原口型细节 ,放大后连嘴周围皮肤和牙齿都清晰可见;
能够直接识别歌词并精准对口,同时情绪饱满;
支持多人同唱;
即便人物嘴部较小或存在遮挡,也能自然呈现。
3. Animate 短篇 - yachimat
最近身边很多朋友问我 Kling 是不是当前最好的视频模型,其实在动画领域 Kling 并不惊艳,即 Hailuo 发布针对动漫场景训练过的 I2V 模型后,当前 Vidu2、Luma Ray2 是很多创作者的首选。
这个视频出自我非常欣赏的 Animate 类 AI 视频博主 yachimat - AI Short Anime,以花样滑冰为背景,讲述了天才选手 suketo 与一位聋哑少女克服偏见与嫉妒、通过音乐实现心灵共鸣的故事。视频采用 Luma 最新的 Ray2 模型,在复杂运动、影子处理和头发动态表现等高难度场景上取得了突破,展示了 AI 视频模型在平面风格运动表现上的全新可能。发布后迅速吸引了 7 万浏览量。
GenLumio 还另外收录了几个使用 Ray2 模型制作的优秀 Animate 作品,感兴趣的朋友可访问网站观看: https://genlumio.framer.website/
这期播客访谈了 Luma AI 唯一的产品经理,可以了解到在这样技术驱动的团队,产品经理的职能角色和传统互联网行业的差异: https://www.xiaoyuzhoufm.com/episode/67bbc5b105a90dfd0d62ff9f
更多案例欢迎访问我的网站: https://genlumio.framer.website/
复制本文链接 文章为作者独立观点不代表优设网立场,未经允许不得转载。
发评论!每天赢奖品
点击 登录 后,在评论区留言,系统会随机派送奖品
2012年成立至今,是国内备受欢迎的设计师平台,提供奖品赞助 联系我们
商用级AIGC绘画创作与技巧
已累计诞生 688 位幸运星
发表评论 为下方 5 条评论点赞,解锁好运彩蛋
↓ 下方为您推荐了一些精彩有趣的文章热评 ↓