大家好,这里是和你们一起探索 AI 的花生。
前几天知名 AI 视频处理平台 Runway 宣布开放测试旗下的 GEN-2,一款可以直接根据文本生成视频的工具,我们先看看官方放出的 2 个演示:
视频来源:推特@runwayml https://twitter.com/i/status/1664256235665866752
视频来源:Gen-2 Now Available | Runway - YouTube
了解 Runway:
看到视频时真的被小小的震撼了一下,因为画面的稳定度和流畅度都超乎想象。虽然目前用 AI 生成视频的方法并不少,比如之前为大家介绍的 D-ID,是通过图像来生成数字人视频;还有利用 Stable Diffusion WebUI 配合各种插件工具实现的“大叔变少女”或视频风格化。但是这些方法都需要图像或者视频作为参考样本才能生成新的视频,目前可以直接根据文本生成视频且质量如此之高的应该也只有 GEN-2 了 。
在 SD 中利用 Controlnet 配合 TemporalKit 及 Ebsynth 生成的无痕换脸视频,来源: https://twitter.com/yokohara_h/status/1657191627452981248
开放测试的 GEN-2 可以免费试用,也就是说我们每个人都可以体验这种通过文本生成视频的神奇操作,下面就为大家介绍一下 GEN-2 的使用方法。
Runway 官网: https://app.runwayml.com
首先点击上方链接进入 Runway 官网,先注册一个自己的账号然后登录,试了一下支持 QQ 邮箱。然后进入 Runway 主页,选择左侧 「Generat Videos」里的 Gen-2。
Gen-2 操作界面如下,我们直接在文本框内输出英文提示描述想要的场景,然后点击右侧的「Generate」生成视频。如果不确定想要什么内容,可以选择下面官方提供的参考,点击「Try This」可以直接将画面的关键词填充到我们的文本框内。
下面是我用文本生成的一段视频,提示词为“A cyberpunk style cityscape, Towering skyscrapers, Brilliant neon lights, Blade Runner, Sci-fi movie, High quality, 16K, Ultra HD(一个赛博朋克风格的城市景观,高耸的摩天大楼,辉煌的霓虹灯,银翼杀手,科幻电影,高品质,16K,超高清)”。
试用时只能生成 4 秒的视频,生成时间没有超过 1 分钟,速度还是非常快的。画面很好地表现了我想要的赛博朋克效果,动画稳定流畅,而且清晰度比我预期的还要高,只写一段简单的话就能生成这样一段视频真的太令人惊喜了。
每个新用户都有 105 秒的免费生成额度,虽然一次性只能生成 4 秒的视频,但是你可以设置一个脚本,分段生成里面的不同内容,然后拼在一起合成长视频。下面是我在上面视频的基础上,又附加了 3 个短视频合成的,描述了一段在赛博朋克城市里发生的故事,配上音乐是不是还挺像模像样的?过程真的超级简单,强烈建议大家都去尝试一下。
除了根据文本生成视频的 Gen-2,Runway 还有 2 个非常值得尝试的 AI 视频生成工具 「Gen-1」 和 「Frame Interpolation」,这里也顺带给大家介绍一下。
Gen-1 是一个视频转视频工具,只要你有免费试用额度,就可以尝试用它将一个视频转换为另一种的风格,下图是它的操作界面:
在 Gen-1 中可以通 3 种方式对视频进行风格化。一是提取图像风格应用到视频中,下面是提取一张赛博朋克图像的风格,对一段白模建筑视频进行转换后的效果。使用时可以通过「Style Strength」调节风格的强度,数值越高,赛博朋克风格就越强烈。
二是直接使用官方的预设风格,有黏土、云景、金属、黑白线稿、太空、渐变、科幻等 20 多种风格可以选择。下面是将一个真人视频转换为太空风格的效果,正式生成前可以点击「Preview styles」预览效果,如果觉得不好就换一种风格或者调整风格强度参数。
三是可以直接通过文本描述修改视频的风格,比如将一个实拍的自然风景改成动漫风:
Frame Interpolation 是一个图像平滑工具,上传数张图像,系统会自动在相邻图像间生成平滑的过渡,从而将图像转换为一段流畅的视频。这个工具是免费使用的,不消耗试用分钟数。
一般上传 3-8 张图像就足够了,图越多生成时间越长。上传成功后,在右侧点“Clip Duration”设置视频时长,点击“Advanced”里的“Transition Time”调整图像过渡的缓急,然后点击“Generate”等待视频完成就可以了。
在体验过 Runway 的这些 AI 视频工具后,自己非常真切地感受到了 AI 技术对我们工作方式的改变。或许现在用文本生成的视频在时长、清晰度、准确性等方面还有不足,但 AI 绘画从不会画脸到能以假乱真只用了几个月的时间,我们完全可以相信 AI 视频技术在未来肯定会更加发达。那时将给艺术家、动画和电影爱好者、视频内容创作者带来一种全新的创作方式,甚至会改变视频及影视制作行业。
如果喜欢本期推荐的话记得点赞收藏支持一波,想了解更多实用的 AI 神器,欢迎大家访问 「优设 AI 导航」,200+ 优质 AI 工具等你探索~
有关于本文或者设计的问题可以在评论区提出 ,我会第一时间回复。也欢迎大家扫描下方的二维码加入“优设 AI 绘画交流群”,和我及其他设计师一起交流学习 AI 知识~
推荐阅读:
复制本文链接 文章为作者独立观点不代表优设网立场,未经允许不得转载。
热评 自律