ComfyUI SVD 图片转短视频工作流分享！低配置也能用！

大家好，这里是和你们一起探索 AI 的花生~

之前为大家推荐过一些可以将图像转为动图或者短视频的 AI 工具，比如 LeiaPix Converter、Runway、Pika 等，今天再为大家推荐一种在本地免费实现图像转短视频的方式，即在 ComfyUI 中使用开源模型 Stable Video Diffusion （SVD），经测试 8G 的显存也能用，并且效果也相当不错。

相关推荐：

一、Stable Video Diffusion 简介

Stable Video Diffusion（SVD）是 Stability AI 推出的开源图像到视频生成模型，可以生成基于输入图像生成 2-6 秒的高分辨率（576x1024）视频。

原图：

用 SVD 转为视频后：

官方目前放出了 2 款模型，分别是 SVD 和 SVD-XT（文末有模型资源包），其中 SVD 可以生成 14 帧的视频，SVD-XT 可以生成 25 帧的视频。 它们还分别有一个升级版本 svd_image_decoder 和 svd_xt_image_decoder，是将 sd1.5/sd2.1 vae 添加到了原本的模型中，可以让生成的视频细节更好，但是总体的稳定性不太好。

1. SVD 模型地址： https://huggingface.co/stabilityai/stable-video-diffusion-img2vid/tree/main
2. SVD-XT 模型地址： https://huggingface.co/stabilityai/stable-video-diffusion-img2vid-xt/tree/main

二、ComfyUI：SVD 图像转视频

有了开源模型，我们就可以在 ComfyUI 中通过 SVD 免费将图像转为短视频，下图是一个 SVD 的基础工作流（文末有 json 文件），其使用方法如下：

①首先将 svd.safetensors 或 svd_xt.safetensors 放入大模型文件夹中；

②将工作流文件拖入 ComfyUI 界面，对于缺失的节点可以在 Manager 中补全后再重启；

③SVD_image2vid_conditioning 是控制视频生成效果的关键节点，里面的参数作用分别是：

• width/heigth：视频的宽高，最好和上传的图像尺寸一致。官方推荐的尺寸是 1024*576 或者 576*1024；
• video_frames：视频总帧数，按视频大模型来设定，即 svd 为 14 帧，svd_xt 为 25 帧。总帧数越多，能生成更明显生动的动作，但是对显存的压力也更大。
• motion_bucket_id：控制视频动态，数值范围 1-255，数值越大，动态越明显，推荐 125-180。
• fps：Frames Per Second 每秒传输帧数，数值范围 5-30，数值过高视频可能会不稳定，一般推荐 6-8。
• augmentation level：表示添加到初始图像中的噪点量。数值越高，视频看起来就越不像初始图像，但提高该值可获得更多动态效果，推荐设置为 0.1。

④VideoLinearCFGGuidance（视频线性引导）节点的作用是线性缩放不同帧的 cfg 数值。其数值 1.0 代表第一帧的 cfg 值，Kampler 节点中的 2.5 代表最后一帧的 cfg 值，那么中间一帧的 cfg 数值就是 1.75。这样离初始帧较远的帧将获得逐渐升高的 cfg 值，可以稍微改善视频模型的采样效果。

⑤Kampler 节点中的 cfg 数值需要随视频总帧数进行变化。如果是 25 帧，则 2.5 足够，如果是 50 帧， 则需要适当增加，比如改为 5.0。

工作流设置完成后，上传一张图像，运行后即可将其转为动态。我的显存是 8G，大概 2 分钟就能生成一个 3s 的 1024*576 短视频（14 帧）。

除了上传图像，我们也可以将文生图流程接入上面的基础工作流，这样就能直接通过文本生成短视频了。我提供的工作流是 SD 1.5 的，如果要用 SDXL 模型，难么文生图模块里 Ksampler 内的生成参数记得要做出对应的调整；同时视频模型也用的是 25 帧的 SVD_XT 模型，转换时间大概是 9 分钟。

转换结果

此外我们还可以添加一些额外的节点，让图片转视频的效果更稳定、效率更高。

下图工作流中使用了 LCM Lora 来提升图像生成效率，让 25 帧视频的生成时间由 9 分钟缩短至 5 分钟，对显存的压力也更小；FreeU_V2 节点让图像细节更精准；RIFE VFI 节点则可以进行视频插帧，让效果更流畅。不过 LCM Lora 也会让视频生成的质量有所下降，画面会变得更模糊，在实际应用中大家可以结合自己的需求看是否使用。

转换结果(多调节 lora 权重、SVD 动态强度、SVD 噪点强度和 Ksampler 中的 cfg 参数进行抽卡)：

好了以上就是本期为大家分享的在 ComfyUI 中使用 SVD 模型实现图像免费转视频的相关内容，相关的资源都在文末的网盘里，大家记得下载。想了解更多 AI 知识或者 AI 效率神器，欢迎访问 「优设 AI 导航」，每天都有新鲜的 AI 干货分享。也欢迎大家扫描下方的二维码加入“优设 AI 绘画交流群”，和我及其他 设计师 一起交流学习 AI 知识~

推荐阅读：