Stable Video Diffusion 下载+安装+简单使用

rafavi

Link

Stable Video Diffusion 介绍

一共开源了两个模型：

• SVD：能够生成帧率 14、分辨率 576x1024 的视频；
• SVD-XT：SVD 的 finetune 升级版，分辨率不变，但能够生成帧率 25 的视频；
  

注意：

想要本地跑 Stable Video Diffusion，显存得要 20G 左右。

二、Stable Video Diffusion 下载+安装+简单使用 教程

1、下载代码库

1. git clone https://github.com/Stability-AI/generative-models.git

复制代码

2、配置 Python 环境

由于第三方依赖库的要求，Python 需要至少是 3.10 版本以上。

下面的步骤如果你想用”venv“创建虚拟环境，命令大概类似如下：

1. python3 -m venv .pt2

复制代码

我这下面就先用conda环境管理工具了，原理都是一样的。

第一步：推荐使用 conda 新建一个环境。

1. conda create -n py310 python==3.10

复制代码

第二步：激活环境，并安装相应的依赖。

1. conda activate py310

复制代码

第三步：最后再安装 sgm，直接在项目根目录运行即可。

1. python -m pip install .

复制代码

第四步：如果想要训练模型，还需要安装 sdata，命令如下：

1. pip install -e git+https://github.com/Stability-AI/datapipelines.git@main#egg=sdata

复制代码

我这里就不说了，直接跳走了，先不走这一步了。

毕竟我个人电脑是训练不起的，我相信绝大多数人应该是跟我一样的。。

3、模型下载

SVD 模型下载地址：https://huggingface.co/stabilityai/stable-video-diffusion-img2vid

SVD-XT 模型下载地址：https://huggingface.co/stability ... iffusion-img2vid-xt

下载好模型后，将模型放到 checkpoints 目录下。

4、运行算法

可以使用 streamlit 运行：

1. streamlit run scripts/demo/video_sampling.py  --server.address  0.0.0.0  --server.port 7862

复制代码

或者

1. streamlit run scripts/demo/video_sampling.py   --server.port 7862

复制代码