画像から動画を作る新技術Stable-Video-Diffusion(SVD)環境構築 徹底解説

スポンサーリンク
Stable Diffusion
スポンサーリンク

この記事では今年の11月末にリリースされた画像から動画を作成できるStable Video Diffusion(SVD)の環境構築方法を解説したいと思います。今のところ、最長で25フレームの短い動画しか作れませんが、1枚の静止画から動画が作れる非常に画期的な技術です。皆さんも実際にセットアップして、試してみてください。この記事の内容はYouTubeにもアップしていますので、是非そちらもご覧ください。

Stable Video Diffusion(SVD)とは

Stable Video Diffusion はStable Diffusionの開発元であるStability AIが開発した新機能です。まだ開発段階で、2023年12月8日現在、商用利用は認められていませんので、その点はご注意ください。今のところ、最長で25フレームの短い動画しか作れませんが、1枚の静止画から動画が作れる非常に画期的な技術です。これまでも、画像から動画を作る技術はあったのですが、動きが不自然だったり、限られた動きしか出来なかったり、かなりの制限がありました。しかし、このStable Video Diffusionは、短いながらも、非常に自然な動きをします。これは、Stable Video Diffusionのモデルが、6億という非常に多くのビデオサンプルから動きを学習しているからです。それによって、このStable Video Diffusionの動画の中では、風や光、波、乗り物など、いろいろなものの動きが自然で、まるで物理法則を理解しているように見えるまでになっています。皆さんも実際にセットアップして、試してみてください。

Stable Video Diffusionの動画例(複数の動画をつなぎ合わせています)

事前準備

以下を確認してください。

1.パソコンのスペック
・StableDiffusionが動くPCが必要です。NVIDIA GeForce RTX30xxシリーズや40xxシリーズなどの高性能のGPU搭載PCがおすすめです。
・GPUのビデオメモリ(VRAM)は8GB以上。(10GB以上あると安心です)
・下の記事でおすすめPCを紹介しています。

2.GPUのドライバーのセットアップ
・GPUのドライバーが古かったり、インストールされていないとセットアップに失敗することがありますので、その時はドライバーを更新してください。
・NVIDIAのGeForceドライバーは以下のこちらの動画でも解説しています。

3.7-ZIPのインストール
・今回、ComfyUIでStableDiffusionを動かしますが、ComfyUIのインストールには7z形式のファイルの解凍ソフト、7-ZIPが必要です。
・7-ZIPのインストール方法はこちらのYouTube動画でも解説しています。

ComfyUIのインストールと起動

ComfyUIはGitHubのサイトから7z形式のパッケージファイルをダウンロードしてきて、インストールします。ComfyUIのセットアップ方法については、以前の記事でも紹介しているので、そちらもご参考ください。ComfyUIは以下のリンクからダウンロードできますので、空き容量が十分あるストレージに解凍します。

Direct link to download

「ComfyUI_windows_portable」フォルダの中の「run_nvidia_gpu.bat」をダブルクリックすることで起動します。

Stable Video Diffusionのモデル(checkpoint)のセットアップ

Stable Video Diffusionのモデル(checkpoint)は以下のHugging Faceのサイトからダウンロードできます。現在、25フレームまで生成できるsvd_xt.safetensorsと14フレームまで生成できるsvd.safetensorsの2種類があります。

https://huggingface.co/stabilityai/stable-video-diffusion-img2vid-xt(25frame版)
https://huggingface.co/stabilityai/stable-video-diffusion-img2vid(14frame版)

ダウンロードしたモデルは、ComfyUI>models>checkpointsのフォルダの中に入れてください。

ノードセットの設定

Stable Video DiffusionのComfyUI用のノードセットは以下のページからダウンロードできます。

Video Examples
Examples of ComfyUI workflows

一番上の原っぱの動画をComfyUIの画面までマウスでドラッグしてくることで、Stable Video Diffusionの設定が読み込まれます。

静止画から動画の生成

例えば、以下のように設定します。

画像をLoad Imageのボックスにドラッグします。

上記の設定をしたら、Queue Promptのボタンを押すと動画が生成します。

YouTube動画を公開中です

画像から動画を作る新技術Stable-Video-Diffusion(SVD)環境構築 徹底解説

ご質問、ご感想お待ちしています。YouTubeのフォローよろしくお願いします!

イラストからの動画生成例

イラストからも動画は作成できます。

コメント