画像から動画を作る新技術Stable-Video-Diffusion(SVD)環境構築徹底解説

Stable Diffusion

2023.12.09

この記事では今年の11月末にリリースされた画像から動画を作成できるStable Video Diffusion（SVD）の環境構築方法を解説したいと思います。今のところ、最長で25フレームの短い動画しか作れませんが、１枚の静止画から動画が作れる非常に画期的な技術です。皆さんも実際にセットアップして、試してみてください。この記事の内容はYouTubeにもアップしていますので、是非そちらもご覧ください。

Stable Video Diffusion（SVD）とは
事前準備
ComfyUIのインストールと起動
Stable Video Diffusionのモデル（checkpoint）のセットアップ
ノードセットの設定
静止画から動画の生成
YouTube動画を公開中です
イラストからの動画生成例

Stable Video Diffusion（SVD）とは

Stable Video Diffusion はStable Diffusionの開発元であるStability AIが開発した新機能です。まだ開発段階で、2023年12月8日現在、商用利用は認められていませんので、その点はご注意ください。今のところ、最長で25フレームの短い動画しか作れませんが、１枚の静止画から動画が作れる非常に画期的な技術です。これまでも、画像から動画を作る技術はあったのですが、動きが不自然だったり、限られた動きしか出来なかったり、かなりの制限がありました。しかし、このStable Video Diffusionは、短いながらも、非常に自然な動きをします。これは、Stable Video Diffusionのモデルが、6億という非常に多くのビデオサンプルから動きを学習しているからです。それによって、このStable Video Diffusionの動画の中では、風や光、波、乗り物など、いろいろなものの動きが自然で、まるで物理法則を理解しているように見えるまでになっています。皆さんも実際にセットアップして、試してみてください。

Stable Video Diffusionの動画例（複数の動画をつなぎ合わせています）

事前準備

以下を確認してください。

１．パソコンのスペック
・StableDiffusionが動くPCが必要です。NVIDIA GeForce RTX30xxシリーズや40xxシリーズなどの高性能のGPU搭載PCがおすすめです。
・GPUのビデオメモリ(VRAM)は8GB以上。（10GB以上あると安心です）
・下の記事でおすすめPCを紹介しています。

StableDiffusionでこれから画像生成AIを始めたい方への2023年冬のおすすめパソコン

画像生成AIはものすごいスピードで進化しています。今やDALL-E3などでも画像生成できますが、いろいろ本格的にやりたい方にはご自分のPCを買われるのをお勧めします。ここでは、2023年冬のボーナスにおすすめのパソコンを紹介します。一部、品薄で納期が掛かるものもあるかもしれませんが、年末年始の時間のある時に画像生成をやってみようという方は是非ご参考ください。

２．GPUのドライバーのセットアップ
・GPUのドライバーが古かったり、インストールされていないとセットアップに失敗することがありますので、その時はドライバーを更新してください。
・NVIDIAのGeForceドライバーは以下のこちらの動画でも解説しています。

３．7-ZIPのインストール
・今回、ComfyUIでStableDiffusionを動かしますが、ComfyUIのインストールには7z形式のファイルの解凍ソフト、7-ZIPが必要です。
・7-ZIPのインストール方法はこちらのYouTube動画でも解説しています。

ComfyUIのインストールと起動

ComfyUIはGitHubのサイトから7z形式のパッケージファイルをダウンロードしてきて、インストールします。ComfyUIのセットアップ方法については、以前の記事でも紹介しているので、そちらもご参考ください。ComfyUIは以下のリンクからダウンロードできますので、空き容量が十分あるストレージに解凍します。

Direct link to download

「ComfyUI_windows_portable」フォルダの中の「run_nvidia_gpu.bat」をダブルクリックすることで起動します。