Stable Diffusion

mov2movでTiktok動画を作成します。以前も同じようなブログをあげたのですが、ControlNetにReferenceが追加されたことにより、以前よりずっと楽になっています。最近流行りの「中身はおじさんの美女動画」も簡単に作れます。

Stable DiffusionとControlNetを使って一発でブログなどで使えるタイトルバナーを作ってみます。非常に簡単な手順で作れるので、お試しあれ。

Stable Diffusionでプロンプトを操って描きたいイラストを生成するためのチュートリアルを作ってみました。どのようにプロンプトを設定したらよいか分からない方の参考になればと思います。

Stable Diffusionを使おうと思ったが、どこをどう設定したらよいか分からない方に向けてStable Diffusionで画像生成を楽しむための最低限の設定方法を解説します。これからStable Diffusionで画像生成してみたい方はご参考ください。

Stable Diffusionで昭和感のある写真を出してみます。生成のサポートにはchatGPTを使っています。昭和生まれの人には懐かしさのある、また、平成生まれ以降の人には新鮮な昭和の世界を再現してみます。

今回は手軽に不思議なアニメを作れるDeforum Stable Diffusionを使ってみます。Tiktokなどで使っている人は使っていると思うのですが、設定が複雑なので、オンラインでも解説は多くありません。手軽に動画を作れるので、是非使ってみてはいかがでしょうか。

旅行の楽しみはやっぱり（？）写真ですね。一人旅の味気ない写真もAI美女、AIイケメンが一緒なら旅の思い出にいろどりを添えてくれます。スマホの写真にStable Diffusionの生成画像を違和感なく重ねて、合成画像を作ってみます。今回、InpaintとControlNetをうまく使って画像生成する方法を試して見ました。

Stable DiffusionでオリジナルTシャツをAI美女に着せた画像の生成を検証してみます。ControlNetを通して、Tシャツに模様を転写することで、比較的自然なプリントシャツができます。

生成した画像や手持ちの画像をマンガ風の白黒線画に変える方法を検証してみます。白黒画像生成にはControlNetのCannyと線画LoRAおよび画質調整系のboldlineのLoRAを使用します。また、ピンポイントの黒塗りはCutoffを使うと簡単です。

Stable Diffusion WebUIのAfter Detailerの拡張機能を使うと画像の構図を大きく変えずに顔や体のみを高精度化してくれます。今回、After Detailerの使用方法と、顔に焦点を当てて、いろいろな他の拡張機能との違いを検証してみました。

先日、Photoshop betaでジェネレーティブ塗りつぶしの機能が実装され、PhotoshopでもAIによる画像生成ができるようになりました。とは言え、まだまだPhotoshopの画像生成の幅は狭く、画像生成自体の機能はStable Diffusionの方が格段に上です。一方、Photoshopはレイヤー操作や画像処理などでは常に先端を走る商用ソフトウエアです。ここでは、Auto-Photoshop-StableDiffusion-Pluginを使って、PhotoshopとStable Diffusionを完全連携させ、その破壊力を体感してみます。

進化の早いStable Diffusionですが、少し前のセットアップ方法はすぐに古くなってしまいます。ここではこれからStable Diffusionをご自分のPCにセットアップしたいという方に向けて、2023年6月現在の最新のセットアップ法を紹介したいと思います。

Stable Diffusionなどの生成系AIをするのに最適なPCを紹介します。ローカルに環境構築すると非常に快適に使えます。Stable Diffusionを動かすためには、ある程度の性能のGPUが必要になります。そういったGPU搭載の高性能なPCはオンラインゲームができたり、音楽、画像、動画などのクリエーティブな作業をしたり、仕事にもゲームにも使えるので、一台くらいは持っておいた方が良いと思います。

マイナスのウエイトで話題になっているflat LoRAなどの画質微調整系のLoRAを使ったみました仕上げの部分で使える強力なLoRAモデルです。是非使いこなせるようになりたいものです。

Adobe Photoshop betaで画像生成の機能が追加された。Stable Diffusionなどの生成系AI技術をウォッチしている身としては使ってみるしかないということで、早速話題の「ジェネレーティブ塗りつぶし」を使ってみました。今回の記事では１からPhotoshopを使って、AIツールを使うところまでをやってみます。Photoshop betaやfireflyを使ってみたい方はご参考ください。

これまでは使えていたStable Diffusion WebUIですが、起動しなくなったり、一部機能が使えなかったり、ドライブやフォルダを移動したりして動作がおかしくなった時の対処法を示します。せっかく入れたモデルや拡張機能などをそのままにできるので、動作がおかしい時はお試しください。

アニメ絵を高精度の実写系画像に変換してみます。実写系画像では出しにくいコスチュームやシチュエーションもアニメ絵なら出しやすいケースがあります。そういうときは一旦アニメ絵で出したあと、multicontrolnetでreference onlyとtile resampleを併用して、高精度の実写系モデルを生成できます。今回は実写系で大人気のBrav5モデルを使ったアニメ絵を実写画像に変換してみます。

Stable Diffsionを始めるにはローカル環境でするのがおすすめです。ここでは、BTOパソコンメーカーのパソコン工房のPCでStable DiffusionをするのにおすすめなPCをご紹介します。今やStable Diffusionだけではなく、各種AIやゲーム制作や作曲、オンラインゲームなど一台でいろいろなことができる高機能PCを将来への投資のために買っておくのは良いのではないでしょうか。

mov2movで動画を作成する場合、なかなか安定した動画を作るのが難しいという問題点がありました。動きに合わせて生成される動画が一定にならず、結構カチャカチャした動きが多くなってしまいます。そこで、先日ControlNetに実装されたreference onlyを適用して動画を作成してみました。

先日、ControlNetに新しく追加されたReference-onlyを使うと、簡単に好きなキャラクターの画像を生成することができます。これまで、出したいキャラクターを出そうと思ったら、LoRAなどで学習させて、LoRAモデルを作成し、それを使って生成するのが王道でした。今回、LoRAを使わずに好きなキャラクターを生成してみます。

領域を指定してプロンプトを効かすLatent Couple extensionの機能を検証します。Latent Couple extension拡張機能は、例えば、二人の人物を生成したいときに、それぞれの服装や髪型などを指定したいときに効果を発揮する強力なツールです。

ControlNetがバージョン1.1になりました。大きく機能が追加されましたので、まずはどんなことができるか全モデルの確認していこうと思います。新しい機能が追加されたり精度があがったり、完成度がどんどん高くなってきています。

Stable Diffusion WebUIが今週更新されました。この更新により標準ライブラリがtorch2.0.0とxfomers0.0.17に変更になっています。一概に最新バージョンが良いわけではありませんが、今後、新しいバージョンをベースに機能改善されていくことから、適当なタイミングでアップデートをしていきましょう。

mov2movでAI美女に踊らせてみました。元動画は私（おっさん）ですが、Stable Diffusionのmov2movにかかると、そんな私でも美女の踊ってみた動画が作れます。おっさんを美女に変換するという少し無茶なことをやっていますので、ちらつきが大きいです。

Stable Diffusionで人物の全身を出した時、顔が崩れて違和感があることがあります。ここでは画像の顔をなるべくきれいに出す方法を研究しました。好みの問題もありますが、Hires. fixやLLULをうまく使うことで顔をきれいに出すことができました。

Stable Diffusionの進化が止まりません。Sadtalker拡張機能を使うことで、Stable DiffusionのWebUIで何と画像がしゃべる動画を作成できます。ここでは、Sadtalkerのセットアップから使用方法まで丁寧に解説します。

Stable DiffusionのWebUIのControlNetのm2m（movie to movie）を使ってショート動画を作ってみました。ちょっとまだ精度に問題はありますが、動きのあるアニメーションも簡単に作れてしまうのは感動です。

Stable Diffusionをローカル環境で使うためにはNVIDIA製のGPUがほぼ必須です。高性能のノートPCを持っているのにGPUがないためにStable Diffusionが使えないが、新しくデスクトップPCを買わずに済ましたい方に向けてWindowsノートPC用のおすすめの外付けGPUを紹介します。

Stable Diffusion WebUI Automatic1111の拡張機能をインストールして日本語化する方法をまとめました。日本語化することで、WebUIの機能が分かりやすくなりますね。