Stable Diffusion

Stable Diffusionで昭和感のある写真を出してみます。生成のサポートにはchatGPTを使っています。昭和生まれの人には懐かしさのある、また、平成生まれ以降の人には新鮮な昭和の世界を再現してみます。

今回は手軽に不思議なアニメを作れるDeforum Stable Diffusionを使ってみます。Tiktokなどで使っている人は使っていると思うのですが、設定が複雑なので、オンラインでも解説は多くありません。手軽に動画を作れるので、是非使ってみてはいかがでしょうか。

旅行の楽しみはやっぱり（？）写真ですね。一人旅の味気ない写真もAI美女、AIイケメンが一緒なら旅の思い出にいろどりを添えてくれます。スマホの写真にStable Diffusionの生成画像を違和感なく重ねて、合成画像を作ってみます。今回、InpaintとControlNetをうまく使って画像生成する方法を試して見ました。

Stable DiffusionでオリジナルTシャツをAI美女に着せた画像の生成を検証してみます。ControlNetを通して、Tシャツに模様を転写することで、比較的自然なプリントシャツができます。

生成した画像や手持ちの画像をマンガ風の白黒線画に変える方法を検証してみます。白黒画像生成にはControlNetのCannyと線画LoRAおよび画質調整系のboldlineのLoRAを使用します。また、ピンポイントの黒塗りはCutoffを使うと簡単です。

Stable Diffusion WebUIのAfter Detailerの拡張機能を使うと画像の構図を大きく変えずに顔や体のみを高精度化してくれます。今回、After Detailerの使用方法と、顔に焦点を当てて、いろいろな他の拡張機能との違いを検証してみました。

先日、Photoshop betaでジェネレーティブ塗りつぶしの機能が実装され、PhotoshopでもAIによる画像生成ができるようになりました。とは言え、まだまだPhotoshopの画像生成の幅は狭く、画像生成自体の機能はStable Diffusionの方が格段に上です。一方、Photoshopはレイヤー操作や画像処理などでは常に先端を走る商用ソフトウエアです。ここでは、Auto-Photoshop-StableDiffusion-Pluginを使って、PhotoshopとStable Diffusionを完全連携させ、その破壊力を体感してみます。

進化の早いStable Diffusionですが、少し前のセットアップ方法はすぐに古くなってしまいます。ここではこれからStable Diffusionをご自分のPCにセットアップしたいという方に向けて、2023年6月現在の最新のセットアップ法を紹介したいと思います。

Stable Diffusionなどの生成系AIをするのに最適なPCを紹介します。ローカルに環境構築すると非常に快適に使えます。Stable Diffusionを動かすためには、ある程度の性能のGPUが必要になります。そういったGPU搭載の高性能なPCはオンラインゲームができたり、音楽、画像、動画などのクリエーティブな作業をしたり、仕事にもゲームにも使えるので、一台くらいは持っておいた方が良いと思います。

マイナスのウエイトで話題になっているflat LoRAなどの画質微調整系のLoRAを使ったみました仕上げの部分で使える強力なLoRAモデルです。是非使いこなせるようになりたいものです。

Adobe Photoshop betaで画像生成の機能が追加された。Stable Diffusionなどの生成系AI技術をウォッチしている身としては使ってみるしかないということで、早速話題の「ジェネレーティブ塗りつぶし」を使ってみました。今回の記事では１からPhotoshopを使って、AIツールを使うところまでをやってみます。Photoshop betaやfireflyを使ってみたい方はご参考ください。

これまでは使えていたStable Diffusion WebUIですが、起動しなくなったり、一部機能が使えなかったり、ドライブやフォルダを移動したりして動作がおかしくなった時の対処法を示します。せっかく入れたモデルや拡張機能などをそのままにできるので、動作がおかしい時はお試しください。

アニメ絵を高精度の実写系画像に変換してみます。実写系画像では出しにくいコスチュームやシチュエーションもアニメ絵なら出しやすいケースがあります。そういうときは一旦アニメ絵で出したあと、multicontrolnetでreference onlyとtile resampleを併用して、高精度の実写系モデルを生成できます。今回は実写系で大人気のBrav5モデルを使ったアニメ絵を実写画像に変換してみます。

Stable Diffsionを始めるにはローカル環境でするのがおすすめです。ここでは、BTOパソコンメーカーのパソコン工房のPCでStable DiffusionをするのにおすすめなPCをご紹介します。今やStable Diffusionだけではなく、各種AIやゲーム制作や作曲、オンラインゲームなど一台でいろいろなことができる高機能PCを将来への投資のために買っておくのは良いのではないでしょうか。

mov2movで動画を作成する場合、なかなか安定した動画を作るのが難しいという問題点がありました。動きに合わせて生成される動画が一定にならず、結構カチャカチャした動きが多くなってしまいます。そこで、先日ControlNetに実装されたreference onlyを適用して動画を作成してみました。

先日、ControlNetに新しく追加されたReference-onlyを使うと、簡単に好きなキャラクターの画像を生成することができます。これまで、出したいキャラクターを出そうと思ったら、LoRAなどで学習させて、LoRAモデルを作成し、それを使って生成するのが王道でした。今回、LoRAを使わずに好きなキャラクターを生成してみます。

領域を指定してプロンプトを効かすLatent Couple extensionの機能を検証します。Latent Couple extension拡張機能は、例えば、二人の人物を生成したいときに、それぞれの服装や髪型などを指定したいときに効果を発揮する強力なツールです。

ControlNetがバージョン1.1になりました。大きく機能が追加されましたので、まずはどんなことができるか全モデルの確認していこうと思います。新しい機能が追加されたり精度があがったり、完成度がどんどん高くなってきています。

Stable Diffusion WebUIが今週更新されました。この更新により標準ライブラリがtorch2.0.0とxfomers0.0.17に変更になっています。一概に最新バージョンが良いわけではありませんが、今後、新しいバージョンをベースに機能改善されていくことから、適当なタイミングでアップデートをしていきましょう。

mov2movでAI美女に踊らせてみました。元動画は私（おっさん）ですが、Stable Diffusionのmov2movにかかると、そんな私でも美女の踊ってみた動画が作れます。おっさんを美女に変換するという少し無茶なことをやっていますので、ちらつきが大きいです。

Stable Diffusionで人物の全身を出した時、顔が崩れて違和感があることがあります。ここでは画像の顔をなるべくきれいに出す方法を研究しました。好みの問題もありますが、Hires. fixやLLULをうまく使うことで顔をきれいに出すことができました。

Stable Diffusionの進化が止まりません。Sadtalker拡張機能を使うことで、Stable DiffusionのWebUIで何と画像がしゃべる動画を作成できます。ここでは、Sadtalkerのセットアップから使用方法まで丁寧に解説します。

Stable DiffusionのWebUIのControlNetのm2m（movie to movie）を使ってショート動画を作ってみました。ちょっとまだ精度に問題はありますが、動きのあるアニメーションも簡単に作れてしまうのは感動です。

Stable Diffusionをローカル環境で使うためにはNVIDIA製のGPUがほぼ必須です。高性能のノートPCを持っているのにGPUがないためにStable Diffusionが使えないが、新しくデスクトップPCを買わずに済ましたい方に向けてWindowsノートPC用のおすすめの外付けGPUを紹介します。

Stable Diffusion WebUI Automatic1111の拡張機能をインストールして日本語化する方法をまとめました。日本語化することで、WebUIの機能が分かりやすくなりますね。

xFormersはフェイスブック（現メタ社）の開発者が開発したライブラリで、Transformerに最新のコンポーネントを取り入れることにより、従来より高速でメモリ効率の高い計算を実現します。Stable DiffusionでもxFormersを有効化することにより、画像生成速度やメモリ消費量を抑制することができる可能性があります。ここでは、xFormersの有効化を効果を検証します。

Stable Diffusionを使うにはNVIDIA製GPUがほぼ必須ですが、そういったPCが用意できない場合、CPUでもローカルの環境構築は可能です。ここではCPUでのインストールを行ってみます。

LoRAによりStable Diffusionのモデルに画風の追加学習してみます。あらかじめターゲットとする画風の画像での追加学習により、Stable Diffusionで好みの画風の画像を生成できるようになります。今回もKahya_ssの...

Stable Diffuisionのwebui、Automatic1111のwebui.batの記述内容を理解して、このバッチファイルの中でどんな処理が行われているか確認してみました。バッチファイルはどのように動いているか理解することで、実...