Stable Diffusion 技術記事まとめ

IP AdapterはStable DiffusionのControlNetで使うことができます。IP Adapterは画像をプロンプトとして使う技術です。これによって、画像の要素を組み込んだ画像を生成できます。今回、とても便利なIP Adapterの使用例をいくつか紹介したいと思います。

2023年8月末にStable Diffusion WebUI AUTOMATIC1111がリファイナーに対応したバージョン1.6.0にアップデートされました。ここでは、アップデートの方法を解説し、アップデートのポイントを確認してみます。

Stable DiffusionのWebUIですが、SDXLへの対応に続いて、拡張機能のControlNetがアップデートによりSDXLに対応できるようになりました。早速アップデートして使ってみました。

Stable Diffusion初心者がオンラインサーバーでStable Diffusionを使える『生成AI GO』を使ってAI美女を作る方法をまとめました。設定する部分が多くて難しいStable Diffusionですが、まずはAI美女を例にAI画像生成を簡単に作れる手順の例の説明します。どこからやったら良いか分からない方は是非ご参考ください。

Stable Diffusion初心者がオンラインサーバーでStable Diffusionを使える『生成AI GO』を使ってAI美女を作る方法をまとめました。設定する部分が多くて難しいStable Diffusionですが、まずはAI美女を例にAI画像生成を簡単に作れる手順の例の説明します。どこからやったら良いか分からない方は是非ご参考ください。

Stable Diffusionを使おうと思ったが、どこをどう設定したらよいか分からない方に向けてStable Diffusionで画像生成を楽しむための最低限の設定方法を解説します。これからStable Diffusionで画像生成してみたい方はご参考ください。

Stable Diffusionでプロンプトを操って描きたいイラストを生成するためのチュートリアルを作ってみました。どのようにプロンプトを設定したらよいか分からない方の参考になればと思います。

進化の早いStable Diffusionですが、少し前のセットアップ方法はすぐに古くなってしまいます。ここではこれからStable Diffusionをご自分のPCにセットアップしたいという方に向けて、2023年6月現在の最新のセットアップ法を紹介したいと思います。

2023年8月末にStable Diffusion WebUI AUTOMATIC1111がリファイナーに対応したバージョン1.6.0にアップデートされました。ここでは、アップデートの方法を解説し、アップデートのポイントを確認してみます。

『生成AI GO』というStable Diffusionのクラウドサービスが正式サービス開始しました。高性能なPCを持っていない方でも『生成AI GO』ならクラウドで動作するので、PCのスペックによらず快適にStable Diffusionを使えます。今なら登録すれば２週間無料で使えるので、試しに使ってみたいと思った方は是非登録してお試しください。このサイトで配布しているクーポンを使うと２週間の無料期間に加えて、初月の月会費は半額になります！※本記事は『生成AI GO』の広告およびプロモーションを含みます。

オンラインでStable Diffusion WebUIを使える『生成AI GO』。実際に試しで出先からスマホで画像生成をしてみました。普段PCでSDを使っている方から、画像生成AIを触ったことがない方まで、『生成AI GO』は２週間お試しで使えますので、是非この機会にお試しください。

Stable DiffusionでSDXLになってWebUIでは重かったり、一部機能がうまく使えなかったりしているようなので、ComfyUIを導入してみます。以前、インストールしたいことがあったのですが、使い勝手がWebUIの方がよかったり、使いこなすのが難しかったので、結局使わず仕舞いでした。今回、SDXL用にインストールして検証してみます。

Stable Diffusion WebUIが今週更新されました。この更新により標準ライブラリがtorch2.0.0とxfomers0.0.17に変更になっています。一概に最新バージョンが良いわけではありませんが、今後、新しいバージョンをベースに機能改善されていくことから、適当なタイミングでアップデートをしていきましょう。

Stable Diffusion WebUI Automatic1111の拡張機能をインストールして日本語化する方法をまとめました。日本語化することで、WebUIの機能が分かりやすくなりますね。

Stable Diffuisionのwebui、Automatic1111のwebui.batの記述内容を理解して、このバッチファイルの中でどんな処理が行われているか確認してみました。バッチファイルはどのように動いているか理解することで、実...

xFormersはフェイスブック（現メタ社）の開発者が開発したライブラリで、Transformerに最新のコンポーネントを取り入れることにより、従来より高速でメモリ効率の高い計算を実現します。Stable DiffusionでもxFormersを有効化することにより、画像生成速度やメモリ消費量を抑制することができる可能性があります。ここでは、xFormersの有効化を効果を検証します。

Stable Diffusion WebUI、AUTOMATIC1111を最新版にアップデートする方法をまとめます。バグ修正や機能追加などでAUTOMATIC1111が更新されることもありますので、必要に応じてアップデートを実施します。

Stable DiffusionのWebUI、AUTOMATIC1111に新たなモデルを追加したり、生成する画像の最大枚数やデフォルトサイズを変更する方法をまとめます。

Stable DiffusionのWebUIでポーズを指定した画像生成ができるControlNetは頻繁に更新されています。今回は現在のControlNetなどのWebUIの拡張機能を最新版に更新する方法をまとめます。

WebUI（AUTOMATIC1111）でStable Diffusionを動かしてみます。比較的軽い環境で動くので、folk版のStable Difuusionしか動かなくても使える可能性はあります。今回は１から導入の手順をまとめました。

IP AdapterはStable DiffusionのControlNetで使うことができます。IP Adapterは画像をプロンプトとして使う技術です。これによって、画像の要素を組み込んだ画像を生成できます。今回、とても便利なIP Adapterの使用例をいくつか紹介したいと思います。

ControlNetがバージョン1.1になりました。大きく機能が追加されましたので、まずはどんなことができるか全モデルの確認していこうと思います。新しい機能が追加されたり精度があがったり、完成度がどんどん高くなってきています。

Stable Diffusionで人物の全身を出した時、顔が崩れて違和感があることがあります。ここでは画像の顔をなるべくきれいに出す方法を研究しました。好みの問題もありますが、Hires. fixやLLULをうまく使うことで顔をきれいに出すことができました。

mov2movでTiktok動画を作成します。以前も同じようなブログをあげたのですが、ControlNetにReferenceが追加されたことにより、以前よりずっと楽になっています。最近流行りの「中身はおじさんの美女動画」も簡単に作れます。

Stable Diffusion WebUIのAfter Detailerの拡張機能を使うと画像の構図を大きく変えずに顔や体のみを高精度化してくれます。今回、After Detailerの使用方法と、顔に焦点を当てて、いろいろな他の拡張機能との違いを検証してみました。

生成した画像や手持ちの画像をマンガ風の白黒線画に変える方法を検証してみます。白黒画像生成にはControlNetのCannyと線画LoRAおよび画質調整系のboldlineのLoRAを使用します。また、ピンポイントの黒塗りはCutoffを使うと簡単です。

Stable DiffusionでオリジナルTシャツをAI美女に着せた画像の生成を検証してみます。ControlNetを通して、Tシャツに模様を転写することで、比較的自然なプリントシャツができます。

今回は手軽に不思議なアニメを作れるDeforum Stable Diffusionを使ってみます。Tiktokなどで使っている人は使っていると思うのですが、設定が複雑なので、オンラインでも解説は多くありません。手軽に動画を作れるので、是非使ってみてはいかがでしょうか。

Stable Diffusionで昭和感のある写真を出してみます。生成のサポートにはchatGPTを使っています。昭和生まれの人には懐かしさのある、また、平成生まれ以降の人には新鮮な昭和の世界を再現してみます。

Stable DiffusionとControlNetを使って一発でブログなどで使えるタイトルバナーを作ってみます。非常に簡単な手順で作れるので、お試しあれ。

WD1.5 Beta2はStable Diffusion2.1をベースにアジア圏の実写やアニメ1500万枚以上から学習した高画質な画像が生成できるモデルです。これまでの多くのモデルは、NovelAIからリークしたモデルを含んでいる可能性もあるとも言われ、倫理上問題があるといわれていました。一方、WD1.5モデルはStable Diffusion2.1をベースとして、新たに学習し直したモデルであり、本モデルは、「the Fair AI Public License 1.0-SD」の元、自由な使用が許諾され、商用利用も認められています。今回、WD1.5 BetaとAUTOMATIC1111のWebUI、ControlNetを組み合わせて、高画質の生成環境を構築していきます。

Stable DiffusionのWebUIのControlNetのm2m（movie to movie）を使ってショート動画を作ってみました。ちょっとまだ精度に問題はありますが、動きのあるアニメーションも簡単に作れてしまうのは感動です。

Stable Diffusionの進化が止まりません。Sadtalker拡張機能を使うことで、Stable DiffusionのWebUIで何と画像がしゃべる動画を作成できます。ここでは、Sadtalkerのセットアップから使用方法まで丁寧に解説します。

mov2movでAI美女に踊らせてみました。元動画は私（おっさん）ですが、Stable Diffusionのmov2movにかかると、そんな私でも美女の踊ってみた動画が作れます。おっさんを美女に変換するという少し無茶なことをやっていますので、ちらつきが大きいです。

Stable Diffusionの弱点の一つは、思い通りの指を作ることです。なかなか思い通りの指の形にならないとき、Depth libraryに登録された手を使うと思ったような画像を簡単に生成できます。ここでは、Depth library拡張機能をインストールして、拡張機能にデフォルトで入っている各種の手のDepthを使って画像修正をしてみます。

Stable Diffusionが公開されて半年余り、画像生成系AIは急速な改良と発展をしてきました。ControlNetは指定された制約条件の下が画像を生成することにより、狙った構図の画像を作り出すことができるツールです。今回、Windowsのローカル環境に環境構築をしていきます。

領域を指定してプロンプトを効かすLatent Couple extensionの機能を検証します。Latent Couple extension拡張機能は、例えば、二人の人物を生成したいときに、それぞれの服装や髪型などを指定したいときに効果を発揮する強力なツールです。

先日、ControlNetに新しく追加されたReference-onlyを使うと、簡単に好きなキャラクターの画像を生成することができます。これまで、出したいキャラクターを出そうと思ったら、LoRAなどで学習させて、LoRAモデルを作成し、それを使って生成するのが王道でした。今回、LoRAを使わずに好きなキャラクターを生成してみます。

mov2movで動画を作成する場合、なかなか安定した動画を作るのが難しいという問題点がありました。動きに合わせて生成される動画が一定にならず、結構カチャカチャした動きが多くなってしまいます。そこで、先日ControlNetに実装されたreference onlyを適用して動画を作成してみました。

アニメ絵を高精度の実写系画像に変換してみます。実写系画像では出しにくいコスチュームやシチュエーションもアニメ絵なら出しやすいケースがあります。そういうときは一旦アニメ絵で出したあと、multicontrolnetでreference onlyとtile resampleを併用して、高精度の実写系モデルを生成できます。今回は実写系で大人気のBrav5モデルを使ったアニメ絵を実写画像に変換してみます。

マイナスのウエイトで話題になっているflat LoRAなどの画質微調整系のLoRAを使ったみました仕上げの部分で使える強力なLoRAモデルです。是非使いこなせるようになりたいものです。

Twitterで話題のQRコード風のAI画像アートを検証します。ControlNetをうまく組み合わせるのがコツです。背景付きなどの変化させたコードはQRコードと呼んではいけないそうなので、「QRコード風AI画像アート」と呼びますが、スマホで読めるコードの生成を目指します。

Stable DiffusionでSDXLになってWebUIでは重かったり、一部機能がうまく使えなかったりしているようなので、ComfyUIを導入してみます。以前、インストールしたいことがあったのですが、使い勝手がWebUIの方がよかったり、使いこなすのが難しかったので、結局使わず仕舞いでした。今回、SDXL用にインストールして検証してみます。

Stable DiffusionのアップグレードバージョンのSDXLでAI美女の生成検討をしてみました。今回はCivitaiなどで公開されている商用利用可能なモデルおよびLoRAを使って、プロンプトを工夫しつつ、より自然なAI美女の生成を検討してみました。是非皆さんの創作の参考にしていただければと思います。

ComfyUIの拡張機能を管理するのに便利なComfyUI-Managerをセットアップして使ってみます。WebUIのExtensionsのような機能だそうです。拡張機能の一部については、手動でライブラリをインストールが必要になるものもある...

SDXL版のControlNetも徐々に出揃いつつあります。日々更新されて新しいモデルが出てきています。今回は現時点のSDXL版のControlNetとして、CannyとOpenPoseを使ってみます。

Stable Diffusion WebUI AUTOMATIC1111のv1.6.0にアップデートされてリファイナー対応のSDXLに完全対応となりました。ここでは、SDXLをフルで使うためのWebUIのv1.6.0の使用方法をみていきます。

Stable Diffusionのオンラインサービス『生成AI GO』を使ってCivitaiで公開されている高品質のSDXLモデルを使った画像生成の手順を示します。ここでは、こたじろう氏の開発した「fuduki_mix」を使ってリアルな日本人美女を出力してみます。

Stable DiffusionのWebUIですが、SDXLへの対応に続いて、拡張機能のControlNetがアップデートによりSDXLに対応できるようになりました。早速アップデートして使ってみました。

SDXL版のControlNetも徐々に出揃いつつあります。日々更新されて新しいモデルが出てきています。今回は現時点のSDXL版のControlNetとして、CannyとOpenPoseを使ってみます。

Stable Diffusionの新バージョンSDXL1.0ベースの学習済みモデルCounterfeit-βの使用感を紹介します。CounterfeitXLはSD1.5版の開発もしたNahidaDiffusion氏が作成した人気モデルのCounterfeitのSDXL版です。使ってみた感想ですが、、、兎に角すごいです。元のSDXLのベースモデルの影響もあるのだとは思うのですが、LoRAを使わずにプロンプトのみで様々なバリエーションの画像が生成できるのです。つまり、プロンプト次第でこのCounterfeitXLがあるだけであらゆるイラストが生成できます。ここではその片鱗を例示したいと思います。

Stable DiffusionのアップグレードバージョンのSDXLでAI美女の生成検討をしてみました。今回はCivitaiなどで公開されている商用利用可能なモデルおよびLoRAを使って、プロンプトを工夫しつつ、より自然なAI美女の生成を検討してみました。是非皆さんの創作の参考にしていただければと思います。

ついにStability AIから商用可能な高品質画像生成AIのStable DiffuisionのアップグレードバージョンSDXL1.0がリリースされました。高品質なcheckpointも次々リリースされつつあります。早速、それらを試してみます。

Stable Diffusionの新バージョンSDXLやMetaのLlama2などをローカル環境で使うのに最適なPCを選定してみました。よく人に聞かれるので、私ならこれを買いたいというPCを選びました。ちなみに私は自作PCでRTX3080の10GBを使っていますが、SDXLやLlama2ではやや力不足感を感じており、近々買い替える予定です。。。

Stable Diffusionなどの生成系AIをするのに最適なPCを紹介します。ローカルに環境構築すると非常に快適に使えます。Stable Diffusionを動かすためには、ある程度の性能のGPUが必要になります。そういったGPU搭載の高性能なPCはオンラインゲームができたり、音楽、画像、動画などのクリエーティブな作業をしたり、仕事にもゲームにも使えるので、一台くらいは持っておいた方が良いと思います。

Stable Diffusionなどの生成系AIをローカル環境で使うにはGPUを搭載したパソコンがほぼ必須です。ここでは、私の経験からStable Diffusionなどの生成系AIを楽しむためのおすすめのパソコンのスペックについて説明します。

Stable Diffusionをローカル環境で使うためにはNVIDIA製のGPUがほぼ必須です。高性能のノートPCを持っているのにGPUがないためにStable Diffusionが使えないが、新しくデスクトップPCを買わずに済ましたい方に向けてWindowsノートPC用のおすすめの外付けGPUを紹介します。

Stable DiffusionのWebUI Automatic1111用に追加学習によりLoRA学習モデルを作成します。追加学習の方法はいろいろありますが、比較的低スペックのPCでも対応可能なLoRAを実施します。手軽に自分の欲しい画像が出せるのは素晴らしいですね。今回は、東北ずん子様を学習データに用いたLoRAの生成をしてみます。

LoRAによりStable Diffusionのモデルに画風の追加学習してみます。あらかじめターゲットとする画風の画像での追加学習により、Stable Diffusionで好みの画風の画像を生成できるようになります。今回もKahya_ssの...

Stable Diffusion WebUI、Automatic1111のTagger拡張機能の使用方法をまとめました。LoRAでの学習用データへのタグ付けにも便利な拡張機能です。特にベースをWD14にしているため、WD1.5でのLoRA作成と相性が非常に良いです。

先日、Photoshop betaでジェネレーティブ塗りつぶしの機能が実装され、PhotoshopでもAIによる画像生成ができるようになりました。とは言え、まだまだPhotoshopの画像生成の幅は狭く、画像生成自体の機能はStable Diffusionの方が格段に上です。一方、Photoshopはレイヤー操作や画像処理などでは常に先端を走る商用ソフトウエアです。ここでは、Auto-Photoshop-StableDiffusion-Pluginを使って、PhotoshopとStable Diffusionを完全連携させ、その破壊力を体感してみます。

Stable Diffusionのオンラインサービス『生成AI GO』を使ってCivitaiで公開されている高品質のSDXLモデルを使った画像生成の手順を示します。ここでは、こたじろう氏の開発した「fuduki_mix」を使ってリアルな日本人美女を出力してみます。

オンラインでStable Diffusion WebUIを使える『生成AI GO』。実際に試しで出先からスマホで画像生成をしてみました。普段PCでSDを使っている方から、画像生成AIを触ったことがない方まで、『生成AI GO』は２週間お試しで使えますので、是非この機会にお試しください。

『生成AI GO』というStable Diffusionのクラウドサービスが正式サービス開始しました。高性能なPCを持っていない方でも『生成AI GO』ならクラウドで動作するので、PCのスペックによらず快適にStable Diffusionを使えます。今なら登録すれば２週間無料で使えるので、試しに使ってみたいと思った方は是非登録してお試しください。このサイトで配布しているクーポンを使うと２週間の無料期間に加えて、初月の月会費は半額になります！※本記事は『生成AI GO』の広告およびプロモーションを含みます。