ComfyUIでSDXLのControlNetの使い方：Canny＆OpenPose

Stable Diffusion

2023.08.16

SDXL版のControlNetも徐々に出揃いつつあります。日々更新されて新しいモデルが出てきています。今回は現時点のSDXL版のControlNetとして、CannyとOpenPoseを使ってみます。

Cannyによる画像生成
OpenPoseでの画像生成
最後に

Cannyによる画像生成

ControlNetのCannyとは画像のエッジを検出して、そのエッジに沿って画像を生成してくれます。ですので、元の画像の構図に似た画像を生成できます。ControlNetは画像生成の一定の制約条件として働きます。

モデルのダウンロード

Cannyのモデルは下のGitHubサイトからダウンロードできます。約5GBの「diffusion_pytorch_model.safetensors」をダウンロードして、他のControlNetのモデルと区別するために、例えば、「controlnet-canny-sdxl-1.0.safetensors」などに名前を変えて、「\models\controlnet」のフォルダに入れます。

Canny
diffusers/controlnet-canny-sdxl-1.0

Workflow

Workflowは以下の通りです。checkpointの次にControlNetを挟みます。ControlNetにはCannyのプリプロセッサ―を挟みます。Cannyで前処理をした画像は念のためプレビューで確認するようにします。あとは、KSamplerとVAE Decoderで処理して画像を生成します。

ControlNetの参照画像

生成画像

プロンプト：
1girl, solo, blond long straight hair, embressed, best quality, (realistic, photo-realistic:1.3), pure face, masterpiece, an extremely delicate and beautiful, extremely detailed, unity , 2k wallpaper, finely detail, light smile, extremely detailed, huge filesize, highres, outdoor, town street,beautiful jappanese woman, business suit, shirt with a collar, tie, facing forward,  
best quality, masterpiece
モデル：CounterfeitXL

Workflow（下記画像をComfyUIにドラッグするとWorkflowをコピーできます）

OpenPoseでの画像生成

ControlNetのOpenPoseは画像のポーズを棒人形の形で抽出して、それをベースに画像を生成する方法です。

モデルのダウンロード

モデルは以下からダウンロードできます。現在、「OpenPoseXL2.safetensors」が最新版ですので、ダウンロードして、「\models\controlnet」のフォルダに入れます。

ControlNetのPreprocessorのセットアップ

カスタムノードのセットアップにはComfyUI-Managerが便利です。下記の記事から、ComfyUI-Managerのセットアップをします。

ComfyUIの拡張機能を管理するComfyUI-Managerのセットアップと使い方

その上でControlNetのPreprocessorをダウンロードします。Gitが使える状態で、ターミナルやPowerShell、Git bashなどでComfyUIフォルダの中のcustom_nodesを開きます。その状態で、以下のコマンドを入力することで、ControlNetのPreprocessorのクローンを作成します。

git clone https://github.com/Fannovel16/comfy_controlnet_preprocessors
cd comfy_controlnet_preprocessors
./install.bat

これでPreprocessorのモデルがダウンロードされます。途中でエラーが起こりますが、問題ありません。そのまま次に進みます。

Workflow

WorkflowはSDXLのOpenPoseのページにあるバレリーナの画像にメタデータとして埋め込まれています。下記の画像をComfyUIにドラッグすることで、Workflowを呼び出すことができます。Workflowを呼び出した時に足りないライブラリなどは自動的にセットアップされるようになっているようです。

Workflow（下記画像をComfyUIにドラッグするとWorkflowをコピーできます）

全体のフローは以下のようになっています。元画像をアップロードして、モデルをセットするとOpenPoseを使えます。

ControlNetの参照画像

生成画像

プロンプト：
1girl, solo, blond long straight hair, dancing, embressed, best quality, pure face, masterpiece, an extremely delicate and beautiful, extremely detailed, unity , 2k wallpaper, finely detail, light smile, extremely detailed, huge filesize, highres, outdoor, town street,beautiful jappanese woman, t-shirt, jeans,  
best quality, masterpiece
モデル：CounterfeitXL