ウエイトで微調整するLoRAを使ってみる

スポンサーリンク
Stable Diffusion
スポンサーリンク

マイナスのウエイトで話題になっているflat LoRAなどの画質微調整系のLoRAを使ったみました仕上げの部分で使える強力なLoRAモデルです。是非使いこなせるようになりたいものです。

LoRAのダウンロード

様々な微調整系のLoRAは2vXpSwA7さんがhuggingfaceで公開してくれています。いろいろなバリエーションがあり天才的です。是非ダウンロードして、「\stable-diffusion-webui\models\Lora」のフォルダ内に入れましょう。解説もしてくれてるのでTwitterは必見です。

モデルファイルはフォルダでまとめることができるので、同じ種類のLoRAモデルはフォルダにまとめてLoraフォルダの中に入れておくと便利です。

微調整系LoRAを使ってみる

今回は自分で画像を生成して微調整系LoRAの効果を実感したいと思います。ベース画像はこちらを使います。Anything v4.5での生成画像になります。下の生成例を見たらわかりますが、このLoRAのすごいところは、プラスだけでなくマイナスでも効かすことができることの他、LoRAのウエイトを変えると画質は大きく変わるのですが、構図にはあまり影響を及ぼさないという素晴らしい特性があり、とても使いやすいです。

(illustration:1.0), masterpiece, best quality, 1girl, solo, smile, pure face, jeans, shirt, looking at veiwer, flat chest, standing, outdoor
Negative prompt: EasyNegative, nsfw, (worst quality, low quality:1.4), (depth of field, blurry, bokeh:1.5), (greyscale, monochrome:1.0), multiple views, text, title, logo, signature, (tooth, lip, nose, 3d, realistic:1.0), dutch angle,(cropped:1.4), text, title, signature, logo,( loli:1.2), school satchel, pink,school bag, school uniform, from behind
Steps: 20, Sampler: DPM++ SDE Karras, CFG scale: 7, Seed: 1303900305, Size: 512x512, Model hash: f773383dbc, Model: anything-v4.5-pruned-fp16

agomaru

あごの形を変えてくれます。プラスで丸顎、マイナスで尖った顎になりました。

bigeye

目の大きさが変わります。

boldline

ラインの太さを変えます。線画の強弱を調整に便利ですね。

brighter-eye

目の光沢を調整します。1と2で少し乗り方が違います。

deluster

艶消し効果をのせます。マイナスにすると、光沢が出ます。1と2で効果の乗り方が少し違いますので、お好みで。

faceage

顔の大人っぽさを雰囲気を調整します。顔が変わるというよりも顔面の大きさを調整して、プラス側で小顔、マイナス側で大きい顔にしてくれるような効き方をします。

flat

マイナスLoRA流行の火付け役。フラット感を調整してくれます。マイナスで立体感が出ます。いろいろあって、効果の乗り方も少し違うようです。flatBGは背景にのみ適用されます。

hairdetailer

髪の毛の書き込みを調整してくれます。マイナスを強くするとベタ塗り感の強い髪の毛にしてくれます。

hohoaka

頬を赤く染めてくれます。embressedのプロンプトを入れなくてもLoRAで調整できるのはすごいです。

kasshokuhada

褐色肌に調整します。結構効き方が強いので、ウエイト少しでもいい感じになると思います。

lightline

線を発光させます。使い方は難しいですが、SFチックな絵にはマッチするかもしれません。

noline

blodlineの逆バージョンです。マイナスLoRA適用でかなりしっかりした線画を出せるので、lineartの出力にも使えそうです。

outline

縁取りを生成してくれます。下の背景では良く分からないかもしれませんが、背景が暗いところだと、キャラを際立たせることができるかもしれません。また、ControlNetの下絵に使えそうだとおもいました。asb-outlineは少し効き方が違います。(absフォルダに入っています)マイナスLoRAにしたとき、背景に溶け込む感じもいいです。

saturation

彩度を調整してくれるとのことです。プラスで色味が強くなって、マイナスでは淡くなります。

testフォルダのLoRA

リリース前(?)のLoRAがtestのフォルダに入っています。その中からもいくつか紹介します。

sanDka

立体的な三次元化画像を出力してくれます。マイナスLaRAで二次元度合いが強まります。

grgr-eye, sihaku, siitake

目が変わります。わかりやすいようにアップの構図で比較します。grgr-eyeとgrgr-eye2はぐるぐる回った目、sihaku-eyeは黒目が小さめ、siitake-eyeはアニメキャラなどでみられる目の中に十字を生成します。

yawanuri, hadanuri

塗りが変わります。見ての通りですが、私のもった感想はyawanuriは温かみのある塗り、hadanuriはきれいな肌感がある塗りをしてくれるようです。

最後に

バリエーションも豊富な上に効果も抜群のLoRAモデルたちです。マイナスでも効く点は非常に面白いです。構図をある程度維持したまま加工できるので、画像の微調整にも非常に有効です。作者の「2vXpSwA7」氏に感謝です。

コメント