CPUでサクサク動く画像補正ツールlama-cleanerで画像から不要なものを消去

スポンサーリンク
Stable Diffusion
スポンサーリンク

画像補正ツールlama-cleanerを紹介します。導入も簡単で、CPU環境でも十分動作可能です。デフォルトで設定されているLama以外にも、GPU環境が必要となりますが、Stable Diffusion1.5などの他のinpaintツールも利用可能です。びっくりする高性能ですが、無償で使える上に、Apach-2.0のライセンスで提供されており、商用利用や再配布も可能です。

lama-cleanerのセットアップ

> > mkdir lama-cleaner
> cd .\lama-cleaner\
> py -3.8 -m venv venv
> ./venv\Scripts\Activate.ps1
(venv)> python -m pip install -U pip setuptools
(venv)> pip install lama-cleaner
(venv)> lama-cleaner --model=lama --device=cpu --port=8080

 * Running on http://127.0.0.1:8080/ (Press CTRL+C to quit)

上記のURL(上記の場合はhttp://127.0.0.1:8080/)にchromeなどのwebブラウザでアクセスすることで起動できます。

使ってみる

URLを起動すると以下のような画面になりますので、補正したい画像をドラッグ&ドロップでブラウザに置きます。(画像はpixabayからダウンロードしたものです。)

あとは、ブラシツールで消したい部分をなぞるだけで、その部分を消すことができます。例えば、下記の画像の黄色い車を消してみました。

元の画像

車を部分をブラシでなぞります。

車がなくなりました。

GPU環境でセットアップする場合

デフォルトではCPU版のPyTorchがセットアップされてしまいますので、すでにインストールしている場合は一旦アンインストールして、GPU版のPyTorchをインストールしなおします。なお、前提として、本体のGPU環境のセットアップが必要です。起動の時はデバイスとして”CUDA”を指定してやります。

(venv)> pip uninstall torch
(venv)> pip3 install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu117
(venv)> lama-cleaner --model=lama --device=cuda --port=8080

 * Running on http://127.0.0.1:8080/ (Press CTRL+C to quit)

これで、GPUで起動します。

様々なモデルを使う

右上のsettingsのところから、モデルを変更できます。デフォルトのLama以外もサポートしていて、Stable Diffusionでプロンプトを使った置換もできます。

使用可能なモデル

公式ドキュメントによれば以下のモデルが使用可能です。

消去

  • Lama、LDM、ZITS、MAT、FcF、Manga

消去と置換

  • Stable Diffusion、Paint By Example

消去のモデルに関しては、CPU環境でも十分作動するところはうれしいです。

最後に

非常に高性能な画像補正ツールのlama-cleanerを使ってみました。非常にレベルの高いツールが無償で使えるのは非常にありがたいですね。

他にもいろいろ記事をあげているので、良かったらご覧ください。不明な点があれば、投稿フォームからご質問ください。

コメント