mov2movでTiktok動画作成最新版

mov2movでTiktok動画を作成します。以前も同じようなブログをあげたのですが、ControlNetにReferenceが追加されたことにより、以前よりずっと楽になっています。最近流行りの「中身はおじさんの美女動画」も簡単に作れます。

前準備

前準備については、以前のブログ記事で説明しているので、そちらをご覧ください。今回はそのアップグレード記事になります。

mov2movでTiktokの動画を生成する：Stable Diffusion WebUI拡張機能

mov2movでAI美女に踊らせてみました。元動画は私（おっさん）ですが、Stable Diffusionのmov2movにかかると、そんな私でも美女の踊ってみた動画が作れます。おっさんを美女に変換するという少し無茶なことをやっていますので、ちらつきが大きいです。

happy-shibusawake.com

2023.04.30

最新の手順

１．スマホなどで動画を撮影して、PCに保存する
２．動画のスクショを使ってopenpose+handで美女画像を生成する
３．mov2movに撮影した動画を貼り付けて、動画からのopenpose+handと、画像からのreference onlyで動画を生成する

以下、３の設定について具体例を示します。ポイントはReference onlyのweightを適度が大きさに調整することです。値が大きすぎるとOpenPoseの動きが効きにくくなるので注意が必要です。

また、ModNetで背景を消す（clear）をすることで動画が安定しやすくなります。

生成した動画

できた動画はこのようになります。枚数が多いと時間が掛かります。ダンスが下手なのはお許しください。ただ、中身がおじさんには見えないですよね。

Tiktok動画へのリンク