Cobweb of にーしか

話題になっていたので、Stable Diffusionでまた遊んでみました。

記事によると、reference_onlyというプリプロセッサで元絵の顔や服装の特徴が継承された画が生成できるということでした。

なので、今回は「特定のキャラクターに似たポートレート画像を出力させる」ことを目標にやってみました。

試行錯誤を重ねた結果、出来上がったのがこちら：


画像をクリックで拡大


画像をクリックで拡大


いくらでも量産できます

通常ですと、まずLoraの利用が思いつきますが、ControlNetのプリプロセッサだけで、比較的かんたんに実現できることが分かります。用意するのは参照元の画像２枚だけ。どんな画像を用意すればいいのかと、事前にやっておくべきことを要点にまとめました。

上記の画像を出力できるようになるまで、実験を兼ねて１時間くらいでした。あらかじめやるべきことが分かっていれば、もっと短くできると思います。準備がひとたび整ってしまえば、あとは出力にかかる時間だけです。

以下、AUTOMATIC1111版Stable Diffusion web UI （Stable Diffusion v1.21）の環境で、ControlNet v1.1 をこの目的で使う場合のハウツーの解説になります。

なお、使う学習モデル（checkpoint）によって、生成される“顔”の傾向や癖があります。真似させたいキャラの顔と学習モデルの生成物とが近い方が説得力が増します。なので、かけ離れた者同士を無理矢理組み合わせるような場合は、難易度が上がるだろうことをあらかじめご承知おき下さい。

具体的な設定値やプロンプト（呪文）も列記しておりますので、参考にして頂けると思います。使用modelのダウンロード先などは明記しておりませんが、検索して頂ければすぐに知れる、有名どころのhuggingface.coやcivitai.comからダウンロードできます。※6月5日追記：ダウンロード先を明記いたしました。

「Stable Diffusionとはなんぞや」とか、「ローカルの実行環境をどうやって用意するのか」といった基礎知識については説明しておりませんので、初歩的な理解は事前になされていることが望ましいです。

関連記事

• AUTOMATIC1111版web UIのアップデート 2023/06/28
• 最近の成果 2023/06/08
• 幼くて可愛いメルセデスちゃん 2023/06/05
• 実写系で有名なもう一つの方（BRA V5） 2023/06/05
• ControlNet v1.1で意図通りの萌え絵を作りましょう！ 2023/05/25
• Stable Diffusionが面白すぎる！ 2023/04/12
• Stable Diffusion＋ControlNet 2023/04/06
• Stable Diffusion 2023/04/05
• 思考実験をChatGPTと解く 2023/03/19
• AIお薦めによるビジネスモデルを是正するには 2023/03/19
• Chat GPTと会話してみた 2023/03/18
• ルキグラ 2021/08/04
• Looking Glass Portrait 2020/12/05
• Qomar Planetary Alliance 2020/11/04
• Seiren Voice 2020/09/16