Cobweb of にーしか

モデリング、海外ドラマ感想、洋ゲーRPG

Stable Diffusion+ControlNet

StableDiffusion10.jpg
左:拙作深月依真、右:Stable Diffusion (anything-v3 model and ControlNet, control_sd15_depth)にて生成された画像

ControlNetを導入して、手指が描写されないような素材からイラストを作って、いろいろ遊んでみました。

AIは手指を再現するのが苦手らしく、極めて不気味な手(※)を備えた美少女が誕生してしまうんですねぇ。
※openpose_handの併用で、この欠点を補うことができるそうですが、手の向きのバリエーションが少ないため、なかなか厳しいでしょう。

なお、ControlNetの導入方法を知りたい方は、後発の私が教示できるわけもありませんので、ググってくださいませ。

また、ControlNetに頼らずとも、静止画の素材からGenerateするimg2imgという機能がデフォルトで備わっています。とはいえ、これまた出力結果が違うので、特性で使い分けになるでしょう。

とりあえず、今回は、自前の画像を用意します。

はい、拙作の深月依真(みづきえま)――MMDユーザーモデルでございます。

Stable Diffusionの出力結果には著作権が適用されませんが、元画像の依真はMikuMikuMovingを使って私が用意したものですので、れっきとした著作物でございます。念のため。(この記事の内容を追確認するために自由に利用してかまいませんが、Generateした画像にコピーライト表示が残るような使い方はしないでください)

素材画像の背景について: 無地の真っ白で試したところ、出力結果が思わしくない印象でした。そんなわけで、MMD上で依真をグラデのついた青いホリゾントの前に立たせて(下図参照)から画像出力を行い、元画像としました。

StableDiffusion08.jpg
斜めってる理由は、物理で後ろ髪をめり込ませないため。且つ、カメラに映り込まないようにするため――映り込むとStableDiffusionが腕と勘違いしてくれちゃう……

さて、この画像をControlNetのdepthモデルに食わせて、いろんなバリエーションを作ってもらうのです。(作成中の様子↓)
StableDiffusion03.jpg

そして、できあがったのがこちら↓ けっこう、肉感的なえっちぃ感じで出ました。それが狙いなんですけどネ。

よく見比べると分かりますが、脚の輪郭なんか、元画像をかなり忠実になぞった仕上がりになってます。等身も元画像の比率通りなんですよね。だから、仮にリアル人間の写真が元だとすると、ずっと頭部が小さくなってしまうわけなのです。

StableDiffusion05.jpg
parameters
super fine illustration, an extremely pretty 19 years old girl, mature, highly detailed beautiful face and eyes, golden hair, wet, blue sky
Negative prompt: (painting by bad-artist-anime:0.9), (painting by bad-artist:0.9), signature, watermark, text, (worst quality, low quality:1.4), bad anatomy, bad fingers, missing fingers, too small hands, too small arms
Steps: 150, Sampler: Euler a, CFG scale: 7, Seed: 1420756506, Size: 480x720, Model hash: abcaf14e5a, Model: anything-v3-full, ControlNet Enabled: True, ControlNet Module: depth, ControlNet Model: control_sd15_depth [fef5e48e], ControlNet Weight: 1, ControlNet Guidance Start: 0, ControlNet Guidance End: 1


補足として、depthは奥行きを把握できます。コミケのコスプレイヤーさんを撮ったような写真が素材の場合、モブまでGenerateの対象になってしまうということですね。

また、背景が綺麗に抜けてくれない場合も多く、(素材ではなく)学習元の画像に由来するらしい何かまで一緒に残ってしまうこともけっこうありました。これは、素材の腕を、腕ではない別の何かとして解釈するために、そうなるのかもしれません。

【下図】生成と同時に作られた深度マップ(左)。右はnormal_mapモデルで作られた法線マップ(後述)。
StableDiffusion07.jpg

学習モデルをnormal_mapにして、同じ素材で生成したものがこちら↓
ほぼ似たような仕上がりですが細部のマッスの捉え方が違うみたいです。depth(深度マップ)の方が胸と肩とをしっかり区別してくれました。

StableDiffusion06.jpg
parameters
super fine illustration, an extremely pretty 19 years old girl, mature, highly detailed beautiful face and eyes, golden hair, wet, blue sky
Negative prompt: (painting by bad-artist-anime:0.9), (painting by bad-artist:0.9), signature, watermark, text, (worst quality, low quality:1.4), bad anatomy, bad fingers, missing fingers, too small hands, too small arms
Steps: 150, Sampler: Euler a, CFG scale: 7, Seed: 1603693623, Size: 480x720, Model hash: abcaf14e5a, Model: anything-v3-full, ControlNet Enabled: True, ControlNet Module: normal_map, ControlNet Model: control_sd15_normal [fef5e48e], ControlNet Weight: 1, ControlNet Guidance Start: 0, ControlNet Guidance End: 1


「©にーしか」付きの画像を素材にした場合、以下のような仕上がりになりました。YUNGって誰やねん?

StableDiffusion09.jpg
Generated by Stable Diffusion: anything-v3 model with ControlNet and control_sd15_depth

肩に着衣を被せたくない場合には、以下のプロンプトを付すると有効でした。
medium length hairstyle, bare shoulders,
同時に、髪型をセミロングに指定すると、腕を長髪として解釈されてしまうことが減るようです。

blunt bangs
さらに、ぱっつん前髪を指定するプロンプト。

dungeon
のプロンプトを付すると上画像のような背景になりました。

wet
湿気も、いい肌表現になります。

fringed white underwear
を付すると、飾りの付いたエッチなショーツにしてくれます。

vagina
を付すると、スジがつきます。


おまけ: 冒頭の「依真」素材で生成しました。プロンプトで指定するだけで、コルセットや手袋やタイツまで履かせることができちゃいます!
StableDiffusion11.jpg
parameters
super fine illustration, an extremely pretty 19 years old girl, mature, highly detailed beautiful face and eyes, vagina and fringed white underwear, metal breastplate, corset, without cloak, thigh highs, brown hair, dungeon, wet
Negative prompt: (painting by bad-artist-anime:0.9), (painting by bad-artist:0.9), signature, watermark, text, (worst quality, low quality:1.4), bad anatomy, bad fingers, missing fingers, too small hands, too small arms
Steps: 150, Sampler: Euler a, CFG scale: 7, Seed: 1994755867, Size: 512x768, Model hash: abcaf14e5a, Model: anything-v3-full, ControlNet Enabled: True, ControlNet Module: depth, ControlNet Model: control_sd15_depth [fef5e48e], ControlNet Weight: 1, ControlNet Guidance Start: 0, ControlNet Guidance End: 1
関連記事
スポンサーサイト



[ 2023/04/06 21:44 ] テクノロジ- | TB(-) | CM(0)
コメントの投稿












管理者にだけ表示を許可する
カレンダー
11 | 2023/12 | 01
- - - - - 1 2
3 4 5 6 7 8 9
10 11 12 13 14 15 16
17 18 19 20 21 22 23
24 25 26 27 28 29 30
31 - - - - - -
月別アーカイブ
全記事表示リンク