画像生成AIと加筆を組み合わせたイラスト作成の試み (2) Depth2img

前回の続きです。

■画像生成AIで狙った絵を出すことの難しさ

自分の画風で狙った構図出したい時、vroid（3Dモデル）をimg2imgやinpaintを使って絵を生成していましたが、これは設定が難しいです。

「自分の絵、vroid、自分の絵」と並べて真ん中のvroidだけinpaintすると周囲の絵に雰囲気を似せることができるという小技があるが、Strengthを上げるとポーズが違うものになりがち

イラストっぽくしようと、Strengthを上げるとvroidのポーズは無視されがちで、低くすると3Dモデルのままでイラストっぽくなりません。

■Depth2img

Stable Diffusion v2にはDepth2imgというモデルがあり、画像の深度を読み取ってそれに沿った画像を生成するのに適しているそうです。

しかし、SD2系はイラスト的な表現はそれほど得意というわけではないので、試すのを見送っていました。

ところがその時、このような記事を見て興味を持ちました。