【Stable Diffusion】ControlNetの深度情報用モデル『depth』の使い方を解説！
- ※当ブログはアフィリエイト・アドセンスによる収益で運営されています。
こういったお悩みにお答えします。
Stable Diffusionに必須と言っても過言ではない拡張機能のControlNetですが、さまざまなモデルが。それぞれに特徴が違うため、どう使い分ければいいのかわかりづらいですよね。
openposeしか使っていない方も多いのでは？
この記事では
- 【Stable Diffusion】ControlNetの深度情報用モデル『depth』の特徴とは？
- ControlNetの線画用モデル『depth』の導入方法
- ControlNetの線画用モデル『depth』の使い方
- 『depth library』を使うと手・指を修正できる
- もっとスムーズにイラストを生成したいなら…
- 生成した大量のイラストを簡単に管理する方法
これらについて解説していくので、最後まで読むとControlNetのモデル『depth』を使ってイラストを生成する方法がわかります。
この記事ではControlNetの『depth』というモデルについて解説していますが、ControlNet全体や他のモデルについて知りたい方は以下の記事も合わせてお読みください。
＞＞【Stable Diffusion】拡張機能ControlNetの使い方を解説！
【Stable Diffusion】ControlNetの深度情報用モデル『depth』の特徴とは？
depthを使うと、元画像の深度情報を元にイラストを生成することができます。
『深度情報ってなんやねん』という話ですが
このイラストの深度情報を可視化したマップを作成してみると
こんな感じです。手前にある要素ほど白く、奥にある要素ほど黒く表現されているのが特徴。
depthではこの深度情報をベースにイラストを生成するため、元画像の奥行きを再現したいときに使うのがおすすめのモデルです。
depthで先ほどの深度マップを元に新しくイラストを生成するとこんな感じに。
元画像と比較してみると、右手のポーズはもちろん髪の動きもしっかりとトレースできていますね。
その一方、ほぼ何の情報も取得できていない背景に関しては完全オリジナルになっています。
openposeとの比較
今回のイラストを『openpose』で再現してみると
このように右手がうまく描けていませんし、なぜか猫耳も生えています。openposeで抽出したボーン情報では
人体の重なりをうまくトレースできないことも多いためです。
猫耳の有無や髪の動きの情報も含まれていないので、元のイラストとは違ったヘアースタイルにもなっていますね。
もちろんopenposeの方が的確に再現できるケースもあるので、生成したいイラストの特徴によってモデルを使い分けましょう。
ControlNetの深度情報用モデル『depth』の導入方法
depthを導入するには、前提としてControlNetという拡張機能の導入が必須です。
ControlNet未導入の方は以下の記事を参考にインストールしておいてください。
＞＞【Stable Diffusion】拡張機能ControlNetの使い方を解説！
ControlNet導入済みの方は
Hugging faceに飛び
- control_v11f1p_sd15_depth_fp16.safetensors
という約700MBのファイルを入手してください。
ダウンロードが完了したら
『stable-diffusion-webui』→『extensions』→『sd-webui-controlnet』→『models』の中に放り込めば完了です。
その後はStable Diffusionを再起動してもいいですし
ControlNet内のモデル選択画面で更新アイコンを押すことでも追加したモデルが反映されます。
ControlNetの線画用モデル『depth』の使い方
depthを使うときは
- 参考にする画像をドラッグ＆ドロップする
- Enableにチェックを入れる
- Preprocessor：depth leres++
- Model：control_v11p_sd15_depth_fp16
- 他の項目：そのまま
これらを設定して『Generate』ボタンを押してください。
元イラストから深度情報を抽出し
深度情報をもとに新しいイラストが生成されます。
色に関する情報が含まれていないのもdepthモデルの特徴。
『blond hair』と入力しておけば、簡単に髪などの色を変えることができます。
ランダムでいろいろな髪色を試して、気に入ったイラストを採用することも可能。
逆に言うと、色の情報を引き継いでくれないため『元画像から色は変えたくない』という場合にはimg2imgなど他の手段を使った方がいいでしょう。
4つのPreprocessorの比較検証
depth系のPreprocessorは
- depth leres
- depth leres++
- depth midas
- depth zoe
これら4種類がありますが、基本的にはdepth leres++がおすすめ。
比較してみると、depth leres++が一番細かく深度情報を取得できています。
とりあえず筆者はいつもdepth leres++を選んでいますが、元画像や使用環境によって結果が異なる可能性もあります。気になる方はご自身の環境で比べてみてくださいね。
『depth library』を使うと手・指を修正できる
depthの原理を利用した『depth library』という拡張機能を使うと、生成したイラストの手・指をピンポイントで修正することができます。
手の形がおかしいイラストに対して
depth libraryを使って手の深度情報を設定すると
正しい形に修正することが可能。手がうまく描けなくてお悩みの方はぜひ導入してみてください。
depth libraryの詳しい使い方や導入方法は以下の記事で解説しています。
＞＞https://freeblog-video.com/stable-diffusion_extensions_depth-library/
もっとスムーズにイラストを生成したいなら…
もしあなたがもっと快適にAIイラストを生成したいなら、グラボを見直してみるのがおすすめです。
グラボはAIイラストを生成するうえで最も重要なパーツ。いくらCPUやメモリが高性能でもグラボがしょぼかったら致命的です。
本格的に取り組んでいくのなら、グラボにはケチらず投資しましょう。最低でも12GBのVRAMは確保しておきたいところ。VRAMが2GB・4GBくらいしかない古いグラボだと高解像度化や学習に大きな支障が出てしまいます。
コスパを重視する方・予算が5万円以下の方はRTX 3060一択と言っていいでしょう。
もう少し予算が確保できて、さらにハイスペックなグラボに興味がある方は以下の記事もお読みください。きっとあなたに合ったグラボが見つかりますよ。
＞＞【コスパ重視】Stable Diffusionにおすすめのグラボ3選！
PCごと買い替えを検討している方は以下の記事をお読みください。快適にStable Diffusionを使えるマシン3選を紹介しています。
＞＞Stable Diffusionにおすすめのパソコン3選と推奨スペックを解説！
生成した大量のイラストを簡単に管理する方法
Stable Diffusionで生成した大量のイラストを効率的に管理するなら『Eagle』というツールがおすすめ。
イラストを生成するとメタデータが自動でEagleに送られ、タグやメモとして保存されます。このタグを使うことで検索や管理がとても楽ちん。
例えば『a dog』というタグで検索すると、そのプロンプトで生成されたイラストだけを表示することができます。『あのイラストどんなプロンプトで生成したっけ？』『LoRAのトリガーワード忘れた』なんて迷わずに済みますよ。
Eagleは本来『約4,000円・買い切り型』の有料ツールですが、30日間の無料体験ができるので、とりあえず試してみてください。
『【Stable Diffusion】ControlNetの深度情報用モデル『depth』の使い方を解説！』のまとめ
- depthはControlNetで使えるモデルの一つ
- 深度情報を抽出し、それをもとにイラストを生成してくれる
- 元画像の奥行き保ったまま色を変えたいときなどに使ってみよう
ここまでお読みいただきありがとうございました！
他にもわからないことがあったら以下の記事をお読みください。初心者向けにStable Diffusionの使い方を一から解説しています。