【Stable Diffusion】Multi ControlNetとは?使い方と導入方法を解説!

AIイラスト

    ※当ブログはアフィリエイト・アドセンスによる収益で運営されています。

こういったお悩みにお答えします。

ControlNetを使うと、棒人間・線画など様々な手段でStable Diffusionにイラストの指示を出すことができます。しかし、棒人間だと奥行きの指定が難しかったりと不完全な部分も。

この記事では

これらについて解説していくので、最後まで読むと複数のControlNetモデルを併用できるMulti ControlNetの使い方がわかります。

この記事では『Multi ControlNet』という拡張機能について解説していますが、ControlNet全体や他のモデルについて知りたい方は以下の記事も合わせてお読みください。

>>【Stable Diffusion】拡張機能ControlNetの使い方を解説!

【Stable Diffusion】複数モデルを併用できる『Multi ControlNet』の特徴とは?

Multi ControlNetを使うことで、openposeやcannyなど複数のControlNet用モデルを同時に適用できるようになります。

これにより、Stable Diffusionに対してより正確な指示を出すことが可能に。

  • reference onlyで画風を、openposeでポーズを指定
  • openposeとdepthでより正確にポーズを指定
  • openposeでポーズを、Segmentationで背景を指示

などなど、例を挙げていけばキリがありません。3つ以上のControlNet用モデルを併用することもできるため、可能性は無限大。

Multi ControlNetを使いこなせば、あなたがイメージするイラストを生成するのに大きく役立ってくれるでしょう。

Multi ControlNetの導入方法


Multi ControlNetの有効化はとても簡単。拡張機能などをわざわざダウンロードする必要はありません。

Multi ControlNet設定画面
『Settings』→『ControlNet』タブを選択し、『Multi Control』のバーを横に引っ張って数を増やしましょう。この値が『同時に使えるControlNetモデルの数』です。

Multi ControlNet設定画面②
設定が完了したら左上の『Apply settings』ボタンを押して変更内容を反映させたのち、右上の『Reload UI』で再起動しましょう。

Multi ControlNet設定画面③
『Multi Control』のバーで指定した数だけ『ControlNet Unit』が増えていればOKです。

Multi ControlNetの使い方


それでは実際にMulti ControlNetを使ってみましょう。

とはいってもこの記事で解説するのはあくまで一例。Multi ControlNetには〇ぬほど多くの使い方があります。モデルの組み合わせだけでとんでもない数のバリエーションがありますからね。

その中でも、今回は

  • モデル①:reference onlyでキャラクターを指定
  • モデル②:openposeでポーズを指定

こんな場合を見てみましょう。登場するキャラクターを固定したまま、いろいろなポーズをとらせたいことは結構あると思います。


登場キャラはこの子。銀髪・オッドアイでエルフ耳と、そこそこ個性的ですね。

openposeの例
この子にバンザイのポーズをとらせてみましょう。

ControlNet Unit0には

reference only設定画面
  • 参考にする画像をドラッグ&ドロップする
  • Enableにチェックを入れる
  • Preprocessor:reference only
  • 他の項目:そのまま

とりあえずこんな感じにしておいて

ControlNet Unit1には

openpose設定画面
  • 棒人間イラストをドラッグ&ドロップする
  • Enableにチェックを入れる
  • Preprocessor:none
  • Model:control_v11p_sd15_openpose_fp16
  • 他の項目:そのまま

これで準備は完了です。『Generate』ボタンを押してみましょう。なおプロンプトは適当ですが『銀髪』『オッドアイ』『手を上げる』などは一切入力していません。

Multi ControlNet生成例① Multi ControlNet生成例② Multi ControlNet生成例③

できあがったイラストの一例がこちら。なぜか左右の目の色が逆になっていますが、キャラクターとポーズの両方が反映されたイラストになっています。

なんの追加学習もなしにこんなことができるのはすごいですよね。ぜひあなたもMulti ControlNetを活用してお気に入りのイラストを生成してみてください。

注意点:矛盾が発生しないような組み合わせにしよう

Multi ControlNetを使うときは、それぞれのモデルで矛盾が発生しないように注意しましょう。指示に矛盾があると、まともなイラストはいつまで経っても生成されません。


例えば、先ほどreference onlyで使っていたこちらのイラストを、今度はcannyで適用してみます。

線画例
つまり、この線画を維持したまま

openposeの例
このポーズをとらせるわけです。完全に矛盾していますよね。

Multi ControlNet失敗例
結果はこのとおり。ムリな指示を両立させようとした結果、おかしなイラストになってしまっています。

ちゃんと両立させることが可能な指示を出すように気をつけましょう。

結果が気に入らないときは

生成されるイラストが思いどおりにならない場合は

  • プロンプト・ネガティブプロンプト
  • 各モデルのControl Weight
  • Style Fidelity(reference onlyの場合のみ)

これらを調節して結果をチューニングしましょう。場合によっては3つ目・4つ目のControlNet Unitを追加することも有効かもしれません。

いずれにせよ、Multi ControlNetを使いこなすには、一つ一つのモデルが持つ特徴を理解することが必要不可欠です。

例えばopenposeの棒人間はキャラクターのポーズを細かく指定できる一方、奥行きの表現がとても苦手。

これに対して、奥行きの表現が得意なのがdepthの特徴です。この2つのモデルをMulti ControlNetで組み合わせると、openposeの弱点をカバーすることができます。

…なんて偉そうに書いていますが、筆者もまだまだ使いこなせていません。イメージどおりのイラストを生成するため、一緒に使い慣れていきましょう。

もっとスムーズにイラストを生成したいなら…


もしあなたがもっと快適にAIイラストを生成したいなら、グラボを見直してみるのがおすすめです。

グラボはAIイラストを生成するうえで最も重要なパーツ。いくらCPUやメモリが高性能でもグラボがしょぼかったら致命的です。

本格的に取り組んでいくのなら、グラボにはケチらず投資しましょう。最低でも12GBのVRAMは確保しておきたいところ。VRAMが2GB・4GBくらいしかない古いグラボだと高解像度化や学習に大きな支障が出てしまいます。

コスパを重視する方・予算が5万円以下の方はRTX 3060一択と言っていいでしょう。

もう少し予算が確保できて、さらにハイスペックなグラボに興味がある方は以下の記事もお読みください。きっとあなたに合ったグラボが見つかりますよ。

>>【コスパ重視】Stable Diffusionにおすすめのグラボ3選!

PCごと買い替えを検討している方は以下の記事をお読みください。快適にStable Diffusionを使えるマシン3選を紹介しています。

>>Stable Diffusionにおすすめのパソコン3選と推奨スペックを解説!

生成した大量のイラストを簡単に管理する方法


Stable Diffusionで生成した大量のイラストを効率的に管理するなら『Eagle』というツールがおすすめ。

Eagle使い方①
イラストを生成するとメタデータが自動でEagleに送られ、タグやメモとして保存されます。このタグを使うことで検索や管理がとても楽ちん。

Eagle使い方②
例えば『a dog』というタグで検索すると、そのプロンプトで生成されたイラストだけを表示することができます。『あのイラストどんなプロンプトで生成したっけ?』『LoRAのトリガーワード忘れた』なんて迷わずに済みますよ。

Eagleは本来『約4,000円・買い切り型』の有料ツールですが、30日間の無料体験ができるので、とりあえず試してみてください。

>>公式サイトでEagleを無料体験してみる

『【Stable Diffusion】Multi ControlNetとは?使い方と導入方法を解説!』のまとめ

  • Multi ControlNetで複数のControlNetモデルを併用可能に
  • 各モデルの弱点を補うような使い方がおすすめ
  • 可能性は無限大なので自分なりの使い方を探してみよう

ここまでお読みいただきありがとうございました!

他にもわからないことがあったら以下の記事をお読みください。初心者向けにStable Diffusionの使い方を一から解説しています。

>>【完全初心者用ガイド】Stable Diffusionの使い方を徹底解説!