【Stable Diffusion】ControlNetで直線を抽出できる『MLSD』の使い方！
- ※当ブログはアフィリエイト・アドセンスによる収益で運営されています。
こういったお悩みにお答えします。
ControlNetを使うと、棒人間・線画などでキャラクターのポーズや構図を指示できます。その一方、部屋の内装などの背景はおざなりになりがち。
この記事では
- 【Stable Diffusion】ControlNetで直線を抽出できる『MLSD』の特徴とは？
- MLSDの導入方法
- MLSDの使い方
- MLSDの本領はMulti ControlNetでこそ発揮される
- もっとスムーズにイラストを生成したいなら…
- 生成した大量のイラストを簡単に管理する方法
これらについて解説していくので、最後まで読むとイラストから直線要素だけを抽出し、家具や内装を再現する方法がわかります。
この記事ではControlNetの『MLSD』というモデルについて解説していますが、ControlNet全体や他のモデルについて知りたい方は以下の記事も合わせてお読みください。
＞＞【Stable Diffusion】拡張機能ControlNetの使い方を解説！
【Stable Diffusion】ControlNetで直線を抽出できる『MLSD』の特徴とは？
MLSDはイラストの中の『直線部分』だけを抽出することができるモデル。
例えば、こんな部屋のイラストに対してMLSDを使うと
直線部分だけが抽出され
これをもとに新しいイラストを生成してくれます。
曲線や色などの情報はまったく抽出されないため、人物のイラストに関しては無力。
このイラストにMLSDを使うと
よくわからない輪郭が抽出され
ぜんぜん違うイラストが生成されます。これではMLSDを使う意味はないでしょう。
人物イラストを主に生成している方は『あんまり役に立たなそうだな…』なんて思うかもしれませんが、それは大間違い。
MLSDはMulti ControlNetで使うととても便利です。
MLSDで背景を指定しつつ
人物のポーズはopenposeなどで指定すると
合わせ技で思いどおりのイラストを生成することができます。
背景部分を指定できるControlNetのモデルは少ないので、組み合わせの1つとして重宝するでしょう。
MLSDの導入方法
MLSDを導入するには、前提としてControlNetという拡張機能の導入が必須です。
ControlNet未導入の方は以下の記事を参考にインストールしておいてください。
＞＞【Stable Diffusion】拡張機能ControlNetの使い方を解説！
ControlNet導入済みの方は
Hugging faceに飛び
control_v11p_sd15_mlsd_fp16.safetensors
という約700MBのファイルを入手してください。
ダウンロードが完了したら
『stable-diffusion-webui』→『extensions』→『sd-webui-controlnet』→『models』の中に放り込めば完了です。
その後はStable Diffusionを再起動してもいいですし
ControlNet内のモデル選択画面で更新アイコンを押すことでも追加したモデルが反映されます。
MLSDの使い方
ControlNetでMLSDを使うには、txt2imgの操作画面からControlNetのタブを開き
- 参考にする画像をドラッグ＆ドロップする
- Enableにチェックを入れる
- Preprocessor：mlsd
- Model：control_v11p_sd15_mlsd_fp16
- 他の項目：そのまま
この設定で『Generate』を押してみましょう。
すると元イラストの直線部分が抽出され
それをベースに新しいイラストが生成されます。今回のイラストはもともと直線が多いため、窓枠・部屋の大きさ・絵画・ソファーなど大半の構図が維持されていますね。
MLSDの本領はMulti ControlNetでこそ発揮される
ここまでMLSD単体での使い方を解説してきましたが、MLSDの本領が発揮されるのはMulti ControlNetでの使用時です。
『Multi ControlNetってなに？』という方は以下の記事をお読みください。
＞＞【Stable Diffusion】Multi ControlNetとは？使い方と導入方法を解説！
ControlNet Unit0でMLSDを使って背景（部屋など）を指定しつつ、ControlNet Unit1でopenposeを使って人物のポーズを指定することで、思いどおりのシチュエーションのイラストを生成することができるのです。
ソファーにもたれかかっているポーズを使えば
こんなイラストが。
寝そべっているポーズを使えば
こんなイラストが。
もちろんopenpose以外のモデルとも組み合わせることができるので、いろいろと試してみてください。
『Openpose Editor』を使ってopenpose用の棒人間イラストを自作する方法を知りたい方は以下の記事もお読みください。
＞＞【Stable Diffusion】ゼロからポーズを作る『Openpose Editor』の使い方！
もっとスムーズにイラストを生成したいなら…
もしあなたがもっと快適にAIイラストを生成したいなら、グラボを見直してみるのがおすすめです。
グラボはAIイラストを生成するうえで最も重要なパーツ。いくらCPUやメモリが高性能でもグラボがしょぼかったら致命的です。
本格的に取り組んでいくのなら、グラボにはケチらず投資しましょう。最低でも12GBのVRAMは確保しておきたいところ。VRAMが2GB・4GBくらいしかない古いグラボだと高解像度化や学習に大きな支障が出てしまいます。
コスパを重視する方・予算が5万円以下の方はRTX 3060一択と言っていいでしょう。
もう少し予算が確保できて、さらにハイスペックなグラボに興味がある方は以下の記事もお読みください。きっとあなたに合ったグラボが見つかりますよ。
＞＞【コスパ重視】Stable Diffusionにおすすめのグラボ3選！
PCごと買い替えを検討している方は以下の記事をお読みください。快適にStable Diffusionを使えるマシン3選を紹介しています。
＞＞Stable Diffusionにおすすめのパソコン3選と推奨スペックを解説！
生成した大量のイラストを簡単に管理する方法
Stable Diffusionで生成した大量のイラストを効率的に管理するなら『Eagle』というツールがおすすめ。
イラストを生成するとメタデータが自動でEagleに送られ、タグやメモとして保存されます。このタグを使うことで検索や管理がとても楽ちん。
例えば『a dog』というタグで検索すると、そのプロンプトで生成されたイラストだけを表示することができます。『あのイラストどんなプロンプトで生成したっけ？』『LoRAのトリガーワード忘れた』なんて迷わずに済みますよ。
Eagleは本来『約4,000円・買い切り型』の有料ツールですが、30日間の無料体験ができるので、とりあえず試してみてください。
『【Stable Diffusion】ControlNetで直線を抽出できる『MLSD』の使い方！』のまとめ
- MLSDはControlNet用の拡張機能
- 直線だけを抽出することができるので内装などを再現したいときに使おう
- Multi ControlNetで他のモデルと組み合わせるのがおすすめ
ここまでお読みいただきありがとうございました！
他にもわからないことがあったら以下の記事をお読みください。初心者向けにStable Diffusionの使い方を一から解説しています。