【Stable Diffusion】ControlNet1.1用モデル『Tile_resample』の使い方を解説！
- ※当ブログはアフィリエイト・アドセンスによる収益で運営されています。
こういったお悩みにお答えします。
Stable DiffusionでTiled diffusionを使ってイラストを高画質化（アップスケール）している方も多いでしょう。しかし、このやり方でDenoising strengthを上げてしまうと追加で人物が描画されるなど、絵柄が変わってしまいます。
この記事では
- 【Stable Diffusion】ControlNet1.1用モデル『Tile_resample』の特徴とは？
- ControlNet Tileの導入方法
- ControlNet Tile × Tiled diffusionの使い方
- もっとスムーズにイラストを生成したいなら…
- 生成した大量のイラストを簡単に管理する方法
これらについて解説していくので、最後まで読むとControlNet用モデルTile_resampleを使って、元の絵柄を維持したままきれいに高画質化する方法がわかります。
この記事では『Tile_resample』というControlNet用モデルについて解説していますが、ControlNet全体やその他のモデルについて知りたい方は以下の記事も合わせてお読みください。
＞＞【Stable Diffusion】拡張機能ControlNetの使い方を解説！
【Stable Diffusion】ControlNet1.1用モデル『Tile_resample』の特徴とは？
Tile_resampleはControlNetで使えるモデルの一つ。イラストを高画質化するときに使える機能です。
Tile_resampleの大きなメリットは、元イラストの絵柄を変えないまま高解像度化（アップスケール）できることです。
普通にTiled diffusionだけで（Tile_resampleを使わずに）高画質化すると
元のイラストから
絵柄が変わってしまうことがよくあるんですよね。女の子だけでなく、背景の建物の形も大きく変わっています。
特にDenoising strengthの値が高いと絵柄の変化が起こりがち（上のイラストでは0.75に設定）。Denoising strengthとはノイズ除去強度を表す指標で、低いほど元の絵に忠実に・高いほど元の絵を無視して描き変えます。
今回の例では『元の絵＝低画質』なので、きれいに高解像度化するにはDenoising strengthを高く設定したいのが本音。その方が描き込み量が増えてイラストのクオリティが高くなります。
しかし、そのぶん元の絵を無視するため絵柄が変わってしまう、というジレンマが…。
この問題を解決してくれるのがTile_resampleです。Tile_resampleで元の絵柄を維持することによって、Denoising strengthを高い値で適用しても絵柄の変化を防ぐことが可能。ハイクオリティなイラストをを生成するためぜひ試してみてください。
Tile_resampleの導入方法
Tile_resampleを導入するには、前提としてControlNetとTile Diffusionのインストールが必須です。
ControlNetを導入していない方は以下の記事を参考に入手してください。
＞＞【Stable Diffusion】拡張機能ControlNetの使い方を解説！
Tile Diffusionが未導入の方はこちらからどうぞ。
＞＞【Stable Diffusion】Tiled diffusionの使い方とインストール方法を解説！
上記2つをインストール済みの方は
Hugging faceに飛び
control_v11p_sd15_tile_fp16.safetensors
という約700MBのファイルを入手してください。
ダウンロードが完了したら
『stable-diffusion-webui』→『extensions』→『sd-webui-controlnet』→『models』の中に放り込めば完了です。
その後はStable Diffusionを再起動してもいいですし
ControlNet内のモデル選択画面で更新アイコンを押すことでも追加したモデルが反映されます。
Tile_resampleの使い方
導入したTile_resample × Tile Diffusionを使って、このイラストを高画質化していきます。Tile_resampleはtxt2imgにも対応しているのですが、この記事ではほとんどの方が使うであろうimg2imgでの使い方について解説していきます。
img2imgの設定
まずは元となるイラストを放り込み
- Sampling method：Eular a
- Sampling steps：20
- Denoising strength：0.75
に設定しましょう。ここでDenoising strengthを0.75などの高い値に設定できることがTile_resampleの強みです。
Tiled Diffusionの設定
- Enable Tiled Diffusionにチェック
- Method：Mixture of Diffusers
- Latent tile overlap：8
- Upscaler：R-ESRGAN 4x+ Anime6B
- Scale Factor：2
- Enable Noise Inversionにチェック
- Renoise strength：0
Scale Factorはあなたが設定したい拡大率を指定してください。その他の設定は製作者のホームページ（Github）を参考にしています。
Tiled VAEの設定
VRAMが十分にある場合は設定不要です。
VRAM容量に自信がない方はEnable Tiled VAEにチェックをつけておきましょう。
ControlNet（Tile_resample）の設定
- Enableにチェック
- Preprocessor：tile_resample
- Model：tile_resample
- Down Sampling Rate：2
項目がたくさんありましたが、これらの設定が完了したら『Generate』を押して生成開始。
書き込みが甘かった元のイラストが
2倍に高画質化されきれいになった…のですが、少しぼやけた印象です。これは『Enable Noise Inversion』にチェックを入れたため。公式は推奨しているのですが、筆者としてはあまり気に入っていません。
Enable Noise Inversionのチェックを外すと
このように変化します。かなりくっきりした絵柄になりましたね。
Noise Inversionについては有効⇔無効の切り替えだけでなく、Inversion stepsなど複数のパラメーターがあるため、お好みで適用してください。
Noise Inversionにチェックを入れた状態でも、Inversion stepsを50に設定するとぼやけた印象が改善されました。いろいろ試したいのですが、各パラメーターを比較しだすとキリがないので今回はこのへんで。
※追記：5月末のアップデートで
- Tile colorfix
- Tile colorfix + sharp
これら2つのPreprocessorが追加されました。
Tile resampleとの比較について詳しくは以下の記事で解説しています。
＞＞【Stable Diffusion】Tile colorfix・colorfix＋sharpとは？3つの違いを比較！
もっとスムーズにイラストを生成したいなら…
もしあなたがもっと快適にAIイラストを生成したいなら、グラボを見直してみるのがおすすめです。
グラボはAIイラストを生成するうえで最も重要なパーツ。いくらCPUやメモリが高性能でもグラボがしょぼかったら致命的です。
本格的に取り組んでいくのなら、グラボにはケチらず投資しましょう。最低でも12GBのVRAMは確保しておきたいところ。VRAMが2GB・4GBくらいしかない古いグラボだと高解像度化や学習に大きな支障が出てしまいます。
コスパを重視する方・予算が5万円以下の方はRTX 3060一択と言っていいでしょう。
もう少し予算が確保できて、さらにハイスペックなグラボに興味がある方は以下の記事もお読みください。きっとあなたに合ったグラボが見つかりますよ。
＞＞【コスパ重視】Stable Diffusionにおすすめのグラボ3選！
PCごと買い替えを検討している方は以下の記事をお読みください。快適にStable Diffusionを使えるマシン3選を紹介しています。
＞＞Stable Diffusionにおすすめのパソコン3選と推奨スペックを解説！
生成した大量のイラストを簡単に管理する方法
Stable Diffusionで生成した大量のイラストを効率的に管理するなら『Eagle』というツールがおすすめ。
イラストを生成するとメタデータが自動でEagleに送られ、タグやメモとして保存されます。このタグを使うことで検索や管理がとても楽ちん。
例えば『a dog』というタグで検索すると、そのプロンプトで生成されたイラストだけを表示することができます。『あのイラストどんなプロンプトで生成したっけ？』『LoRAのトリガーワード忘れた』なんて迷わずに済みますよ。
Eagleは本来『約4,000円・買い切り型』の有料ツールですが、30日間の無料体験ができるので、とりあえず試してみてください。
『【Stable Diffusion】ControlNet用モデル『Tile_resample』の使い方を解説！』のまとめ
- Tile_resampleとTiled diffusionを合わせることで
元の絵柄を変えずに高画質化できる - Denoising strengthを高く設定できるのが強み
- Noise Inversionの値には気をつけよう
ここまでお読みいただきありがとうございました！
他にもわからないことがあったら以下の記事をお読みください。初心者向けにStable Diffusionの使い方を一から解説しています。