【Stable Diffusion】ControlNet1.1用モデル『Tile_resample』の使い方を解説!

AIイラスト

こういったお悩みにお答えします。

Stable DiffusionでTiled diffusionを使ってイラストを高画質化(アップスケール)している方も多いでしょう。しかし、このやり方でDenoising strengthを上げてしまうと追加で人物が描画されるなど、絵柄が変わってしまいます。

この記事では

これらについて解説していくので、最後まで読むとControlNet用モデルTile_resampleを使って、元の絵柄を維持したままきれいに高画質化する方法がわかります。

この記事では『Tile_resample』というControlNet用モデルについて解説していますが、ControlNet全体やその他のモデルについて知りたい方は以下の記事も合わせてお読みください。

>>【Stable Diffusion】拡張機能ControlNetの使い方を解説!

【Stable Diffusion】ControlNet1.1用モデル『Tile_resample』の特徴とは?

tilediffusion+resampele0.75
Tile_resampleはControlNetで使えるモデルの一つ。イラストを高画質化するときに使える機能です。

Tile_resampleの大きなメリットは、元イラストの絵柄を変えないまま高解像度化(アップスケール)できることです。

普通にTiled diffusionだけで(Tile_resampleを使わずに)高画質化すると

サンプルイラスト
元のイラストから

tilediffusionのみ0.75
絵柄が変わってしまうことがよくあるんですよね。女の子だけでなく、背景の建物の形も大きく変わっています。

特にDenoising strengthの値が高いと絵柄の変化が起こりがち(上のイラストでは0.75に設定)。Denoising strengthとはノイズ除去強度を表す指標で、低いほど元の絵に忠実に・高いほど元の絵を無視して描き変えます。

今回の例では『元の絵=低画質』なので、きれいに高解像度化するにはDenoising strengthを高く設定したいのが本音。その方が描き込み量が増えてイラストのクオリティが高くなります。

しかし、そのぶん元の絵を無視するため絵柄が変わってしまう、というジレンマが…。

tilediffusion+resampele0.75
この問題を解決してくれるのがTile_resampleです。Tile_resampleで元の絵柄を維持することによって、Denoising strengthを高い値で適用しても絵柄の変化を防ぐことが可能。ハイクオリティなイラストをを生成するためぜひ試してみてください。

Tile_resampleの導入方法


Tile_resampleを導入するには、前提としてControlNetとTile Diffusionのインストールが必須です。

ControlNetを導入していない方は以下の記事を参考に入手してください。

>>【Stable Diffusion】拡張機能ControlNetの使い方を解説!

Tile Diffusionが未導入の方はこちらからどうぞ。

>>【Stable Diffusion】Tiled diffusionの使い方とインストール方法を解説!

上記2つをインストール済みの方は

Tile_resampleダウンロードページ
Hugging faceに飛び

control_v11p_sd15_tile_fp16.safetensors

という約700MBのファイルを入手してください。

ダウンロードが完了したら

Tile_resample格納場所
『stable-diffusion-webui』→『extensions』→『sd-webui-controlnet』→『models』の中に放り込めば完了です。

その後はStable Diffusionを再起動してもいいですし

Tile_resampleモデル選択
ControlNet内のモデル選択画面で更新アイコンを押すことでも追加したモデルが反映されます。

Tile_resampleの使い方

サンプルイラスト
導入したTile_resample × Tile Diffusionを使って、このイラストを高画質化していきます。Tile_resampleはtxt2imgにも対応しているのですが、この記事ではほとんどの方が使うであろうimg2imgでの使い方について解説していきます。

img2imgの設定

img2imgの設定
まずは元となるイラストを放り込み

  • Sampling method:Eular a
  • Sampling steps:20
  • Denoising strength:0.75

に設定しましょう。ここでDenoising strengthを0.75などの高い値に設定できることがTile_resampleの強みです。

Tiled Diffusionの設定

Tiled Diffusionの設定
  • Enable Tiled Diffusionにチェック
  • Method:Mixture of Diffusers
  • Latent tile overlap:8
  • Upscaler:R-ESRGAN 4x+ Anime6B
  • Scale Factor:2
  • Enable Noise Inversionにチェック
  • Renoise strength:0

Scale Factorはあなたが設定したい拡大率を指定してください。その他の設定は製作者のホームページ(Github)を参考にしています。

Tiled VAEの設定

VRAMが十分にある場合は設定不要です。

VRAM容量に自信がない方はEnable Tiled VAEにチェックをつけておきましょう。

ControlNet(Tile_resample)の設定

ControlNetの設定
  • Enableにチェック
  • Preprocessor:tile_resample
  • Model:tile_resample
  • Down Sampling Rate:2

項目がたくさんありましたが、これらの設定が完了したら『Generate』を押して生成開始。

サンプルイラスト
書き込みが甘かった元のイラストが

推奨値0.75
2倍に高画質化されきれいになった…のですが、少しぼやけた印象です。これは『Enable Noise Inversion』にチェックを入れたため。公式は推奨しているのですが、筆者としてはあまり気に入っていません。

Enable Noise Inversionのチェックを外すと


このように変化します。かなりくっきりした絵柄になりましたね。

Noise Inversionについては有効⇔無効の切り替えだけでなく、Inversion stepsなど複数のパラメーターがあるため、お好みで適用してください。

Inversion steps50
Noise Inversionにチェックを入れた状態でも、Inversion stepsを50に設定するとぼやけた印象が改善されました。いろいろ試したいのですが、各パラメーターを比較しだすとキリがないので今回はこのへんで。

※追記:5月末のアップデートで

  • Tile colorfix
  • Tile colorfix + sharp

これら2つのPreprocessorが追加されました。

Tile resampleとの比較について詳しくは以下の記事で解説しています。

>>【Stable Diffusion】Tile colorfix・colorfix+sharpとは?3つの違いを比較!

もっとスムーズにイラストを生成したいなら…


もしあなたが現在のイラスト生成速度に満足していないなら、グラボを見直してみるのがおすすめです。

グラボはAIイラストを生成するうえで最も重要なパーツ。いくらCPUやメモリが高性能でもグラボがしょぼかったら致命的です。

本格的に取り組んでいくのなら、グラボにはケチらず投資しましょう。

AIイラストを生成するうえで最もコスパがいいグラボはRTX 3060。12GBのVRAM容量を持ちながら、価格はなんと5万円以下です!VRAMが4GB以下のグラボとは桁違いのスムーズさですよ。

もう少し予算が確保できて、さらにハイスペックなグラボに興味がある方は以下の記事もお読みください。きっとあなたに合ったグラボが見つかりますよ。

>>【コスパ重視】Stable Diffusionにおすすめのグラボ3選!

PCごと買い替えを検討している方は以下の記事をお読みください。快適にStable Diffusionを使えるマシン3選を紹介しています。

>>Stable Diffusionにおすすめのパソコン3選と推奨スペックを解説!

生成した大量のイラストを簡単に管理する方法


Stable Diffusionで生成した大量のイラストを効率的に管理するなら『Eagle』というツールがおすすめ。

Eagle使い方①
イラストを生成するとメタデータが自動でEagleに送られ、タグやメモとして保存されます。このタグを使うことで検索や管理がとても楽ちん。

Eagle使い方②
例えば『a dog』というタグで検索すると、そのプロンプトで生成されたイラストだけを表示することができます。『あのイラストどんなプロンプトで生成したっけ?』『LoRAのトリガーワード忘れた』なんて迷わずに済みますよ。

Eagleは『約4,000円・買い切り型』の有料ツールですが、30日間は無料体験することができるのでぜひ一度試してみてください。

>>公式サイトでEagleを無料体験してみる

『【Stable Diffusion】ControlNet用モデル『Tile_resample』の使い方を解説!』のまとめ

  • Tile_resampleとTiled diffusionを合わせることで
    元の絵柄を変えずに高画質化できる
  • Denoising strengthを高く設定できるのが強み
  • Noise Inversionの値には気をつけよう

ここまでお読みいただきありがとうございました!

他にもわからないことがあったら以下の記事をお読みください。初心者向けにStable Diffusionの使い方を一から解説しています。

>>【完全初心者用ガイド】Stable Diffusionの使い方を徹底解説!