【Stable Diffusion】参考画像から画像を生成するimg2imgの使い方を解説！
- ※当ブログはアフィリエイト・アドセンスによる収益で運営されています。
こういったお悩みにお答えします。
Stable Diffusionでのイラスト生成に主流となっているtxt2imgですが、元がテキストなだけになかなか思うようなイラストができないことも…。
そんな悩みを解決してくれるのがimg2img。呪文に加えて既存の画像をベースに新しいイラストを生成するため、より細かなニュアンスを指示することができるのです。
この記事では
- 【Stable Diffusion】参考画像から画像を生成するimg2imgのメリット
- img2imgの使い方を解説
- img2imgで選べるResize mode4つの違いを検証！
- img2img内のinpaint機能では部分的な画像修正も可能！
- 見切れ部分はoutpaintingで描き足せばOK
- もっとスムーズにイラストを生成したいなら…
- 生成した大量のイラストを簡単に管理する方法
これらについて解説していくので、最後まで読むとimg2imgを使って望みどおりのイラストを手に入れる方法がわかります。
初心者の方・Stable Diffusionに関してわからないことがある方は以下の記事も読んでみてください。Stable Diffusionのダウンロード方法や使い方について詳しく解説しています。
＞＞【完全初心者用ガイド】Stable Diffusionの使い方を徹底解説！
【Stable Diffusion】参考画像から画像を生成するimg2imgのメリット3つ
Stable Diffusionでimg2imgを使うメリットは以下の3つです。
- Stable Diffusionに詳細な指示を出せる
- Sampling stepsがtxt2imgよりも少なくてOK
- 大きなサイズでも構図が破綻しにくい
順番に解説します。
Stable Diffusionに詳細な指示を出せる
img2imgを使うと、Stable Diffusionに対してtxt2imgよりも詳細で具体的なな指示を伝えることができます。
例えばあなたがイラスト作成の依頼を受けるとき
『女の子が立っていて』『人差し指を指していて』『背景は海で』『空は晴れていて』…なんて文章だけで絵の内容を指示されてもわかりづらいですよね。
自分なりに理解してイラストを描いたとしても、依頼主のイメージとはかけ離れてしまうこともあるでしょう。
その一方
『こんなふうに描いて』と画像をベースに指示されたら、すごくわかりやすいと思いませんか？
テキストと画像では伝えられる情報量が桁違い。画像をベースに指示を出せるimg2imgの方が、Stable Diffusionに対してあなたの望みを的確に伝えることができるのです。
Sampling stepsがtxt2imgよりも少なくてOK
img2imgでイラストを生成する場合、txt2imgよりも少ないSampling steps数でも品質を維持することができます。
Sampling stepsとは、Stable Diffusionがイラストを生成するときの『ノイズを除去する回数』です。
この回数が少ないとノイズ除去が荒くなり（正確には、ノイズ除去時の切り捨てエラーが大きくなり）、生成されるイラストの品質が低くなります。
一方で、Sampling stepsの回数が多いほどイラストの生成には時間がかかるのが悩ましいところ。作業時間と品質を天秤にかけている状態です。
img2imgではtxt2imgよりも少ないSampling steps数で高品質のイラストを生成できるのが強み。
既存の画像をベースにするぶん、一からイラストを描かなければいけないtxt2imgよりも簡単に作業を終わらせることができるためです。
『桁違いに高速』というわけではありませんが、少しでも時短できるのはうれしいですよね。
なおSampling stepsについては以下の記事で詳しく解説しています。
＞＞【Stable Diffusion】Sampling stepsってなに？stepごとの違いを比較！
大きなサイズでも構図が破綻しにくい
txt2imgよりもimg2imgの方が構図が破綻しにくいのも魅力の一つ。
txt2imgでは、はじめから大きなサイズでイラストを生成しようとすると
このようにわけのわからない絵ができあがることが多いです。これはモデルがもともと512×512のサイズで学習しているため、高画質のイラストを描くのが苦手なことによるもの。
しかしimg2imgでは、大きなサイズでも破綻することなくイラストを生成してくれる確率が高いです。いくら苦手とはいっても、画像をベースにしているためトンデモ構図にはなりづらいんですよね。
img2imgの使い方を解説
実際にimg2imgでイラストを生成していきましょう。
img2imgのタブを選択すると、このような操作画面が表示されます。txt2imgと同じ項目も多いですね。
まずは簡単に、適当な画像を放り込んでみましょう。設定はすべてそのままで『Generate』ボタンを押すと
こんなイラストが生成されました。まあ雰囲気は掴んでいるかな、という感じですね。
では次に、呪文（プロンプト）を併用してこのイラストの品質を上げていきましょう。
- プロンプト：best quality,masterpiece,Paddy field
- ネガティブプロンプト：worst quality, low quality,
こんな感じで品質アップの呪文を入れてみます。『Paddy field』は田んぼのこと。草原と見なされることが多かったので入れました。
さっきよりイラストの品質が上がっていますね。
このように元の画像と呪文とを併用しながら理想のイラストに近づけていくのがimg2imgの基本的な使い方です。
もちろんモデルを変えれば絵柄も変わるので、いろいろな組み合わせで試してみてください。
Denoising strengthの値に注意
img2imgでイラストを生成するとき、Denoising strengthの値には注意しましょう。
- Denoising strengthが小さい：元の画像を尊重して描く
- Denoising strengthが大きい：自由に描く
こんな特徴があります。文章だとあまりピンとこないと思うので、実際にDenoising strengthを変えていった場合のイラストを見てみましょう。
Denoising strength：0.6あたりから自由度が増していっている印象ですね。0.9や1.0では元の画像をほとんど無視して自由に描いているのがわかります。
正解はないため『元の画像をどれだけ強く活かしたいか』で決めるといいでしょう。
img2imgで選べるResize mode4つの違いを検証！
img2imgの操作画面では
- Just resize
- Crop and resize
- Resize and fill
- Just resize (latent upscale)
これらのResize modeを選ぶことができます。
元の画像から縦横比を変える場合はResize modeによって生成結果が大きく異なるため、しっかりと選びたいですね。
Resize modeの詳しい解説は以下の記事をお読みください。
＞＞【Stable Diffusion】img2imgで選べるResize mode4つの違いを検証！
img2img内のinpaint機能では部分的な画像修正も可能！
img2imgには『inpaint』という便利な機能が備わっています。inpaintを使うことでイラストの部分的な修正が可能に。
『構図は気に入ってるんだけど、指がおかしいんだよなぁ…』なんて、よくある悩みも解決できます。
inpaintの使い方は以下の記事で詳しく解説しています。
＞＞【Stable Diffusion】img2img内のinpaint機能の使い方を解説！
見切れ部分はoutpaintingで描き足せばOK
img2img操作画面の左下にある『Script』内のOutpainting mk2を使うと、イラストを描き足して拡張することができます。
キャラクターの下半身が見切れてしまった場合は
下方向に描き足したり
上方向に描き足して夜空を強調したりとさまざまな使い方があります。イラストのクオリティアップに一役買ってくれるでしょう。
Outpainting mk2の詳しい使い方は以下の記事で解説しています。
＞＞【Stable Diffusion】Outpainting mk2でアウトペインティングする方法
もっとスムーズにイラストを生成したいなら…
もしあなたがもっと快適にAIイラストを生成したいなら、グラボを見直してみるのがおすすめです。
グラボはAIイラストを生成するうえで最も重要なパーツ。いくらCPUやメモリが高性能でもグラボがしょぼかったら致命的です。
本格的に取り組んでいくのなら、グラボにはケチらず投資しましょう。最低でも12GBのVRAMは確保しておきたいところ。VRAMが2GB・4GBくらいしかない古いグラボだと高解像度化や学習に大きな支障が出てしまいます。
コスパを重視する方・予算が5万円以下の方はRTX 3060一択と言っていいでしょう。
もう少し予算が確保できて、さらにハイスペックなグラボに興味がある方は以下の記事もお読みください。きっとあなたに合ったグラボが見つかりますよ。
＞＞【コスパ重視】Stable Diffusionにおすすめのグラボ3選！
PCごと買い替えを検討している方は以下の記事をお読みください。快適にStable Diffusionを使えるマシン3選を紹介しています。
＞＞Stable Diffusionにおすすめのパソコン3選と推奨スペックを解説！
生成した大量のイラストを簡単に管理する方法
Stable Diffusionで生成した大量のイラストを効率的に管理するなら『Eagle』というツールがおすすめ。
イラストを生成するとメタデータが自動でEagleに送られ、タグやメモとして保存されます。このタグを使うことで検索や管理がとても楽ちん。
例えば『a dog』というタグで検索すると、そのプロンプトで生成されたイラストだけを表示することができます。『あのイラストどんなプロンプトで生成したっけ？』『LoRAのトリガーワード忘れた』なんて迷わずに済みますよ。
Eagleは本来『約4,000円・買い切り型』の有料ツールですが、30日間の無料体験ができるので、とりあえず試してみてください。
『【Stable Diffusion】参考画像から画像を生成するimg2imgの使い方を解説！』のまとめ
- 画像＋呪文の両方で指示を出せるのがimg2imgの強み
- 大きなサイズでも構図が破綻しづらくて便利
- Denoising strengthの数値には注意しよう
ここまでお読みいただきありがとうございました！
他にもわからないことがあったら以下の記事をお読みください。初心者向けにStable Diffusionの使い方を一から解説しています。