【生成速度2.5倍！】Stable Diffusionを超高速化！LCM-LoRAの導入方法・使い方！
こういったお悩みにお答えします。
Stable Diffusionでたくさんのイラストを生成したいけど、なかなかスピードが上がらず満足な枚数が作れないなんて方も多いはず。
この記事では
- Stable Diffusionを超高速化！拡張機能LCM-LoRAの特徴は？
- LCM-LoRAの導入方法
- LCM-LoRAの使い方・設定
- 【生成速度2.5倍！】LCM-LoRA適用結果
- LCM-LoRA適用時の注意事項
- もっとスムーズにイラストを生成したいなら…
- 生成した大量のイラストを簡単に管理する方法
これらについて解説していくので、最後まで読むとLCM-LoRAを使って、より高速でイラストを生成していく方法がわかります。
LCM以外のおすすめ拡張機能を知りたい方は以下の記事も合わせてお読みください。
＞＞Stable Diffusionでおすすめの拡張機能（Extensions）を紹介！
Stable Diffusionを超高速化！LCM-LoRAの特徴は？
出典元：論文まとめ
LCM-LoRAはStable Diffusionを高速化させるための研究です。『蒸留』を行うことで推論を加速化させる技術なのですが、詳しくは上のリンクから論文をお読みください。
ざっくり解説すると、LCM-LoRAを適用することでSampling Steps数を大幅に下げてもキレイなイラストを生成することができるようになるのです。
Sampling Steps数とは、『イラスト生成時にノイズ除去を何回行うか』の回数。Steps数が小さすぎると、ノイズの除去が雑になりイラストの質が下がってしまいます。
一方、Step数を増やすとノイズ除去を丁寧に行うぶん時間がかかってしまうのが難点。『質』と『時間』がトレードオフの関係になっているので、両者の落としどころとしてSteps数を20～30くらいにしている方が多いのではないでしょうか。
このような常識を打ち破ってくれるのがLCM-LoRA。小さなSteps数でもキレイなイラストを生成することができるようになるため、生成時間を大幅に短縮することができるのです。
LCM-LoRAの導入方法
LCM-LoRAの導入方法はとても簡単。通常のLoRAを適用させる手順と同様です。
出典元：Huggingface
まずはHuggingfaceなどのサイトから『pytorch_lora_weights.safetensors』をダウンロードしましょう。SD1.5用とXL用があるので、あなたが使う方を選んでくださいね。
『Files and versions』タブをクリックし
『pytorch_lora_weights.safetensors』の右側にあるダウンロードボタンを押してください。
ダウンロードしたファイルは通常のLoRAと同じく
-
stable-diffusion-webui/models/Lora
フォルダの中に放り込み
これまた通常のLoRAと同じく、プロンプト欄に適用しましょう。
LCM-LoRAの使い方・設定
プロンプト欄にLCM-LoRAを適用したら
- Sampling Steps
- LCM-LoRAの強度
- CFG Scale
これら3つの設定を調整する必要があります。
Sampling Steps
Sampling Steps数を小さくできることがLCM-LoRAの大きなメリットですが、果たしてどこまで下げても大丈夫なのでしょうか？
Sampling Stepsを1～10まで変化させて結果を比較すると
『Steps数が低くてOK』とは言っても、さすがに1~3くらいだと生成されるイラストのクオリティが低くなってしまいます。Steps数を5くらいにすると安定してくるイメージですね。
LCM-LoRAの強度
Steps数を5に固定したまま、LCM-LoRAを強度別に比較してみると
1.0に近づくほどイラストがキレイになっていきます。
環境や使用モデルによっても最適値は異なると思いますが、筆者の環境では強度1.0付近がよさそうだと感じました。
CFG Scale
これまでCFG Scale：7あたりで回していた方が多いと思いますが、LCM-LoRAを使うときはもっと低い数値にする必要があります。
比較してみると、4を超えたあたりでイラストがぼやけ始めてしまいます。1.5か2あたりに設定しておくのがおすすめ。
【生成速度2.5倍！】LCM-LoRA適用結果
肝心の生成速度について、筆者の環境だとLCM-LoRAを使うことで約2.5倍にアップしました。
具体的には、512×512サイズのイラストを
- LCM-LoRAアリ、Steps＝5
- LCM-LoRAナシ、Steps＝30
これらの条件で、それぞれ100枚ずつ生成したところ
- LCM-LoRAアリ、Steps＝5：33秒
- LCM-LoRAナシ、Steps＝30：82秒
このような結果に。Steps数が減ったことにより、なんと速度は約2.5倍！かなりの大幅アップですね。
限られた時間でたくさんのイラストを生成したい方・もっとガチャを回したい方は、ぜひLCM-LoRAを試してみてください。
LCM-LoRA適用時の注意事項
生成速度アップに大きく貢献してくれるLCM-LoRAですが、
- 描き込み量が減るため、少しぼやけた印象になる
- CFG Scaleを下げることになる → プロンプトの効きが弱くなる
これらの注意しておきたい事項もあります。
速度にこだわらないときはLCM-LoRAを使わず通常時の設定で生成するなど、場合によって使い分けるとよさそうですね。
もっとスムーズにイラストを生成したいなら…
もしあなたがもっと快適にAIイラストを生成したいなら、グラボを見直してみるのがおすすめです。
グラボはAIイラストを生成するうえで最も重要なパーツ。いくらCPUやメモリが高性能でもグラボがしょぼかったら致命的です。
本格的に取り組んでいくのなら、グラボにはケチらず投資しましょう。最低でも12GBのVRAMは確保しておきたいところ。VRAMが2GB・4GBくらいしかない古いグラボだと高解像度化や学習に大きな支障が出てしまいます。
コスパを重視する方・予算が5万円以下の方はRTX 3060一択と言っていいでしょう。
もう少し予算が確保できて、さらにハイスペックなグラボに興味がある方は以下の記事もお読みください。きっとあなたに合ったグラボが見つかりますよ。
＞＞【コスパ重視】Stable Diffusionにおすすめのグラボ3選！
PCごと買い替えを検討している方は以下の記事をお読みください。快適にStable Diffusionを使えるマシン3選を紹介しています。
＞＞Stable Diffusionにおすすめのパソコン3選と推奨スペックを解説！
生成した大量のイラストを簡単に管理する方法
Stable Diffusionで生成した大量のイラストを効率的に管理するなら『Eagle』というツールがおすすめ。
イラストを生成するとメタデータが自動でEagleに送られ、タグやメモとして保存されます。このタグを使うことで検索や管理がとても楽ちん。
例えば『a dog』というタグで検索すると、そのプロンプトで生成されたイラストだけを表示することができます。『あのイラストどんなプロンプトで生成したっけ？』『LoRAのトリガーワード忘れた』なんて迷わずに済みますよ。
Eagleは本来『約4,000円・買い切り型』の有料ツールですが、30日間の無料体験ができるので、とりあえず試してみてください。
『【生成速度2.5倍！】Stable Diffusionを超高速化！LCM-LoRAの導入方法・使い方！』のまとめ
- LCM-LoRAを使うと低Steps数でもキレイなイラストを生成できる
- 筆者の環境では約2.5倍も速度アップ！
- デメリットもあるので状況によって使い分けよう
ここまでお読みいただきありがとうございました！
他にもわからないことがあったら以下の記事をお読みください。初心者向けにStable Diffusionの使い方を一から解説しています。