Stable Diffusionを使用していてうまく画像が生成できずに悩む方も多いと思います。そんな方におすすめしたいのが、拡張機能のControlNetです。ControlNetを導入すると、プロンプトだけではできないさまざまな表現を指定して画像を生成できます。
今回は、ControlNetの導入方法を紹介します。おすすめのプリプロセッサや導入する際の注意点もまとめているので、ぜひ参考にしてください。
Stable Diffusionとは
Stable Diffusionとは、Stability AIが開発した画像生成AIです。Stable Diffusionもその他の画像生成AIと同じく、テキストプロンプトを入力することで人物や風景、動物、実在しないファンタジーな画像など幅広いジャンルの画像が生成できるとして人気な画像生成AIの1つです。
フェイクニュースや個人情報を広めるなど、人に害を与えるような使い方以外であれば、基本的には生成した画像の商用利用が認められており、ビジネスシーンでも活用されています。
また、Stable Diffusionには様々なモデルが用意されており、最新のStable Diffusion 3 Mediumや日本語に特化したJapanese Stable Diffusion XLなど複数のモデルが用意されており、自分の環境に合わせてモデルを選択できるのも特徴の1つでしょう。
なお、Stable Diffusionについて詳しく知りたい方は、下記の記事を合わせてご確認ください。
Stable Diffusion Web UIとは
Stable Diffusion Web UIとは、ブラウザを通して簡単に画像生成ができる画像生成AIです。無料で使えるWEBアプリケーションなどで、Google Chromeなどのブラウザを利用します。
Stable Diffusionと比べて導入方法も簡単で、プログラミングは一切使用せずにWeb UIで画像が生成できることからStable Diffusion Web UIを利用する人は多いです。利用する際には、ローカルPCかクラウドサーバーにインストールします。
Stable Diffusion Web UIには、細部まで書き込み精度が高いAUTOMATIC1111版と、VRAMを節約して、画像生成の速度を向上させているForge版の2種類があります。どちらも基本的に使い方や出力される画像、クオリティーもあまり大差がないので、ご自身の環境に合わせてどちらにするか決めると良いでしょう。
ControlNetとは
ControlNetとは、Stable Diffusionで細かな条件を指定して画像生成できる拡張機能です。ControlNetを利用すると、生成する画像のポーズや構図を指定できます。さらに、イラストの画風への変更やテクスチャの変換、線画への色付けも可能です。
ControlNetは画像からポーズや構図といった特徴を抽出します。そして、その特徴から大きく外れないように画像に制限を加え、指定した画像を生成するのです。そのため、ControlNetはプロンプトだけでは指定できないさまざまな要素を画像に反映できます。
なお、Stable Diffusionのプロンプトについて詳しく知りたい方は、下記の記事を合わせてご確認ください。
ControlNetを導入するメリット
拡張機能であるControlNetを導入すると、画像生成のさまざまな場面で活用できます。次に、ControlNetを導入するメリットを具体的に紹介するので、ぜひ活用してみてください。
出力画像の制御
ControlNetを導入すると、出力される画像を細かく制御できます。具体的には、ControlNetで選択したモデルを元に画像から特徴を抽出して制限をかけているのです。指定できるのは、画像の色調・構図・特定のスタイルやテクスチャなどがあります。
さらに、ControlNetで画像を制御できるので、元画像にノイズがあってもクオリティの高い画像の生成が可能です。プロンプトで細やかな表現が指定できない場合は、ControlNetで出力画像を制御してみましょう。
微調整が可能
ControlNetを使用すると、生成される画像の微調整も可能です。具体的には、画像の細かなディテールや光の当たり方・深度・色彩などを精密に調整できます。さらに、キャラクターの表情やポーズの微妙な変更も簡単です。
ControlNetを使用する際は、微調整したい内容に適している特徴抽出モデルを選びましょう。例えば、画像の深度を変更したい場合は、「depth」のモデルのダウンロードが事前に必要です。
解像度変更が可能
ControlNetを利用すると、生成する画像の解像度も自由に変更できます。具体的には、特徴抽出モデルの「tile」を使うと、高解像度の画像生成が可能です。
従来の拡張機能だと、内容の重複や必要ないものが発生するので、解像度変更があまりうまくできませんでした。しかし、ControlNetは必要な情報のみ拡大するので、画像が破綻しにくく簡単に解像度を変更できるようになったのです。
特定の一部分のみを変更可能
ControlNetを利用すると、画像の一部分のみを変更することが可能です。具体的には、特徴抽出モデルの「Inpaint」を使うと、元画像の一部分のみを変更することが可能です。
例えば、元画像の人物の髪型をショートヘアからロングヘアに変更したい時や服装のみを変更したい時などに使用できます。
使い方も簡単で、まずは元画像をアップロードし、変更したい部分をマウスクリックで塗りつぶします。その後、任意のプロンプトを入力し出力すれば希望通りの画像を出力できます。
ControlNetの導入方法
次に、ControlNetの導入方法を紹介します。まず、StableDiffusionを開いたら、「Extensions」をクリックして「Install from URL」をクリックしましょう。
次に、「https://github.com/Mikubill/sd-webui-controlnet」を入力して、「Install」をクリックしてください。
そして、「Installed」のタブを開いてControlNetのインストールが確認できたら「Apply and restart UI」を選択します。
導入が完了したら、ControlNetのモデルをダウンロードしましょう。ControlNetにもモデルが複数あるので、今回はControlNetモデルの中でもポピュラーなopenposeをダウンロードします。まずは、Hugging.FaceでControlNetのモデルのページを見つけましょう。
ページを開いたら、「control_v11p_sd15_openpose_fp16.safetensors」を探してダウンロードしてください。
モデルのダウンロードが完了したら、stable-diffusion-webui・extensions・sd-webui-controlnet・modelsの順番にフォルダを開き、モデルを格納すれば導入が完了です。
ControlNetの導入方法は難しいと思われがちですが、このように意外と簡単にできるのでぜひチャレンジしてみてください。
Stable DiffuisionでControlNetが反映されない場合は、Stable Diffuisionや追加した拡張機能のバージョンが古かったりする可能性があるので、Stable Diffuisionの再インストールやその他の拡張機能などのアップデートを行うと改善する場合があります。
なお、Stable Diffuisionのおすすめのモデルについて詳しく知りたい方は、下記の記事を合わせてご確認ください。
ControlNetのおすすめプリプロセッサ5選
ControlNetの機能を最大限に引き出し、生成する画像のクオリティを高めるためには、適切なプリプロセッサの選択が不可欠です。ここでは、特におすすめのプリプロセッサ5選を紹介し、それぞれの特徴と利用シーンを解説します。プリプロセッサを活用して、よりリアルで細部までこだわり抜いた画像を生成しましょう。
openpose
openposeは人間のポーズ推定に特化したプリプロセッサで、画像内の人物の姿勢や動きを高精度で検出します。ControlNetに組み込むと、人物を描いたイラストにおいて、自然でリアルなポーズや表情の再現が可能です。
特に、スポーツ選手やダンサーなど、動きのあるシーンを描きたい時に効果を発揮します。実際にopenposeを使用して生成した画像は以下の投稿をご覧ください。
人物のポーズを高精度に抽出して画像を生成したい方は、ぜひopenposeを使用してみましょう。
canny
cannyは画像からエッジを抽出するのに特化したプリプロセッサであり、画像から鮮明な輪郭線を抽出できます。ControlNetと組み合わせると、線画を残したままイラストの塗り直しやモノクロ画像の色塗りが可能です。
cannyは、人物だけでなく建築物や機械、自然の風景など、さまざまなシーンで効果を発揮します。実際にcannyを使用して生成した画像は以下の投稿をご覧ください。
輪郭を線画で指定して画像を生成したい方は、ぜひcannyを使ってみましょう。
reference_only
reference_onlyは、参照画像をもとに画像を生成できるプリプロセッサです。使用すると参照画像のスタイル・色彩・テクスチャを忠実に再現しつつ、新しい要素や変化を加えた画像を生成できます。
特に、同じ顔や同じキャラで別の風景や色々なポーズの画像を生成したいときに最適です。実際にreference_onlyを使用して生成した画像は以下の投稿をご覧ください。
reference_onlyを活用して、参考画像の元となる要素は変えずに、新たな表現を追加しましょう。
depth
depthは、画像の奥行き情報を強調して立体感を与えるためのプリプロセッサです。利用すると画像に奥行きが出るので、よりリアルな画像を生成できます。
風景画や室内のシーン、複雑な物体の配置など、空間の深さを表現したい場合に特に有効です。実際にdepthを使用して生成した画像は以下の投稿をご覧ください。
そういえばみなさま、ポーズマニアックスさんはご存知ですか？人体の様々なポーズが見れるサイトで、AIでの使用もOKなのでぜひ。角度も変更
— しずのり＠AIイラスト投稿用 (@uni_nori_) May 17, 2023
こちらは「girl」の1単語で、ポーマニさんの画像をそのままcontrolnetのDepthにて出力したものです。#AIイラスト #AIarthttps://t.co/iYyJoQ78cO pic.twitter.com/FwrcSYfFQI
depthを使用して画像に深みを持たせ、よりリアルな立体構造の画像を生成しましょう。
tile
tileは高解像度で大規模な画像を効率的に生成できるプリプロセッサです。tileでは画像を複数の小さなセクション、または「タイル」に分割して処理しているので、画像を破綻させずにアップスケールできます。
特に、壁紙や広範囲の風景画、細部まで精密な描写が求められるアートワークに最適です。実際にtileを使用して生成した画像は以下の投稿をご覧ください。
tileを利用して、クオリティを損なわずに画像を高解像度化させましょう。
ContorlNetのアップデート方法
不具合修正や新規機能の追加などでControlNetを最新バージョンへとアップデートが必要になる場合があるので、次にControlNetのアップデート方法を紹介します。
まずは、StableDiffusionを起動させ、「Extensions」のタグを開き「Installed」クリック。
上記のような画像が表示されたら、灰色の「Check for updates」をクリックします。そうすると更新があった拡張機能には、一番右端の「Update」の列に「Bihind」が表示されます（今回は更新がなかったため、Updateの欄は空欄となっています）。
あとは、オレンジの「Apply and restart UI」をクリックすると、更新が必要な拡張機能がすべて最新版に更新されます。
ControlNet導入の注意点
ControlNetは導入するとメリットが多くありますが、利用する際に注意しないと問題発生の恐れがあります。特に、商用利用の規約確認、互換性、設定の正確性に注意が必要です。注意点を押さえた上で、ControlNetを活用し、効率的に画像を生成しましょう。
商用利用
ControlNetを商用利用する際は、著作権や使用許諾に特に注意が必要です。特定の画像やスタイルを模倣する場合、原著作者の許可が必要になる場合もあります。無料で公開されている画像でも、そのまま無条件で使っていいわけではありません。
また、ControlNet自体のライセンス条項を遵守するのも重要です。商用プロジェクトにControlNetを活用する前に、関連する法律や条約、ライセンス条件を確認し、必要な場合は許可をとってトラブルを避けましょう。
導入時にエラーが発生する可能性
ControlNetを導入する際には、設定の不備や互換性の問題でエラーが発生する場合もあります。特に、システムの要件を満たしていない場合やインストールプロセス中に正確な手順を踏んでいない場合は、動作不良や機能の不全を招く場合があるのです。
エラーを避けるためには、公式のガイドラインに従って事前にシステム要件を確認し、推奨される設定を慎重に適用するのが重要です。また、実際にエラーが発生した場合は、コミュニティのサポートやフォーラムを利用して問題解決のアドバイスを受けましょう。
なお、Stable Diffusionの商用利用ついて詳しく知りたい方は、下記の記事を合わせてご確認ください。
ControlNetの導入で生成できる画像の幅を広げよう！
今回はControlNetの概要や導入方法、メリットや注意点などを解説しました。ControlNetを導入すると、画像を制御して細かい条件を指定できるので、生成できる画像の幅を広げられます。具体的にControlNetでできるのは解像度のアップスケールやポーズなどの細かい微調整、出力画像の高度な制御などです。
一方で、利用する場合は商用利用の法的な注意点や、導入時の技術的なハードルを克服する必要があります。また、ControlNetの使い方や適切なプリプロセッサの選択と正確な設定など、わからないことも多く、自分が納得のいく画像が出力できるようになるため時間はかかるでしょう。
しかし、ControlNetはStable Diffusionの拡張機能の中でも使われることが多いため、導入方法や使い方などの情報はWeb上にたくさんあります。そのため、わからないことがあっても自力で解決できる可能性が高いです。
とにかく、使い方なども実際に使ってみないとわからないことが多いので、この記事で紹介した導入方法を参考にしながらControlNetを無雨量で導入して、いろんなControlNetモデルを試してみることをおすすめします。
生成系AIの業務活用なら！
・生成系AIを活用したPoC開発
・生成系AIのコンサルティング
・システム間API連携
最後に
いかがだったでしょうか？
弊社では
・マーケティングやエンジニアリングなどの専門知識を学習させたAI社員の開発
・要件定義・業務フロー作成を80%自動化できる自律型AIエージェントの開発
・生成AIとRPAを組み合わせた業務自動化ツールの開発
・社内人事業務を99%自動化できるAIツールの開発
・ハルシネーション対策AIツールの開発
・自社専用のAIチャットボットの開発
などの開発実績がございます。
まずは、「無料相談」にてご相談を承っておりますので、ご興味がある方はぜひご連絡ください。
︎生成AIを使った業務効率化、生成AIツールの開発について相談をしてみる。
「生成AIを社内で活用したい」「生成AIの事業をやっていきたい」という方に向けて、生成AI社内セミナー・勉強会をさせていただいております。
セミナー内容や料金については、ご相談ください。
また、弊社紹介資料もご用意しておりますので、併せてご確認ください。
