TensorART での Control Net の IP-Adapter（アイピー アダプター）の使い方を説明します。
IP-Adapter の「IP」はイメージプロンプトの略（らしい）です。
画像からプロンプトを読み取り、それを元に新たな画像を生成する Control Net です。
つまり、元画像さえあればプロンプトを入力しなくても同じような画像を生成できるという機能です。
OpenPose や Lineart、Canny ではポーズや構図を固定してしまいますが、IP-Adapter なら元画像の雰囲気を保ちつつ、柔軟に新しい画像を描いてくれます。
プロンプトがわからない時に、似たような画像を作れるスグレモノ！
のはずなのですが…
TensorART では、IP-Adapterのプリプロセッサーの切り替えができない（おそらくオートが選ばれている、たぶん拡張機能も使えない）など、ちょっとですが細かい部分で設定できないことがあり、やや扱いが難しい Control Net となっています。
スポンサーリンク【IP-Adapter の使い方】
PC（ローカル環境のStable Diffusion）では、すごく良いControl Netなのですが、TensorARTだと、何か別の不可解な力が作用しているような気が…？
と、とりあえず使い方を説明していきますね！
TensorART ウェブサイトをスマホ画面で操作説明していきます。使い方がわからないひとはまず、TensorART 使い方を読んでみてください。
※ローカル環境での Stable Diffusion Web UI や他の画像生成サービスとは操作が異なりますが、使い方や生成結果は参考になるかと思います。
まずは元画像を用意しました。この画像は私が生成したものです。
◆プロンプト
best quality, masterpiece,best quality, masterpiece, Ultra detailed, insanely detailed, beautiful,1girl,(drill hair,) purple hair, black leather jacket, wilderness,
「ドリルヘア、紫色の髪、黒いレザージャケット」と、AIが認識しやすいであろう「特長のある要素」を入れた画像になります。まあ、ドリルヘアにはなっていませんが、もし画像から読み取れたらすごいので実験してみます。
◆ネガティブプロンプト
EasyNegative,low quality,worst quality,out of focus,nsfw,text, watermark, letters, numbers, nsfw,
ヒント：※リアル系モデルを使うときは、「photorealistic」のプロンプトを入れると写真のような画像にしてくれるので、もし人形みたいになってしまう場合はプロンプトに足して試してみてください。
◆画像から似た画像を作る
画像を元に、似たような雰囲気の画像を生成したいと思います。
「品質系プロンプト」と「1girl」の必要最小限のプロンプトだけ入力して「他のプロンプトは入れずに生成」します。
１．「Text2img」タブで、「Control Net を追加」をタップします。
２．「IP-Adapter 使用する」をタップします。
３．「元画像」をアップロードして「確認」をタップしてください。
４．プロンプト欄には「品質系プロンプト」と「1girl」だけ入れておきます。
IP-Adapterの強度は「1」でやってみます。シード値はランダムにしておきます。
さて、1girlだけで生成できるかな？
５．他の設定は以下の通り。「生成」をしてみましょう。
６．紫の髪とレザージャケットはプロンプトなしで生成できました。
画像のみで「色」と「形状」を描いたことになります。高解像度化はしていませんが、元画像のみでよく特長をとらえていると思います。
ただ、「顔」がなんだか変です。まるで何かに影響を受けているように同じ顔が生成されます。元画像の顔とも似てません。
↓元画像
特に顔のつくりを指定するプロンプトは元画像にもないばずなので、IP-Adapter ならもっといろんなバリエーションの顔も生成されるはず？
違和感があるので、元画像、元画像のプロンプト、VAE、モデル、サンプリング方法など変えてみましたが、やはり何かに影響を受けているような画像になってしまいました。
実は、元画像を変えても試しましたが、「服装が変に固定される（似た服装だけがよく出力される）こと」がありました。
これは、私の環境だけかもしれないので、皆さんは不安に思わず是非、IP-Adapterを試してみてくださいね。
【Control Net の調整】
ここからは IP-Adapter で作る生成画像の調整を試みてみましょう。IP-Adapterの影響が強そうなので、とりあえず、「Control Net（ここでは IP-Adapterのこと）強度」を落として調整してみます。
「0.6」「0.5」「0.4」と下げてみました。
画像の違和感は弱まりますが、IP-Adapterの強度を弱くすると髪色や服装が変更されてしまいますね。
ただ、ここまでControl Netを弱めればもっといろんなパターンの顔が作れてもいいはずなのですが似た顔ばかりなのが気になります。
◆Control Net ステップ
TensorART で細かい調整を行うには「Control Net ステップ」をいじくる必要もあります。
これはサンプリングステップ数のどの位置までControl Netを使用するかを決める設定です。普段はあまり使いませんが、TensorART では他に設定方法がないので使ってみましょう。
「Control Net ステップ」の部分をタップしてください。
Control Netが介入する位置を「0.6」にしてみます。サンプリングステップの終わりのほうではIP-Adapterを使わないという感じになります。
目の印象はかなり変わったと感じます。この辺りの調整は悪くないかもしれません♪（IP-Adapterの強度は「1」です）
次は、Control Netが介入しはじめる位置を「0.4」からに合わせて見ます。序盤はControl Netを使わないイメージです。
構図が変わったので調整自体は意図した通りになりましたが服も変わってしまいました。顔は…どうでしょう？（IP-Adapterの強度は「1」です）
◆アニメ系モデルで試す
今度はモデルをアニメ系に変えてみます。元画像を２つのアニメ系モデルで IP-Adapter にかけてみます。
モデルA
モデルB
悪くはないのですがどちらも、顔が「元画像とは違うあの顔」に引っ張られているように見えるのは私だけでしょうか？
ちなみにアニメ系にしても、元画像に入れたドリルヘアというプロンプトは見抜かれませんでした。ちゃんと画像からイメージした画像を作っていることがわかりますね。
【表情や背景を変える方法】
IP-Adapter は画像の雰囲気を強力に反映するControl Netですが、プロンプトを書くことである程度は自由に変化させることができます。
この辺りの自由度は高いControl Netです。（ただし、構図など大胆に雰囲気を壊す可能性のあるプロンプトは苦手な印象）
「nice smile（素敵な笑顔）」を入れてみます。
いい感じに笑ってくれました。顔は変わりませんが。
背景を「森」に変えます。(forest:1.3),と入力して強めに森林にしてみました。
ちゃんと森にいますね。やっぱり顔は変わりませんが。
なんでだよ！？
【まとめ】
IP-Adapter の使い方を解説しました。
なぜか、私の環境では変に「顔」や「服装」が固定される現象が起きています。
「顔が変わってしまうなら Reference Only を使えばいいじゃん」と思い、「IP-Adapter」と「Reference Only」を一緒に使っていろいろ試してみましたが、顔が元画像に似てくると画像破綻起きるなど納得いく画像はできませんでした。
この点は私には原因がわからないため、「使い方」というよりも「参考記事」として読んでいただけると助かります。
調整には、Control netの強度の他に、「Control Net ステップ」の調整を試してみるのも有効だと思います♪
(*´▽｀*)ﾉ
【あわせて読みたい関連記事】
・TensorART Control Net【Reference Only】使い方
・TensorART Control Net【OpenPose】使い方
・TensorART Control Net【Canny】使い方
・TensorART Control Net【Lineart】使い方
スポンサーリンク
コメント