TensorART で、Control Net の Reference Only（リファレンスオンリー）の使い方を説明します。
Reference Only は、元画像を参照して新たに画像を生成するツールです。
例えば、同じような顔の人物が描けます。
↓普通にプロンプトだけで画像生成するとこのように、プロンプト通りではあるけど別人を描くことが多いですよね？
Reference Only は、棒人間や線画とは違い、元画像全体から人物の顔や服装、色、構図を判断して画像を描きます。
上手く生成するにはコツが要りますが、元画像を使って以下のようなことができます。
・同じ人物ような顔を描く（キャラクターや動物などでも可能）
・着せ替えができる
・髪の色を変えたりできる
プロンプトで誘導する必要はありますが、他の Control Net ほど影響が強くない自由度の高いツールとなっています。
Reference Only は「同じような顔」を描くことに向いているため、漫画を描いたり、同じキャラクター画像を何枚も描きたいという方に向いていますね。
TensorART では残念ながら Reference Only の細かい設定まではできないため、ある程度、生成ガチャの回数が必要になってくるかと思います。
使うモデルによっても Reference Only の使用感は異なりますが、使いこなせればかなり面白い Control Net となっています。
最後に「Reference Only の使い方のコツ」も紹介しますので是非、読んでみてくださいね。
スポンサーリンク【Reference Only の使い方】
TensorART ウェブサイトをスマホ画面で操作説明していきます。使い方がわからないひとはまず、TensorART 使い方を読んでみてください。
※ローカル環境での Stable Diffusion Web UI や他の画像生成サービスとは操作が異なりますが、使い方や生成結果は参考になるかと思います。
まずは、元画像を用意します。
Reference Only は画像だけでも使えますが、プロンプトがあると「どの程度プロンプトに影響を受けている元画像か？」がわかるので、やはり自分で生成した画像を使うのがおすすめです。
今回はこちらの元画像で Reference Only の使い方を説明していきます。
◆同じような顔の人物の描き方
プロンプトだけで画像を生成し続けると、どうしても顔の印象が異なり、いろいろな人物を描いているようになってしまいます。
「できれば同じ人を描きたいな」という場合には Reference Only を使うのが有効です。
同じにはならなくても「似ている顔」になるため是非、試してみてください。
１．「Text2img」タブで、「Control Net を追加」をタップします。
２．「Reference Only 使用する」をタップします。
３．前処理器（プリプロセッサー）が「Reference Only」になっていることを確認します。
元画像をアップロードして「確認」をタップしてください。
４．プロンプト欄には画像を生成したときと同じものを入力しています。プロンプトがない画像の場合は描きたい要素を記述すればOKです。
シード値はランダムにしておきます。
◆プロンプト例
best quality, masterpiece,best quality, masterpiece, Ultra detailed, insanely detailed, beautiful, adult woman, Desert, black hair, long hair, show your forehead, collared shirt, hat, upper half of body shot,
◆ネガティブプロンプト例
EasyNegative,low quality,worst quality,out of focus,nsfw,
５．Reference Only の強さは最初は「1」にして「生成」をタップします。※強さは生成画像を見ながら調整していきましょう。
６．何回か画像生成してみました。なんとなく同じような顔の女性が描けました。同一人物だと言い張れば通るレベルで画像生成できました。
この調子で画像生成できれば、女性に名前を付けてデジタル写真集を出せるかもしれません。
↓こちらはプロンプトのみで生成した画像。似てはいますが、別人とも言えます。
似た人物を生成するには多くの生成回数が必要となります。
ただ、構図も服も同じでは面白くないので他もいじくってみましょう。
◆着せ替えをする
プロンプトを「ピンクのタンクトップ」、「カチューシャ」に変更してみます。
Desert, black hair, long hair, forehead showing, pink tank top, headband, upper half of body shot,
顔は似てますよね？同じ人だと言われればそう見えます。カチューシャがハチマキになってますが、まあよしとします。
髪色を「明るい茶髪（light brown hair）」にして、服装のプロンプトを削除してみました。さて。
茶髪になりました。特に左の顔は同一人物に見えますよね。
※顔周辺のプロンプトを入力しているのと、元画像の影響で上半身を映すことが多いです。
続いて「歩いている（walking）」を追加してみました。Reference Only の強度は「1」のままです。
歩いているふうには見えなかったので「スキニーパンツ（skinny pants）」を追加して脚も映してもらえるか試してみました。
歩いてはくれましたが顔は別人です。これはダメですね。
Control Net に「OpenPose」も追加して、歩いているポーズを固定しようと思います。歩いている画像をいくつかOpenPoseで使ってみます。
「Reference Only は強さ 0.8」「OpenPose は強さ 0.8」に調整して影響度を下げて試してみました。
元画像の構図の影響度を弱めながら、ポーズをある程度固定するという企みです。
調整を何回か試しましたが顔は…別人かなぁ。
理屈ではできそうですが、元画像が上半身のアップだったため構図を崩そうとすると顔が元画像からかけ離れてしまします。難しいですね。
構図から描き直したい場合は、元画像から似た顔の人物になるまで生成ガチャを回したほうが効率よさそうです。
（一応、画像加工で構図をいじるという方法もありますが、この記事の主旨から外れるのでやめておきます）
しかし、構図さえ合っていれば同一人物の画像といってもよいぐらいの画像は生成できます。
プロンプトを「眼鏡」「吹雪」「笑顔」「ダウンジャケット」「吹雪」に書き直しました。
best quality, masterpiece,best quality, masterpiece, Ultra detailed, insanely detailed, beautiful,adult woman, light brown hair, long hair, forehead showing, smile, black-rimmed glasses, a down jacket, a snowstorm,
元画像と同じ女性と言える画像が出来たのではないでしょうか？
必ず、同じ顔が描ける訳ではありませんが、構図が同じなら少ない生成回数で似た人物を描けます。
これが Reference Only の強味です。
また、モデル（チェックポイント）のみを変更してみるのも面白いです。
Reference Only なら画像から色や構図が参照されるため、プロンプトはそのままで、リアル系からアニメ系、その逆もいい具合に同じ雰囲気の人物を生成してくれます。
モデルのみ変更はかなり安定して画像生成してくれますね。
【Reference Only の使い方のコツ】
実は今回の元画像は、「おでこを出している」「ロングヘア」という予め「特長のある顔」の画像を用意しました。
ロングヘアでおでこが出ていれば多少、目鼻立ちが違っても同一人物に見えると考えたからです。
Reference Only はどんな顔でも似た画像が生成できる訳ではなくて、「特長となる要素」が描かれている元画像のほうが似た顔の画像生成ができます。
※AIが理解できるレベルの一般的なプロンプトがよい。が、意外とAIって物知りなのでダメ元で試してみるのもあり。
例えば人物で言えば、
「眼鏡をかけている」
「褐色の肌」
「目の色、形」
「特定の髪型、髪色」
「ケモミミ」
「デザインされた服やアイテム」
「ポーズや構図、背景」
など特長的な部分が含まれる人物ほど、Reference Only では上手く画像生成できる傾向にあります。
「特長のない美人」「普通にイケメン」などは意外と上手くいかないんです。
それだけ、Reference Only は画像全体の雰囲気をとらえるのが上手なControl Netということでしょうね。
Reference Only を上手く使うコツは「特長のある画像を元画像として用意すること」です。
例として、「エルフの耳」「褐色の肌」「銀色の鎧」「大きな盾を持っている」「お城」といった特長のある要素を持つ元画像を使ってみましょう。プロンプトにもこのワードを入れてあります。
アニメ系はより特長を出しやすいためか、Reference Only がいい感じに作用します。まあ現実にはエルフ耳の人いないし、アニメキャラのデザインは意図的に特長を付けているものが多いですよね。
ただし、特長といってもAIが理解できる一般的に知られているものがよいです。人気アニメキャラクターなどの独特のデザインはAIには理解できないので描けません。また、顔のキズなども上手く解釈できないので苦手だと思われます。
ほぼ同じキャラクターの画像が出来上がりました。
プロンプトの「大きな盾を持っている」は、盾を持っていればOKなのでポージングや構図が自由になりやすかったのかもしれません。
元画像の作成方法やプロンプトで影響を与える「さじ加減」は、説明が難しいので慣れが必要ですが、
AIの解釈にどれだけ柔軟性を持たせてあげられるかどうかが、Reference Only を上手に使うテクニックなのだと感じます。
【まとめ】
今回は Reference Only の解説をしました。
Reference Only は人によって「めっちゃ使える！」という人もいれば、「なんだか上手くいかない」という人もいる Control Net です。
おそらくですが、上手くいかない場合は、使っている画像に特長が無いのかもしれません。
Reference Only の意味は直訳で「参照のみ」ですが、意外と強めに画像全体を参照している印象があります。
逆にいえば特徴がないと微妙になります。
AIに、「これと同じような絵を描いて」と頼むとき、「普通にに可愛いだけの女の子の写真」を見せても特長をとらえられなくて困っちゃうイメージ？でしょうか。
画像生成が上手くいかないときは、クセが強め（言い方）の特長のある画像で試してみてください。
この記事が Control Net や TensorART の使い方の参考になれば幸いです。最後までお読みくださりありがとうございました。
【あわせて読みたい関連記事】
・TensorART Control Net【OpenPose】使い方
・TensorART Control Net【Lineart】使い方
・TensorART Control Net【Canny】使い方
スポンサーリンク
コメント