ControlNet の新作の作者はヒット作です。助けを求めずに P 写真を背景に変更でき、AI ライティングが完全に統合されています

ControlNet の作者による新作で、プレイするのがとても楽しいので、オープンソースになってから 1.2,000 個のスターを獲得しています。

IC-Light は、画像の照明効果を操作するために使用され、その正式名は Imposing Consistent Light です。

ゲームプレイは非常にシンプルです:

アップロードすると、システムが自動的にキャラクターとその他の被写体を分離し、光源の位置を選択し、プロンプトの単語を入力するので、何の問題もなく新しい環境に統合できます。

急いでウォン・カーウァイ風の照明をやってみませんか:

気に入らないですか?

大丈夫、窓から入ってくる自然光に切り替えるのに1分しかかかりません。

現在、IC-Light はテキスト条件付き再照明モデルと背景条件付きモデルの 2 種類のモデルを提供しています。

どちらのモデルも入力として前景画像が必要です。

以前の Controlnet がとても面白かったので、今回の IC-Light の登場で大きな注目を集め、一部のネチズンがすぐに ComfyUI プラグインを作成しました。

(疑わしい、みんな寝ずに一生懸命働いているの??)

期待感であれ、使用後の体験であれ、ネチズンは非常に高く評価しています:

いいですね!始めてプレイするのが待ちきれません。

誰がこの写真の背景を変更するのを手伝ってくれますか?

古代の MCN から Tieba、そして現在の Xiaohongshu まで、どの時代でも、「背景の変更を手伝ってくれる人はいますか?」のようなヘルプ投稿には事欠きません。

しかし、熱心なネチズンからの助けは次のようなものであることがよくあります:

はとんでもない。

しかし、正直に言うと、この種の需要はあなたや私のような一般人の間にだけ存在するわけではなく、電子商取引企業が商品ポスターを作成する際にも同様のニーズを抱えていることがよくあります。

IC-Light を使用すると、すべてが簡単になったようです。

オリジナルのメイン画像をアップロード+光源の位置+プロンプトワードを選択して完了です。

効果を見てみましょう:

このようなオリジナルの仏像画像に、「仏像、詳細な顔、SF RGB グロー、サイバーパンク」というプロンプト ワードを追加し、「左からの光」を選択します。

新品の完成品をお届けします:

日常のシーンにも最適です。

最終的な効果は肉眼ではより自然に見えます:

ネチズンによって共有された評価によると、アニメーションシーンにも適しています...

その背後にあるテクノロジー

前に述べたように, IC-Light は 2 つのタイプのモデルを提供するようになりました。どちらのモデルも入力として前景画像を必要とします。

1 つのタイプは、テキスト条件付き再照明モデルです。

簡単に言うと、ユーザーはプロンプトの単語を入力することで生成を完了できます。

たとえば、「左光」、「月光」などを入力すると、モデルはこれらのプロンプト単語と初期潜在変数を使用して、要件と特性を満たす画像を生成します。

もう 1 つのタイプは、背景条件モデルです。

これはさらに単純で、複雑なプロンプト単語を必要としないモデルです。背景のプロンプト情報を組み合わせて、前景オブジェクトの照明をさまざまなスタイルで変更します。

その背後にある技術原則は、潜在空間の一貫性を通じて、さまざまな光源の組み合わせの下でモデルの出力が一貫していることを保証し、さまざまな照明効果を安定して合成できるようにすることです。

詳細は以下の通りです

HDR 空間では、すべての照明の光透過は互いに独立しており、異なる光源の外観混合効果は数学的に (つまり、理想的な状態で) 複数の光源の直接作用下での外観と一致します。 。

上の写真の照明ステージを例にとると、「外観ミキシング」と「光源ミキシング」の 2 つの画像は一貫性があり、 (理想的には、HDR 空間で数学的に同等) です。

そのため、再照明モデルをトレーニングする際、研究者らは潜在空間で多層パーセプトロン (MLP) を使用して、異なる光源の組み合わせと透過を一貫させ、生成される効果をガイドするために使用しました。

その結果、非常に一貫性のある再照明効果が得られます。

このモデルは潜在拡散技術を使用しているため、学習と再照明操作を潜在空間内で実装することができ、その結果、さまざまな照明条件下で一貫性の高い効果が得られます。

これらの結果は非常に一貫しています。モデルがトレーニング時に法線マップ データを直接使用しなくても、さまざまな再ライティングを法線マップにマージできます。

下の図を見てください。左から右に、入力、モデル出力、リライティング、分割シャドウ イメージ、結合された法線マップです。

興味のあるお友達は、以下のアドレスにアクセスして試してみてください~

GitHub の直接リンク: https://github.com/lllyasviel/IC-Light?tab=readme-ov-file。