Das neue Werk des Autors von ControlNet ist ein Volltreffer: P-Fotohintergrund ändert sich ohne Hilfe, KI-Beleuchtung ist perfekt integriert

Ein neues Werk des Autors von ControlNet, das so viel Spaß macht, dass es seit seiner Veröffentlichung als Open Source 1,2.000 Sterne erhalten hat.

IC-Light wird zur Manipulation von Bildbeleuchtungseffekten verwendet. Der vollständige Name lautet „Imposantes konsistentes Licht“.

Das Gameplay ist sehr einfach:

Hochladen bedeutet, dass das System die Charaktere und andere Motive automatisch trennt, die Position der Lichtquelle auswählt, die Eingabeaufforderungswörter eingibt und Sie sich ohne Fehler in die neue Umgebung integrieren können!

Beeilen Sie sich und machen Sie eine Beleuchtung im Wong Kar-wai-Stil:

Gefällt es Ihnen nicht?

Es spielt keine Rolle, es dauert nur eine Minute, um auf das natürliche Licht umzuschalten, das durch das Fenster einfällt.

Derzeit bietet IC-Light zwei Arten von Modellen: textbedingte Relighting-Modelle und hintergrundbedingte Modelle.

Beide Modelle benötigen ein Vordergrundbild als Eingabe.

Da Controlnet vorher so viel Spaß gemacht hat, erregte IC-Light dieses Mal viel Aufmerksamkeit, als es erschien, und einige Internetnutzer entwickelten schnell das ComfyUI-Plug-In.

(Zweifelhaft, jeder arbeitet so hart, ohne zu schlafen??)

Ob es der Erwartungswert oder die Erfahrung nach der Anwendung ist, Netizens geben es sehr hoch:

Schön! Ich kann es kaum erwarten, loszulegen und zu spielen, hehehehe.

Wer kann mir helfen, den Hintergrund dieses Bildes zu ändern?

Vom alten MCN über Tieba bis hin zu Xiaohongshu gibt es in jeder Epoche keinen Mangel an Hilfebeiträgen wie „Kann mir jemand helfen, den Hintergrund zu ändern?“

Aber die Hilfe von begeisterten Internetnutzern sieht oft so aus:

ist unverschämt.

Aber um ehrlich zu sein, gibt es diese Art von Nachfrage nicht nur bei gewöhnlichen Menschen wie Ihnen und mir, sondern E-Commerce-Unternehmen haben oft ähnliche Bedürfnisse bei der Herstellung von Produktplakaten.

Mit IC-Light scheint alles einfacher geworden zu sein.

Laden Sie das ursprüngliche Hauptbild hoch, wählen Sie die Position der Lichtquelle und das Eingabeaufforderungswort aus, und schon sind Sie fertig.

Sehen wir uns den Effekt an:

Fügen Sie bei einem solchen Originalbild einer Buddha-Statue die Eingabeaufforderung „Buddha-Statue, detailliertes Gesicht, Science-Fiction-RGB-Glühen, Cyberpunk“ hinzu und wählen Sie dann „Licht von links“.

Sie erhalten ein brandneues fertiges Produkt:

Es ist sogar für alltägliche Szenen geeignet.

Der Endeffekt sieht mit bloßem Auge natürlicher aus:

Laut der von Internetnutzern geteilten Bewertung eignet es sich auch für Animationsszenen...

Die Technologie dahinter

Wie bereits erwähnt IC-Light bietet jetzt zwei Modelltypen. Beide Modelle erfordern ein Vordergrundbild als Eingabe.

Ein Typ ist das textbedingte Relighting-Modell.

Um es einfach auszudrücken: Benutzer können die Generierung abschließen, indem sie Eingabeaufforderungswörter eingeben.

Wenn Sie beispielsweise „linkes Licht“, „Mondlicht“ usw. eingeben, verwendet das Modell diese Eingabeaufforderungswörter und anfänglichen latenten Variablen, um Bilder zu generieren, die den Anforderungen und Eigenschaften entsprechen.

Der andere Typ ist das Hintergrundbedingungsmodell.

Dieser ist noch einfacher und erfordert keine komplexen Eingabeaufforderungswörter. Das Modell kombiniert die Eingabeaufforderungsinformationen im Hintergrund, um die Beleuchtung der Vordergrundobjekte in verschiedenen Stilen zu ändern.

Das technische Prinzip dahinter besteht darin, durch die Konsistenz des latenten Raums sicherzustellen, dass die Modellausgabe unter verschiedenen Lichtquellenkombinationen konsistent ist, sodass verschiedene Lichteffekte stabil synthetisiert werden können.

Die Details sind wie folgt:

Im HDR-Raum ist die Lichtdurchlässigkeit aller Beleuchtungen unabhängig voneinander. Der Mischeffekt verschiedener Lichtquellen stimmt mathematisch (d. h. im Idealzustand) mit dem Erscheinungsbild unter direkter Einwirkung mehrerer Lichtquellen überein .

Nehmen wir als Beispiel die Beleuchtungsstufe des Bildes oben: Die beiden Bilder aus „Appearance Mixing“ und „Light Source Mixing“ sind konsistent, (idealerweise mathematisch äquivalent im HDR-Raum) .

Daher verwendeten die Forscher beim Training des Relighting-Modells ein mehrschichtiges Perzeptron (MLP) im latenten Raum, um die Kombination und Übertragung verschiedener Lichtquellen konsistent zu machen und zur Steuerung der erzeugten Effekte zu verwenden.

Das Ergebnis ist ein äußerst gleichmäßiger Nachleuchteffekt.

Da das Modell Latent-Diffusionstechnologie verwendet, können Lern- und Neubeleuchtungsvorgänge innerhalb des Latentraums implementiert werden, was zu äußerst konsistenten Effekten unter verschiedenen Lichtbedingungen führt.

Diese Ergebnisse sind sehr konsistent – ​​auch wenn das Modell beim Training nicht direkt die Normalkartendaten verwendet, können die verschiedenen Relightings in Normalkarten zusammengeführt werden.

Sehen Sie sich das Bild unten an. Von links nach rechts sind Eingabe, Modellausgabe, Neubeleuchtung, geteiltes Schattenbild und zusammengeführte Normalkarte zu sehen.

Interessierte Freunde können sich an die untenstehende Adresse wenden, um es auszuprobieren~

GitHub-Direktlink: https://github.com/lllyasviel/IC-Light?tab=readme-ov-file.