Le nouveau travail de l'auteur de ControlNet est un succès : les photos P peuvent être transformées en arrière-plan sans demander d'aide, et l'éclairage IA est parfaitement intégré

Une nouvelle œuvre de l'auteur de ControlNet, si amusante à jouer qu'elle a reçu 1,2k étoiles depuis son open source.

IC-Light est utilisé pour manipuler les effets d'éclairage de l'image, son nom complet est Imposer Consistent Light.

Le gameplay est très simple :

Le téléchargement signifie que le système séparera automatiquement les personnages et les autres sujets, sélectionnera la position de la source de lumière, remplira les mots d'invite et vous pourrez vous intégrer dans le nouvel environnement sans aucun défaut !

Dépêchez-vous et faites un éclairage de style Wong Kar-wai :

Vous n'aimez pas ça ?

Ce n’est pas grave, il suffit d’une minute pour passer à la lumière naturelle entrant par la fenêtre.

Actuellement, IC-Light propose deux types de modèles : les modèles de rééclairage conditionnel de texte et les modèles conditionnels d'arrière-plan.

Les deux modèles nécessitent une image de premier plan en entrée.

Comme Controlnet était si amusant auparavant, IC-Light a attiré beaucoup d'attention lors de son apparition cette fois-ci, et certains internautes ont rapidement créé le plug-in ComfyUI.

(Douteux, tout le monde travaille si dur sans dormir ??)

Qu'il s'agisse de la valeur attendue ou de l'expérience après utilisation, les internautes l'accordent très haut :

Bien ! J'ai hâte de commencer et de jouer à hehehehe.

Qui peut m'aider à changer l'arrière-plan de cette image ?

De l'ancien MCN à Tieba et maintenant Xiaohongshu, à chaque époque, les messages d'aide ne manquent pas comme « Quelqu'un peut-il m'aider à changer l'arrière-plan ? »

Mais l'aide des internautes enthousiastes ressemble souvent à ceci :

est scandaleuse.

Mais pour être honnête, ce type de demande existe non seulement parmi les gens ordinaires comme vous et moi, mais les entreprises de commerce électronique ont souvent des besoins similaires lorsqu'elles créent des affiches de produits.

Avec IC-Light, tout semble être devenu plus facile.

Téléchargez l'image principale originale + sélectionnez la position de la source de lumière + le mot d'invite, et vous avez terminé.

Voyons l'effet :

Une image si originale d'une statue de Bouddha, ajoutez les mots d'invite "Statue de Bouddha, visage détaillé, lueur RVB de science-fiction, cyberpunk", puis sélectionnez "Lumière de gauche".

Vous obtiendrez un tout nouveau produit fini :

Il convient même aux scènes quotidiennes.

L'effet final semble plus naturel à l'œil nu :

Selon l'évaluation partagée par les internautes, il convient également aux scènes d'animation...

La technologie derrière cela

Comme mentionné précédemment , IC-Light propose désormais deux types de modèles, les deux modèles nécessitent une image de premier plan en entrée.

Un type est le modèle de rééclairage conditionnel du texte.

Pour faire simple, les utilisateurs peuvent terminer la génération en saisissant des mots d'invite.

Par exemple, si vous saisissez « lumière gauche », « clair de lune », etc., le modèle utilisera ces mots d'invite et ces variables latentes initiales pour générer des images qui répondent aux exigences et aux caractéristiques.

L'autre type est le modèle de condition de fond.

Celui-ci est encore plus simple et ne nécessite pas de mots d'invite complexes. Le modèle combine les informations d'invite d'arrière-plan pour modifier l'éclairage des objets de premier plan dans différents styles.

Le principe technique derrière cela est de garantir que la sortie du modèle est cohérente sous différentes combinaisons de sources lumineuses grâce à la cohérence de l'espace latent, afin que divers effets d'éclairage puissent être synthétisés de manière stable.

Les détails sont les suivants :

Dans l'espace HDR, la transmission lumineuse de tous les éclairages est indépendante les unes des autres. L'effet de mélange d'apparence des différentes sources lumineuses est mathématiquement (c'est-à-dire dans un état idéal) cohérent avec l'apparence sous l'action directe de plusieurs sources lumineuses. .

En prenant l'étape d'éclairage de l'image ci-dessus comme exemple, les deux images de "Appearance Mixing" et "Light Source Mixing" sont cohérentes, (idéalement, mathématiquement équivalentes dans l'espace HDR) .

Par conséquent, lors de la formation du modèle de rééclairage, les chercheurs ont utilisé un perceptron multicouche (MLP) dans l'espace latent pour rendre cohérente la combinaison et la transmission des différentes sources de lumière et utilisé pour guider les effets générés.

Le résultat est un effet de rééclairage très cohérent.

Étant donné que le modèle utilise une technologie de diffusion latente, des opérations d'apprentissage et de rééclairage peuvent être mises en œuvre dans l'espace latent, ce qui entraîne des effets très cohérents dans diverses conditions d'éclairage.

Ces résultats sont très cohérents - même si le modèle n'utilise pas directement les données de la carte normale lors de l'entraînement, les différents rééclairages peuvent être fusionnés dans des cartes normales.

Regardez l'image ci-dessous, de gauche à droite se trouvent l'entrée, la sortie du modèle, le rééclairage, l'image d'ombre divisée et la carte normale fusionnée.

Les amis intéressés peuvent se rendre à l'adresse ci-dessous pour l'essayer ~

Train direct GitHub : https://github.com/lllyasviel/IC-Light?tab=readme-ov-file.