Grande mise à jour de ControlNet : des images P précises peuvent être réalisées en s'appuyant uniquement sur des mots d'invite, en gardant le style de peinture inchangé. Internautes : l'effet est comparable à un grand modèle personnalisé.

Plug-in Stable Diffusion, "Maître du contrôle des détails de peinture AI" ControlNet accueille une mise à jour majeure :

Utilisez simplement des invites de texte pour modifier arbitrairement les détails de l'image tout en conservant les principales caractéristiques de l'image.

Par exemple, changez le look d'une belle femme des cheveux aux vêtements et rendez son expression plus conviviale :

Ou laissez un mannequin passer d'une douce fille d'à côté à une cool dame , l'orientation du corps et de la tête, et le arrière-plan sont tous modifiés :

- Peu importe la façon dont les détails sont modifiés, "l'âme" de l'image originale est toujours là .

En plus de ce style, il peut également gérer parfaitement le type d'animation :

@sundyme, un blogueur de conception d'IA sur Twitter, a déclaré :

L'effet est meilleur qu'on ne l'imaginait !

Une seule image de référence est nécessaire pour compléter la transformation ci-dessus, et certaines images peuvent presque obtenir l'effet de grands modèles personnalisés.

Ahem, amis du cercle de peinture IA, remontez le moral, il y a encore quelque chose d'amusant.

(ps. Les premier et troisième rendus proviennent du blogueur @Olivio Sarikas, et le deuxième vient du blogueur Twitter @sundyme)

Nouveau sur ControlNet : la fonction de retouche qui conserve le style de peinture original

Les mises à jour ci-dessus , fait en fait référence à un préprocesseur appelé "référence uniquement".

Il ne nécessite aucun modèle de contrôle et peut utiliser directement des images de référence pour guider la diffusion.

L'auteur a dit que cette fonction est en fait similaire à la fonction "inpaint", mais qu'elle ne provoquera pas l'effondrement de l'image.

(Inpaint est une fonction de redessinage partiel dans l'interface utilisateur Web de Stable Diffusion, qui peut redessiner les zones insatisfaisantes qui ont été masquées manuellement.)

Certains joueurs expérimentés connaissent peut-être une astuce, qui consiste à utiliser inpaint pour effectuer la diffusion d'images.

Par exemple, vous avez une image 512x512 d'un chien, et souhaitez ensuite générer une autre image 512x512 en utilisant le même chien.

À ce stade, vous pouvez connecter l'image du chien 512x512 et l'image vierge 512x512 en une image 1024x512, puis utiliser la fonction inpaint pour masquer la partie vierge 512x512 et diffuser l'image du chien avec une apparence similaire.

Dans ce processus, parce que les images sont simplement et grossièrement épissées et qu'une distorsion se produit, l'effet est généralement insatisfaisant.

Avec "référence uniquement", c'est différent :

Il peut directement relier la couche d'attention de SD (c'est-à-dire "Diffusion stable") à n'importe quelle image indépendante, permettant à SD de lire directement ces images comme référence.

En d'autres termes, si vous souhaitez apporter des modifications tout en conservant le style de l'image d'origine, vous pouvez utiliser les mots d'invite pour opérer directement sur l'image d'origine.

Comme le montre l'image d'exemple officielle, transformez un chiot debout en une action en cours d'exécution :

Il vous suffit de mettre à niveau votre ControlNet vers la version 1.1.153 ou supérieure, puis de sélectionner "référence uniquement". " En tant que préprocesseur, téléchargez une photo d'un chien et entrez le mot d'invite "un chien courant dans une prairie, meilleure qualité...", et SD utilisera uniquement votre photo comme référence pour apporter des modifications.

Internautes : la meilleure fonctionnalité de ControlNet jusqu'à présent

Dès que la fonction « référence uniquement » est sortie, de nombreux internautes ont commencé à en faire l'expérience.

Certaines personnes appellent cela la meilleure fonctionnalité de ControlNet jusqu'à présent :

Téléchargez une image d'anime avec la pose d'un personnage, puis écrivez une invite qui ne semble absolument pas liée à l'image originale. Du coup, l’effet souhaité sort de l’image originale. C'est vraiment fort, au point même de changer les règles du jeu.

Aussi connu sous le nom de :

Il est temps de récupérer toutes les photos inutiles qui ont été supprimées auparavant et de les restaurer.

Bien sûr, il y a aussi (comme le premier rendu au début) Les belles les boucles d'oreilles sont fausses et les cheveux sur les deux photos sont également incomplets) , mais les internautes ont quand même dit que "la direction est enfin la bonne".

Voici les effets de trois blogueurs Twitter, principalement de style anime, profitons-en ensemble : #🎜🎜 ##🎜## 🎜🎜##🎜🎜 #

△ de @br_d, le premier en partant de la gauche est le photo originale

△#🎜 🎜 ## 🎜 🎜# de @br_d, la précédente est la photo originale

△ de @uoyuki667, la photo originale est à gauche Est-ce que ça a touché votre cœur?

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!