La technologie d'effets spéciaux « visage de dessin animé » utilisée par plus de 9 millions de personnes sur Douyin est révélée

En matière de gameplay avec effets spéciaux, la capacité de Douyin à « faire tout le travail » a toujours été évidente pour tous. Récemment, un effet spécial « visage de dessin animé » a été à l'honneur. Peu importe les hommes, les femmes ou les enfants, après avoir utilisé cet effet spécial, ils auront l'air aussi intelligents et mignons que les personnages issus de l'animation Disney. Une fois "Cartoon Face" lancé, il a rapidement fermenté sur Douyin et a été profondément apprécié par les utilisateurs. "Transformation en un clic en un grand et doux visage de dessin animé", "Toutes les princesses fugitives de Douyin sont là", "Montrez votre bébé". avec un style de visage de dessin animé", "Les points chauds liés au Prince tels que "Princess Sprinkling Sugar Gesture Dance" et "Capturing the Moment of Fairy Tale Magic Failure" sont en constante augmentation, "Toutes les princesses fugitives de Douyin sont ici" et " Capturer le moment de l'échec magique d'un conte de fées" est même apparu sur la liste nationale de Douyin. Actuellement, le nombre d'utilisateurs de cet effet spécial a dépassé les 9 millions.

"Cartoon face" est un effet spécial de style 3D. Les difficultés de développement de ce type d'effets spéciaux sont principalement dues à la difficulté d'obtenir diverses données d'entraînement CG, à la difficulté à restaurer des expressions intelligentes, à la difficulté à réaliser. texture de peau tridimensionnelle réaliste, lumière et ombre, et exagération. La déformation des traits du visage GAN avec un style fort n'est pas facile à apprendre à bien des égards. À cet égard, l'équipe de création intelligente de ByteDance s'est concentrée sur une optimisation révolutionnaire en direction de la stylisation 3D, qui a non seulement résolu tous les problèmes ci-dessus, mais a également précipité un ensemble de solutions techniques universelles.

Innovation dans le processus R&D derrière "Cartoon Face"

Dans le passé, un processus R&D complet de stylisation 3D était divisé en modules suivants :

Collectez un certain nombre d'images de style originales - > entraîner StyleGan Grand modèle -> générer des données appariées -> sélectionner manuellement les données appariées disponibles + optimisation du graphique P du concepteur -> entraîner un petit modèle p2p, puis répéter.

Les problèmes du processus R&D traditionnel sont très évidents : le cycle d'itération est long, les concepteurs ont une faible participation et il n'est pas facile de précipiter et de réutiliser.

Dans la recherche et le développement de l'effet spécial "visage de dessin animé", l'équipe de création intelligente de ByteDance a adopté un processus de recherche et développement innovant :

À partir du concepteur créant l'effet de style cible, le concepteur suit l'accord d'algorithme Selon la demande, certains matériaux artistiques 3D ont été fournis, puis l'équipe de création intelligente de ByteDance a utilisé le logiciel DCC pour restituer par lots un certain nombre de données CG diverses. Au cours du processus de rendu, l'équipe technique a introduit la technologie AIGC la plus populaire. pour la première fois pour améliorer les données, puis utilisé GAN synthétise les données appariées nécessaires à la formation, et utilise enfin le modèle de déformation pix2pix auto-développé pour s'entraîner afin d'obtenir l'effet final.

Organigramme R&D de "Cartoon Face" par l'équipe de création intelligente de ByteDance

Il ressort du lien de processus que cette méthode réduit considérablement le cycle d'itération et améliore le degré d'automatisation , permet également aux concepteurs d'avoir un degré de participation plus élevé. La pratique montre que le lien d'ingénierie innovant réduit le cycle d'itération de 6 mois à 1 mois et que la solution est plus facile à accumuler et à réutiliser.

Comment l'effet spécial "visage de dessin animé" a été conçu

De nos jours, il y a de plus en plus d'effets spéciaux de transformation sur les réseaux sociaux. Les gens accordent de plus en plus d'attention à la beauté et à la précision des effets spéciaux afin d'inciter les utilisateurs. mieux Pour obtenir l'effet de transformation stylisée, les concepteurs d'effets spéciaux de Douyin ont soigneusement étudié, combiné avec des styles d'animation populaires, et conçu de manière innovante un ensemble d'effets spéciaux de visage de dessin animé, permettant aux utilisateurs de découvrir un style de personnage animé et flexible tout en satisfaisant les besoins des utilisateurs. pour devenir plus belle et plus belle.

Les concepteurs d'effets spéciaux de Douyin ont mené des recherches approfondies sur les effets spéciaux de transformation existants sur le marché et ont découvert que les effets spéciaux existants présentent des problèmes tels qu'un style attrayant insuffisant, une exagération d'expression insuffisante et des effets d'éclairage réalistes insuffisants. Par conséquent, les concepteurs d'effets spéciaux de Douyin ont repensé le style des visages de dessins animés en se basant sur l'esthétique domestique, en exagérant les proportions du visage des hommes et des femmes et en les reconstruisant en « filles » avec des visages ronds mignons et des traits intelligents, et des « garçons » avec des visages durs et longs. visages et beaux traits. Dans ce processus, le concepteur a conservé les propres cheveux de l'utilisateur, a amélioré le duvet et la brillance des cheveux et a rendu leur mélange plus naturel avec le visage du dessin animé. La peau texturée du dessin animé a également incorporé les détails de la propre peau de l'utilisateur, ce qui rend l'apparence plus naturelle. effets spéciaux plus naturels. Caractéristiques plus personnalisées de l'utilisateur.

De plus, les concepteurs d'effets spéciaux Douyin ont également défini la texture de la lumière et de l'ombre sous différentes lumières pour répondre aux besoins de restauration de l'éclairage dans des scènes complexes, rendant le visage du dessin animé plus tridimensionnel et naturel, et l'intégrant dans des selfies quotidiens sans aucun sentiment de violation. Enfin, le concepteur a également créé des expressions faciales symboliques exagérées, utilisé la technologie de capture faciale pour générer des données CG d'expressions faciales pour les actifs humains numériques et amélioré continuellement les données d'entraînement et les algorithmes pour produire des effets d'expression capables d'afficher de manière plus vivante la personnalité de l'utilisateur.

Flux de données synthétiques CG auto-construit, les données d'entraînement de haute qualité peuvent être réutilisées

La source de données d'entraînement pour les effets spéciaux de style 3D repose sur des données de rendu CG de haute qualité et a des exigences relativement élevées pour la diversité des distribution des données, et en même temps des actifs 3D. La modélisation manuelle est également un processus très exigeant en main-d'œuvre et a une réutilisabilité insuffisante. Souvent, un projet dépense beaucoup de temps et de main d'œuvre pour produire un lot d'actifs 3D, qui sont complètement abandonnés une fois le projet terminé. .

Cette fois, l'équipe de création intelligente de ByteDance a construit un ensemble de flux de travail de données de synthèse CG universels et faciles à étendre.

Organigramme du flux de données synthétiques CG par Bytedance Intelligent Creation Team

Le flux de travail de ce flux de données synthétiques est le suivant :

1. pincement programmé du visage, fixation des os, ajustement du poids, etc., pour établir une bibliothèque d'actifs de modèles humains numériques réalistes.

Diversité Actifs numériques 3D

2. les actifs sont importés avec la référence USD respectivement.

Échantillon de carte de l'iris

Échantillon de carte de l'iris

3. s d'actifs, angles de caméra, environnements d'éclairage, etc. . Utilisez PDG pour contrôler l'élément de travail afin de contrôler avec précision la distribution des données.

Graphique de nœud PDG automatisé

Étant donné que le processus de recherche et développement doit fréquemment fournir une grande quantité de données de rendu pour l'itération des effets, cela nécessite beaucoup de coûts de puissance de calcul et d'attente de rendu temps. Auparavant, l’équipe dépensait des millions dans des fermes externes pour le rendu des données sur les effets spéciaux « Magic Transformation » de Douyin. Pour les effets spéciaux « visage de dessin animé », l'équipe s'est appuyée sur la solide infrastructure de la plateforme cloud Volcano Engine de ByteDance pour réduire considérablement les coûts de puissance de calcul.

L'équipe de création intelligente de ByteDance s'est référée aux processus de l'industrie du cinéma et de la télévision et a construit une plate-forme de ferme de rendu auto-développée. Il peut diviser les tâches hors ligne en plusieurs machines de rendu pour un traitement parallèle. Grâce à la plate-forme de mise en miroir Volcano Engine pour l'hébergement d'images, à la plate-forme de pooling de ressources pour l'application et la publication des ressources, au cluster CPU/GPU pour l'expansion et la contraction dynamiques des conteneurs et à l'utilisation du NAS pour la gestion des actifs, la ferme de rendu peut s'étendre en un seul clic. de milliers de nœuds de rendu. La capacité de calculer efficacement.

Sur cette base, l'équipe de création intelligente de ByteDance a personnalisé la logique de traitement d'une tâche unique, y compris le prétraitement, le rendu du moteur, le post-traitement et d'autres étapes. Et agrandissez/réduisez dynamiquement la taille du cluster à tout moment, selon les besoins, pour maximiser l'utilisation des ressources informatiques.

Afin d'améliorer encore l'efficacité et de permettre aux concepteurs de participer plus facilement à l'optimisation des effets, l'équipe technique a également créé une applet Feishu que les concepteurs peuvent utiliser. Feishu déclenche le processus automatisé dans le cloud pour itérer les effets artistiques et les exécuter. tâches dans le cloud. Une fois terminé, un message sera renvoyé à Feishu pour que le concepteur puisse le consulter, ce qui améliore considérablement l'efficacité du travail du concepteur.

Dans le même temps, l'équipe créative intelligente de ByteDance a personnalisé le pilote d'événement (EventTrigger) et l'API pour connecter la ferme, la plateforme Feishu et la plateforme de bureau cloud afin de maximiser le concept tout-en-un, permettant aux concepteurs et aux ingénieurs de s'appuyer sur Feishu et Cloud Desktop facilitent la recherche et le développement collaboratifs.

Plateforme de ferme de rendu auto-développée

Application de la nouvelle technologie AIGC

Avec l'avènement de DALL・E, l'équipe de création intelligente de ByteDance a commencé à travailler sur des technologies connexes début 2021 Après le suivi et la planification, l'équipe de création intelligente de ByteDance a construit un ensemble de données avec un volume de données d'un milliard basé sur le modèle open source Stable Diffusion et a formé deux modèles. L'un est un modèle de diffusion à usage général, qui peut générer des modèles tels que. Images de style peinture à l'huile et à l'encre ; l'autre est un modèle de diffusion de style anime.

Il n'y a pas si longtemps, les effets spéciaux « AI painting » soutenus par l'équipe de création intelligente de ByteDance sont devenus populaires sur Douyin, grâce à cette nouvelle technologie. Cette fois, sur "Cartoon Face" de Douyin, l'équipe technique a exploré plus en détail la capacité du modèle de diffusion à générer des styles de dessins animés 3D et a adopté une stratégie de génération d'images. Elle a d'abord ajouté du bruit à l'image, puis a utilisé le modèle graphique vincentien entraîné. de texte. Sur la base d'un modèle de diffusion stable pré-entraîné, saisissez l'image de résultat de style 3D cible générée par GAN qui correspond à l'image de la personne réelle et guidez le style cible plus près de la direction souhaitée grâce à un ensemble de mots-clés de texte finement réglés. Le résultat est utilisé comme données finales et transmis au modèle GAN suivant pour l'apprentissage.

Modèle GAN de déformation auto-développé

Étant donné que le style cible du « visage de dessin animé » de Douyin a une déformation importante par rapport au portrait original, il est difficile de former des effets de haute qualité directement en utilisant le cadre p2p traditionnel. Équipe de création Nous avons auto-développé un ensemble de cadres de formation GAN de déformation p2p, qui ont un bon effet sur la formation de cibles de dessins animés à grande déformation et au style fort. Le cadre de formation GAN de déformation auto-développé par l'équipe de création intelligente de ByteDance se compose de deux parties :

1 Formation préliminaire stylisée pour extraire des informations stylisées sur les visages de dessins animés. L'équipe technique a construit un cadre de formation non apparié pour la fusion interactive d'informations stylisées. En saisissant des ensembles de données sur des visages de personnes réelles et de dessins animés dans le cadre, des informations stylisées sur des visages de dessins animés peuvent être extraites. Ce cadre est un cadre de formation de bout en bout qui comprend le codage de caractéristiques stylisées, la fusion de caractéristiques, la formation à la reconstruction et la formation préliminaire stylisée. Une fois la formation terminée, des informations stylisées sur un visage de dessin animé sont obtenues pour l'étape suivante de formation raffinée.

2. Intégrez des informations stylisées sur les visages de dessins animés et effectuez une formation précise. Les informations stylisées du visage de dessin animé obtenues lors de la première étape incluent des informations telles que le style et la déformation. Cette partie des informations est intégrée dans l'image de la personne réelle pour une formation raffinée liée au P2P et utilisée pour la formation en binôme. la formation converge, le modèle de visage de dessin animé est obtenu.

Basé sur les solutions techniques innovantes ci-dessus, le « Cartoon Face » de Douyin simplifie non seulement les liens d'ingénierie et améliore considérablement l'efficacité des itérations, mais permet également d'obtenir d'excellents résultats en termes de grands angles, d'expressions riches, de restauration de style d'effet, de cohérence de la lumière et des ombres, et correspondance multi-peau. Effet d’optimisation évident. Il est entendu que l'équipe de création intelligente de ByteDance responsable du projet « Cartoon Face » se concentre depuis 2021 sur une optimisation révolutionnaire dans le sens de la stylisation 3D. Cette solution technique a pris en charge une variété d'effets spéciaux de style 3D et a obtenu des résultats populaires sur le plate-forme.

À propos de l'équipe de création intelligente de ByteDance : ​

L'équipe de création intelligente est le centre de l'IA et de la technologie multimédia de ByteDance en développant des technologies de pointe telles que la vision par ordinateur, le montage audio et vidéo et le traitement des effets spéciaux, il prend en charge Douyin, Jianying, Toutiao et de nombreuses autres gammes de produits au sein de l'entreprise ; en même temps, il fournit aux partenaires ToB externes les capacités de création intelligente et les solutions industrielles de pointe de l'industrie via le moteur Volcano.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!