Un modèle de peinture IA avec une forte compréhension de la culture traditionnelle chinoise. Les peintures sont tangibles et spirituelles, véhiculant le confucianisme, le bouddhisme et le taoïsme.

Récemment, la peinture IA est devenue très populaire. Il y a eu une vague d'engouement pour la peinture IA au pays et à l'étranger. Diverses images générées par des modèles de peinture IA sont courantes sur divers médias sociaux. Le mois dernier, le travail d'un concepteur de jeux "Space Opera" créé à l'aide de l'outil de dessin d'IA Midjourney a remporté la médaille d'or au concours d'art Colorado State Fair.

Inspirée par cela, L'équipe du professeur Lu Zhiwu de l'Université Renmin de Chine a combiné de manière innovante le modèle de pré-formation multimodal auto-développé Wenlan avec la dernière technologie de génération d'images pour créer une peinture IA qui comprend le mieux la culture traditionnelle chinoise. Générez le modèle .

Le modèle Wenlan est un modèle chinois de pré-formation multimodal à grande échelle dirigé par le professeur Wen Jirong, doyen exécutif de la Hillhouse School of Artificial Intelligence, Renmin University of China, le professeur Lu Zhiwu et le professeur associé permanent Song Ruihua. . Le modèle Wenlan a été pré-entraîné par 650 millions de paires image-texte chinoises faiblement liées, et a acquis des capacités uniques de compréhension sémantique chinoise et peut bien relier la sémantique chinoise aux informations visuelles. Caractères chinois. Certains ont une sémantique implicite et des concepts abstraits dans les images.

En juin de cette année, les résultats de la recherche pertinente « Vers une intelligence générale artificielle via un modèle de fondation multimodal » ont été publiés dans Nature Communications.

​

Lien papier : https://www.nature.com/articles/s41467-022-30761-2

La combinaison du Wenlan et des modèles génératifs

L'équipe de recherche En exploitant le potentiel du modèle Wenlan, en le combinant de manière innovante avec la technologie de dernière génération, en intégrant les capacités de compréhension sémantique abstraite de Wenlan et les puissantes capacités de génération du modèle génératif, nous garantissons que le modèle résultant peut parfaitement interpréter la sémantique du texte d'entrée et Générez des images avec la sémantique correspondante. L'

équipe se concentre sur l'exploration du potentiel du Wenlan dans la culture traditionnelle chinoise, en empruntant la dernière architecture de modèle génératif et en s'entraînant sur les ensembles de données de peinture chinoise collectés. Le modèle résultant peut générer des styles correspondants en fonction du texte saisi. Photos . Le schéma d’architecture détaillé est présenté ci-dessous.

​

Plus précisément, l'équipe a formé un modèle de génération inconditionnelle sur l'ensemble de données de peinture chinoise et a utilisé le modèle Wenlan pour guider le processus de génération à travers une génération itérative.

Cette méthode initialise d'abord de manière aléatoire une image de bruit. A chaque étape de génération, le modèle ajustera le contenu de l'image générée dans une direction proche du texte d'entrée, de sorte que le contenu de l'image générée à chaque étape et le texte d'entrée tendent à être cohérents dans l'espace latent du Modèle Wenlan. Cette étape peut être décrite comme :

où x et y représentent respectivement les images et le texte, IE et TE représentent respectivement l'encodeur d'image et l'encodeur de texte de Wenlan. Grâce à une itération continue, ce modèle peut remplir la fonction de générer des images de symboles de haute qualité basées sur la sémantique du texte.

Résultats de l'évaluation du modèle de peinture Wenlan

En raison des caractéristiques du modèle Wenlan lui-même, le modèle de peinture Wenlan peut générer des images correspondantes basées sur les poèmes chinois anciens saisis. Comme le montrent les exemples ci-dessous, les images générées par le modèle sont très cohérentes avec le contenu et la conception artistique des poèmes anciens.

Dans le même temps, l’équipe a également découvert que Le modèle de peinture de Wenlan a même une interprétation unique du confucianisme, du bouddhisme et du taoïsme obscurs.

Afin de mieux démontrer les caractéristiques des modèles de peinture Wenlan dans l'interprétation du confucianisme, du bouddhisme et du taoïsme, l'équipe a sélectionné les modèles de peinture IA les plus populaires au pays et à l'étranger pour une analyse comparative, notamment Dream Stealer, Wenxin, Disco Diffusion, Midjourney et Stable. Diffusion. Pour Disco Diffusion, Midjourney et Stable Diffusion, le texte chinois doit d'abord être traduit par Baidu.

À en juger par les résultats générés dans la figure ci-dessous, Dream Stealer, Disco Diffusion, Midjourney et Stable Diffusion ont tendance à générer des objets concrets dans les phrases ou à générer des images avec de meilleures images mais le contenu a peu de rapport avec les phrases. Wenxin a tendance à générer des images avec des personnages, et correspond même directement à la lumière des bougies allumées.

Le modèle de peinture Wenlan peut mieux lire le sens de la phrase entière et la pensée confucéenne qu'elle contient, générant ainsi des images plus conformes à cette pensée.

Deuxièmement, pour la saisie de texte contenant des pensées bouddhistes, les modèles de génération de peinture les plus populaires ne peuvent capturer que certains des objets concrets et effectuer une génération ciblée, et certains modèles de peinture peuvent même mal les comprendre.

Comme le montrent les résultats générés dans la figure ci-dessous, Wen Xin a compris "Si vous voyez le Tao et oubliez les montagnes, le monde sera seul, et si vous voyez les montagnes et oubliez le Tao, les montagnes seront bruyant" comme une pensée taoïste (générant l'image d'un prêtre taoïste). Le modèle de peinture Wenlan peut bien interpréter les pensées bouddhistes du texte saisi et les refléter dans les images générées.

Enfin, en termes de Pensée taoïste, l'équipe a sélectionné les trois phrases les plus fondamentales du Tao Te Ching. Comparé à Dream Stealer, Disco Diffusion, Midjourney et Stable Diffusion, Wen Xin a une meilleure capacité à interpréter le Tao Te Ching.

Mais dans l'ensemble, le modèle de peinture Wenlan interprète la pensée taoïste avec plus de précision et les images générées ont une conception artistique plus taoïste.

Résumé

L'équipe Wenlan combine la technologie de génération de peinture IA récemment populaire avec le modèle chinois de pré-formation multimodal Wenlan, explorant en profondeur le potentiel du modèle Wenlan dans la culture traditionnelle chinoise et utilisant des images à travers le modèle généré Il est présenté sous une forme qui permet au grand public d’avoir une compréhension plus intuitive de certaines profondes pensées culturelles traditionnelles chinoises.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!