Les peintures murales du palais Yongle en Chine mesurent jusqu'à 1 000 mètres carrés. Peuvent-elles être restaurées par l'IA ?

De nos jours, l'intelligence artificielle (IA) est non seulement de plus en plus utilisée dans les domaines scientifiques et commerciaux, mais commence également à émerger dans le domaine de l'art.

Alors que les gens sont émerveillés par les technologies infinies d’IA, une nouvelle technologie de réparation murale par IA a émergé.

Récemment, afin de résoudre le problème de la « réparation difficile » des peintures murales du Palais Yongle, un chef-d'œuvre des peintures murales chinoises anciennes, Une équipe de recherche de l'Université Shanxi Datong, de l'Université des sciences de Malaisie et de l'Université Dali a proposé un modèle d'IA qui peut réparer des peintures murales géantes - 3M-Hybrid.

Selon les rapports, ce modèle a amélioré l'indice de similarité structurelle (SSIM) de 14,61 % et 4,73 respectivement par rapport au meilleur modèle parmi quatre modèles représentatifs de réseaux neuronaux convolutifs (CNN) dans la restauration murale de taille normale % rapport signal/bruit de pointe (. PSNR). De plus, il a également montré de bons résultats dans la restauration finale de grandes peintures murales

Un document de recherche connexe intitulé « Modèle hybride 3M pour la restauration murale géante unique des peintures murales du palais de Yongle : une étude de cas » a été publié sur le site Web de préimpression arXiv

Quelle est la méthode de réparation des peintures murales de grand format ?

Les peintures murales du palais Yongle sont situées dans le palais Yongle (également connu sous le nom de palais Dachunyang Wanshou) à Ruicheng, dans la province du Shanxi. Sa plus grande valeur artistique réside dans ses magnifiques peintures murales à grande échelle. La superficie totale des peintures murales dépasse 1 000 mètres carrés et est peinte dans les salles Wuji, Sanqing, Chunyang et Chongyang

En tant que précieux patrimoine culturel, les peintures murales du Palais Yongle représentent des chefs-d'œuvre artistiques de l'histoire de la peinture chinoise. Cependant, en raison d'un manque de protection à long terme, ces peintures murales uniques ont subi de nombreux dommages, ce qui rend leur restauration une tâche urgente

Par rapport aux techniques de réparation manuelle, les méthodes de réparation numérique sont plus efficaces et réversibles. En particulier, la technologie de réparation d'images basée sur l'apprentissage profond a obtenu des résultats remarquables. Cependant, la littérature sur la restauration murale basée sur l'apprentissage profond se concentre principalement sur les peintures murales de Dunhuang ou d'autres peintures murales de taille normale, et il y a un manque de recherche spécifiquement sur la restauration des peintures murales du palais de Yongle et d'immenses peintures murales similaires.

Par rapport à d'autres études sur la restauration des peintures murales, les travaux de restauration des immenses peintures murales du palais de Yongle sont confrontés à deux défis principaux : 1) Les peintures murales du palais de Yongle sont rares et de style unique 2) Les peintures murales sont de taille énorme et les modèles sont variés ; différent dans la restauration. Maîtrise limitée des types et tailles de défauts.

Image｜Les types et les échelles des peintures murales incomplètes du palais de Yongle varient, et les manifestations réelles de l'incomplétude sont également plus diverses.

Selon l'article, le modèle 3M-Hybrid proposé dans cette étude peut réparer efficacement les peintures murales du palais de Yongle. Parmi elles, « 3M » fait référence aux trois stratégies clés : multi-fréquence, multi-angle et multi-échelle, tandis que « Hybrid » fait référence au réseau hybride CNN-VIT.

Tout d'abord, l'équipe de recherche a divisé l'immense fresque murale en parties de taille normale à restaurer, puis a réassemblé les parties restaurées à leur taille d'origine. Afin de permettre au modèle de réparation murale de taille normale de gérer efficacement différents types et tailles de défauts avec une quantité limitée de données d'image, la recherche a pris en compte deux aspects : l'optimisation des données d'entraînement et l'amélioration de la structure du modèle.

Afin d'obtenir de meilleurs résultats de réparation, cette recherche adopte un réseau indépendant spécialement conçu pour apprendre et extraire des signaux haute fréquence et basse fréquence afin d'améliorer les capacités d'apprentissage et de réparation des fonctionnalités dans ces plages de fréquences spécifiques. Grâce à une méthode de formation basée sur la fréquence, le modèle est capable de gérer efficacement des défauts de différentes échelles et types

En termes de structure du modèle, cette recherche intègre un réseau neuronal convolutif (CNN) avec un transformateur visuel pré-entraîné (VIT) pour améliorer la capacité d'extraction de caractéristiques du modèle.

Lors de la réparation d'une immense fresque murale, nous avons constaté que les méthodes de découpe de base entraînaient des espaces entre les joints et une distorsion structurelle lors de la réparation de défauts surdimensionnés. Pour résoudre ce problème, notre équipe de recherche adopte une stratégie multi-angles pour réduire l'écart et adopte une méthode de réparation multi-échelles en combinant des méthodes de coupe et de réduction. De cette façon, nous pouvons garantir l'exactitude de la réparation, et en même temps extraire la structure globale de la peinture murale, résolvant ainsi le problème des défauts multi-échelles

Du point de vue des performances visuelles, le modèle montre des résultats considérables dans les résultats de réparation des masques linéaires libres de type poussière, de type gel libre et libres. De plus, les résultats de réparation sur les masques en blocs de forme libre démontrent une intégrité structurelle préservée et une texture crédible. Les modèles 3M-Hybrid se sont avérés être une méthode viable pour restaurer ces peintures murales uniques et monumentales.

Cependant, cette étude n’est pas sans défauts

Premièrement, la méthode proposée dans l'étude s'appuie sur plusieurs expériences pour sélectionner la meilleure valeur des trois poids de fusion à échelle. Cependant, cette approche n’est peut-être pas assez précise étant donné que les paramètres de poids couvrent d’innombrables possibilités et que le nombre d’expériences est limité. Par conséquent, les valeurs de poids déterminées sur la base de résultats expérimentaux ne peuvent garantir qu'un résultat final relativement favorable.

Deuxièmement, la réécriture à faire est la suivante : Deuxièmement, les indicateurs d'évaluation utilisés dans l'étude ne sont pas assez objectifs. Les quatre indicateurs d'évaluation actuellement utilisés ne parviennent pas à évaluer de manière exhaustive la structure de l'image et ne peuvent généralement pas refléter avec précision la perception humaine et l'évaluation de l'image

Cependant, nous ne pouvons nier l'importance de cette recherche, qui explore l'application de l'apprentissage profond dans la restauration d'immenses peintures murales, avec un accent particulier sur l'utilisation de la technologie d'apprentissage profond pour restaurer les peintures murales du palais Yongle. Cette étude représente la première tentative d'exploration des méthodes de restauration par apprentissage profond pour des œuvres d'art à grande échelle

En termes d'amélioration du modèle de réparation d'images de taille conventionnelle, cette recherche l'a globalement amélioré du point de vue des données et de la structure. Cela fournit de nouvelles informations sur la réparation de petits ensembles de données uniques pour de futures recherches

Aider l'humanité à protéger et à hériter de la valeur des reliques culturelles

Au cours des dernières années, les gens ont été témoins de l'incroyable intégration de la technologie de l'intelligence artificielle et des reliques culturelles et historiques

En 2020, un internaute de Weibo nommé « 大谷Spitzer » a utilisé la technologie de l'IA pour restaurer les données d'image en noir et blanc de Pékin de 1920 publiées par le Quotidien du Peuple il y a 4 ans, complétant ainsi la colorisation, la restauration de la fréquence d'images, l'expansion de la résolution et d'autres travaux. .

En 2021, le laboratoire multimédia Tencent a également coopéré avec l'Institut de recherche de Dunhuang pour utiliser des méthodes d'apprentissage en profondeur pour analyser les données sur les maladies murales de Dunhuang et a développé un outil efficace d'identification des maladies murales par IA. Il a également fourni une technologie de consultation à distance immersive utilisant des peintures ultra-claires 4K A. une image à 360 degrés de haute qualité montre la scène à l'intérieur de la grotte et les détails des reliques culturelles, permettant une consultation à distance des reliques culturelles sans obstacle.

En juin de cette année, lors du forum thématique « Protection et utilisation des reliques culturelles et confiance culturelle et force de soi » organisé à Chengdu, l'événement de la Journée du patrimoine dans la ville natale, Tencent a démontré l'effet d'épissage de simulation collaborative homme-machine de Sanxingdui en utilisant la technologie de l'IA. .

Les nombreuses applications de la technologie de l’IA dans le domaine de la restauration des reliques culturelles sont passionnantes. À l’avenir, nous espérons que la technologie de l’IA ira plus loin dans la protection et la restauration des reliques culturelles, en aidant les humains à protéger et à hériter de la valeur des reliques culturelles.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!