中国の永楽宮の壁画は1000平方メートルにもなるが、AIで修復できるのか？

現在、人工知能 (AI) は科学やビジネスの分野でますます活用されているだけでなく、芸術の分野でも登場し始めています。

人々が終わりのないAI技術に驚愕する中、新たなAI壁画修復技術が登場しました。

最近、古代中国の壁画の傑作である永楽宮の壁画の「修復の難しさ」の問題を解決するために、山西大同大学、マレーシア科学大学、大理大学の研究チームが提案した。巨大壁画を修復できるAIモデル——3M-Hybrid。

レポートによると、このモデルは、通常サイズの壁画修復において、4 つの代表的な畳み込みニューラル ネットワーク (CNN) モデルの中で最も優れたモデルと比較して、構造類似性指数 (SSIM) が 14.61% 向上し、ピーク信号対雑音比が向上しました。比率(PSNR)は4.73%。さらに、大規模な壁画の最終修復でも良好な結果を示しました

「永楽宮壁画のユニークな巨大壁画修復のための 3M ハイブリッド モデル: ケーススタディ」と題された関連研究論文が、プレプリント Web サイト arXiv で公開されました。

大規模壁画の修復方法とは？

永楽宮の壁画は、山西省瑞城市の永楽宮（大春陽万寿宮とも呼ばれる）にあり、最も芸術的価値のある壁画は、精緻な大規模な壁画です。壁画全体の面積は 1,000 平方メートルを超え、無記殿、三清殿、春陽殿、重陽殿に描かれています。

貴重な文化遺産である永楽宮の壁画は、中国絵画史上の芸術的傑作を代表しています。しかし、長期にわたる保護の欠如により、これらのユニークな壁画は多くの損傷を受けており、その修復が緊急の課題となっています

デジタル修復手法は手動修復手法に比べて効率的かつ可逆的であり、特にディープラーニングに基づく画像修復技術は顕著な成果を上げています。しかし、深層学習に基づく壁画修復に関する文献は主に敦煌の壁画やその他の通常サイズの壁画に焦点を当てており、特に永楽宮の壁画や類似の巨大な壁画の修復に関する研究は不足しています。

壁画修復に関する他の研究と比較して、永楽宮の巨大な壁画の修復作業は 2 つの主な課題に直面しています: 1) 永楽宮の壁画の希少性と独特のスタイル、2) 壁画のサイズ壁画 巨大なモデルでは、さまざまな種類やサイズの欠陥を修復する能力が限られています。

写真 | 永楽宮の不完全な壁画の種類や規模はさまざまであり、不完全さの実際の現れもより多様です。

論文によると、この研究で提案された 3M ハイブリッド モデルは永楽宮の壁画を効果的に修復できるとのことです。

このうち、「3M」はマルチ周波数、マルチアングル、マルチスケールの 3 つの主要戦略を指し、「ハイブリッド」はハイブリッド CNN-VIT ネットワークを指します。

研究チームはまず、巨大な壁画を一定サイズのパーツに分割して復元し、復元したパーツを元の大きさに戻しました。通常サイズの壁画修復モデルが、限られた量の画像データでさまざまな種類やサイズの欠陥を効果的に処理できるようにするために、研究ではトレーニング データの最適化とモデル構造の改善の 2 つの側面を検討しました。

より良い修復結果を得るために、この研究では、高周波信号と低周波信号を学習して抽出するように特別に設計された独立したネットワークを採用し、これらの特定の周波数範囲での特徴学習と修復機能を強化しています。周波数ベースのトレーニング方法を通じて、モデルはさまざまな規模や種類の欠陥を効果的に処理できます

モデル構造の観点から、この研究では畳み込みニューラル ネットワーク (CNN) と事前学習済みビジュアル トランスフォーマー (VIT) を統合して、モデルの特徴抽出能力を強化しています。

巨大な壁画を修復する際、基本的な切断方法では、大きすぎる欠陥を修復する際に継ぎ目の隙間や構造の歪みが生じることがわかりました。この問題を解決するために、私たちの研究チームは、ギャップを減らすためのマルチアングル戦略と、切断と収縮の方法を組み合わせたマルチスケール修復方法を採用しました。このようにして、修復の精度を確保すると同時に、壁画の全体構造を抽出して、マルチスケールの欠陥の問題を解決できます。

視覚的性能の観点から、このモデルは、遊離ダスト状マスク、遊離ゲル状マスク、遊離線状マスクの修復結果においてかなりの結果を示しています。さらに、自由形状ブロック マスクの修復結果は、構造的完全性が維持され、信頼できるテクスチャを示しています。 3M ハイブリッド モデルは、これらのユニークで記念碑的な壁画を修復する実行可能な方法であることが証明されました。

しかし、この研究には欠点がないわけではありません

まず、この研究で提案された方法は、複数の実験に基づいて 3 つのスケール フュージョン ウェイトの最適な値を選択します。ただし、重み設定が無数の可能性をカバーし、実験の数が制限されていることを考えると、このアプローチは十分に正確ではない可能性があります。したがって、実験結果に基づいて決定された重量値は、比較的好ましい最終結果のみを保証できます。

第二に、書き直す必要があるのは次のとおりです。 第二に、研究で使用された評価指標は十分に客観的ではありません。現在使用されている 4 つの評価指標は、画像の構造を包括的に評価することができず、通常、画像に対する人間の認識と評価を正確に反映できません。

しかし、永楽宮の壁画の修復におけるディープラーニング技術の使用に特に焦点を当て、巨大な壁画の修復におけるディープラーニングの応用を探求するこの研究の重要性を否定することはできません。この研究は、大規模な芸術作品の深層学習修復方法を探求する最初の試みを表しています。

本研究では、従来のサイズ画像修復モデルの改良を、データと構造の2つの観点から総合的に改良しました。これにより、今後の研究に、固有の小規模データ セットの修復に関する新たな洞察が提供されます。

人類による文化遺物の価値の保護と継承を支援する

ここ数年、人々は人工知能テクノロジーと文化的遺物や歴史の驚くべき統合を目の当たりにしてきました。 2020年、「大谷スピッツァー」というWeiboネットユーザーがAI技術を利用して、4年前に人民日報が公開した1920年の北京の白黒画像データを復元し、着色、フレームレートの復元、解像度の拡張などを完了させた。 。

2021年、テンセント・マルチメディア研究所は、敦煌研究所と協力し、ディープラーニング手法を使用して敦煌の壁画病データを分析し、効率的なAI壁画病識別ツールを開発し、また、4K超高解像度を使用した没入型遠隔診察技術も提供した。高精細な360度映像で洞窟内の様子や文化財の詳細を確認できるため、バリアフリーな遠隔文化財相談が可能です。

今年 6 月、成都で開催された文化遺産の日の故郷の都市イベント、「文化財の保護と活用、文化的自信と自己強化」をテーマとしたフォーラムで、テンセントは、三星堆の人間と機械の協調シミュレーション スプライシング効果を実証しました。 AI技術。

文化財修復の分野における AI テクノロジーの多くの応用は興味深いものです。将来的には、AI テクノロジーが文化遺物の保護と修復にさらに進歩し、人間が文化遺物の価値を保護し継承できるようになることが期待されます。

以上が中国の永楽宮の壁画は1000平方メートルにもなるが、AIで修復できるのか？の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。