如今，人工智慧（AI）不僅越來越多地被應用在科學和商業領域中，而且在藝術領域也開始嶄露頭角。
當人們對層出不窮的 AI 技術感到驚嘆時，一項新的 AI 壁畫修復技術出現了。
近日，為解決中國古代壁畫傑作永樂宮壁畫的「修復難」問題，來自山西大同大學、馬來西亞理科大學、大理大學的研究團隊提出了一個能夠修復巨型壁畫的AI 模型—— 3M-Hybrid。
據介紹，這個模型在常規尺寸的壁畫修復中相較於四種代表性的捲積神經網路（CNN）模型中的最佳模型，分別提高了14.61%的結構相似性指數（SSIM）和4.73%的峰值信噪比（PSNR）。此外，它在大型壁畫的最終修復中也表現出了良好的效果
已在預印本網站arXiv上發表了一篇題為《關於永樂宮壁畫的獨特巨型壁畫恢復的3M混合模型：以案例研究為例》的相關研究論文
大尺寸壁畫的修復方法是什麼？
永樂宮壁畫位於山西省芮城的永樂宮（又稱大純陽萬壽宮），其藝術價值最高的是精美的大型壁畫。整個壁畫面積超過1000平方米，分別繪製在無極殿、三清殿、純陽殿和重陽殿內
永樂宮壁畫作為寶貴的文化遺產，代表了中國繪畫史上的藝術傑作。然而，由於長期缺乏保護，這些獨特的壁畫出現了許多損壞，修復壁畫成為了一項緊迫的任務
與手動修復技術相比，數位修復方法更有效率且可逆，特別是基於深度學習的影像修復技術取得了顯著的成就。然而，對以深度學習為基礎的壁畫修復文獻主要關注敦煌壁畫或其他常規尺寸的壁畫，缺乏專門針對永樂宮壁畫及類似巨大壁畫修復的研究。
與其他關於壁畫修復的研究相比，巨大的永樂宮壁畫的修復工作面臨兩個主要挑戰：1）永樂宮壁畫具有稀缺性和獨特的風格；2）壁畫尺寸巨大，模型在修復不同類型和尺寸缺陷方面的熟練程度有限。
圖｜永樂宮壁畫殘缺的類型和規模上各不相同，實際殘缺的表現形式也更加多元。
根據論文描述，本研究提出的 3M-Hybrid 模型能夠有效修復永樂宮壁畫。 其中，「3M」指的是三個關鍵策略：多頻率、多角度和多尺度，而「Hybrid」指的是混合型 CNN-VIT 網路。
首先，研究團隊將巨大的壁畫分割成常規尺寸的部分進行修復，然後將修復後的部分重新組裝成原始尺寸。為了使常規尺寸壁畫修復模型能夠在有限的圖像資料量下有效處理各種類型和尺寸的缺陷，研究考慮了兩個方面：優化訓練資料和完善模型結構。
為了獲得更好的修復效果，該研究採用了一種專門用於學習和提取高頻和低頻訊號的獨立網絡，以增強在這些特定頻率範圍內的特徵學習和修復能力。透過基於頻率的訓練方法，該模型能夠有效處理不同尺度和類型的缺陷
在模型結構方面，該研究將卷積神經網路（CNN）與預先訓練的視覺變換器（VIT）整合在一起，從而增強模型的特徵提取能力。
在修復巨大壁畫時，我們發現基本的切割方法在修復超大尺寸的缺陷時會導致接縫間隙和結構失真。為了解決這個問題，我們的研究團隊採用了多角度策略來減少間隙，並結合了切割和縮小方法，採用了多尺度的修復方法。透過這樣的方式，我們能夠確保修復的精確性，同時也能夠提取出壁畫整體結構，解決了多尺度缺陷的問題
從可視化的表現來看，該模型在自由粉塵狀、自由膠狀和自由線性掩膜的修復結果方面表現出可觀的效果。此外，自由形狀塊掩膜的修復結果展現了保留的結構完整性和可信的紋理。 3M-Hybrid 模型被證明是恢復這些獨特而巨大壁畫的可行方法。
然而，這項研究並不是沒有缺點
首先，研究提出的方法依賴於多次實驗以選擇三個尺度融合權重的最佳值。然而，考慮到權重設定涵蓋了無數的可能性，而實驗次數有限，這種方法可能不夠精確。因此，基於實驗結果確定的權重值只能保證相對有利的最終結果。
其次，需要進行的改寫是：其次，研究中所使用的評估指標不夠客觀。目前使用的四個評估指標未能全面評估影像的結構，通常無法準確反映人類對影像的感知和評估
然而，我們不能否認研究的重要性，它探索了深度學習在巨大壁畫修復中的應用，並特別關注了利用深度學習技術來修復永樂宮壁畫。這項研究代表了首次嘗試探索大規模藝術品深度學習修復方法
在改進常規尺寸影像修復模型方面，該研究綜合從資料和結構兩個角度進行了改進。這為未來研究提供了修復獨特小數據集的新見解
幫助人類保護和傳承文物的價值
在過去的幾年裡，人們目睹了人工智慧技術與文物歷史的驚人融合
2020 年，一位名叫「大谷Spitzer」的微博網友，便利用AI 技術將人民日報4 年前發布的1920 年北京黑白影像資料做了修復，完成了上色、修復幀率、擴大分辨率等工作。
2021 年，騰訊多媒體實驗室也與敦煌研究院合作，利用深度學習方法分析敦煌壁畫病害數據，開發出了高效的AI 壁畫病害識別工具，同時提供了沉浸式遠距會診技術，使用4K 超清畫質的360 度畫面展示洞窟內景象和文物細節，實現了無障礙遠距文物會診。
今年 6 月，在成都舉辦的遺產日主場城市活動「文物保護利用與文化自信自強」主題論壇上，騰訊展示了運用 AI 技術完成的三星堆人機協同模擬拼接效果。
AI 技術在文物修復領域的許多應用令人興奮。未來，期待 AI 技術在文物保護、修復等方面能更進一步，幫助人類保護和傳承文物的價值。
以上是中國的永樂宮壁畫，大到1000平方米，能被AI修復嗎？的詳細內容。更多資訊請關注PHP中文網其他相關文章！
