Mural Istana Yongle China seluas 1,000 meter persegi Bolehkah mereka dipulihkan oleh AI?

Kini, kecerdasan buatan (AI) bukan sahaja semakin digunakan dalam bidang sains dan perniagaan, malah mula muncul dalam bidang seni.

Apabila orang kagum dengan teknologi AI yang tidak berkesudahan, teknologi pembaikan mural AI baharu telah muncul.

Baru-baru ini, bagi menyelesaikan masalah "kesukaran membaiki" mural Istana Yongle, karya mural Cina purba, Pasukan penyelidik dari Universiti Shanxi Datong, Universiti Sains Malaysia, dan Dali Universiti mencadangkan model AI yang boleh membaiki mural gergasi ——3M-Hibrid.

Menurut laporan, model ini meningkatkan indeks kesamaan struktur (SSIM) sebanyak 14.61% berbanding model terbaik daripada empat model rangkaian neural konvolusional (CNN) perwakilan dalam pemulihan mural bersaiz biasa ) dan isyarat puncak kepada-. nisbah hingar (PSNR) sebanyak 4.73%. Selain itu, ia juga menunjukkan hasil yang baik dalam pemulihan akhir mural besar

Kertas penyelidikan berkaitan bertajuk "Model Hibrid 3M untuk Pemulihan Mural Gergasi Unik Mural Istana Yongle: Kajian Kes" telah diterbitkan di laman web pracetak arXiv

Apakah kaedah pembaikan untuk mural bersaiz besar?

Mural Istana Yongle terletak di Istana Yongle (juga dikenali sebagai Istana Dachunyang Wanshou) di Ruicheng, Wilayah Shanxi Nilai seni tertingginya ialah mural berskala besar yang indah. Keseluruhan kawasan mural melebihi 1,000 meter persegi dan dicat di Dewan Wuji, Dewan Sanqing, Dewan Chunyang dan Dewan Chongyang

Sebagai warisan budaya yang berharga, mural Istana Yongle mewakili karya seni dalam sejarah lukisan Cina. Walau bagaimanapun, disebabkan kekurangan perlindungan jangka panjang, mural unik ini telah mengalami banyak kerosakan, menjadikan pemulihannya sebagai tugas yang mendesak

Berbanding dengan teknik pembaikan manual, kaedah pembaikan digital lebih cekap dan boleh diterbalikkan Khususnya, teknologi pembaikan imej berdasarkan pembelajaran mendalam telah mencapai hasil yang luar biasa. Walau bagaimanapun, kesusasteraan mengenai pemulihan mural berdasarkan pembelajaran mendalam tertumpu terutamanya pada mural Dunhuang atau mural bersaiz biasa yang lain, dan terdapat kekurangan penyelidikan khusus tentang pemulihan mural Istana Yongle dan mural besar yang serupa.

Berbanding dengan kajian lain mengenai pemulihan mural, kerja pemulihan mural Istana Yongle yang besar menghadapi dua cabaran utama

: 1) kekurangan dan gaya unik mural Istana Yongle; mural bersaiz besar dan model mempunyai kecekapan terhad dalam membaiki kecacatan pelbagai jenis dan saiz.

Gambar｜Jenis dan skala mural yang tidak lengkap di Istana Yongle berbeza-beza, dan manifestasi sebenar ketidaklengkapan itu juga lebih pelbagai.

Menurut kertas itu, model 3M-Hybrid yang dicadangkan dalam kajian ini boleh membaiki mural Istana Yongle dengan berkesan.

Antaranya, "3M" merujuk kepada tiga strategi utama: berbilang frekuensi, berbilang sudut dan berbilang skala, manakala "Hibrid" merujuk kepada rangkaian CNN-VIT hibrid.

Pertama, pasukan penyelidik membahagikan mural besar itu kepada bahagian bersaiz biasa untuk pemulihan, dan kemudian memasang semula bahagian yang dipulihkan kembali kepada saiz asalnya. Untuk membolehkan model pembaikan mural bersaiz biasa mengendalikan pelbagai jenis dan saiz kecacatan dengan berkesan dengan jumlah data imej yang terhad, penyelidikan mempertimbangkan dua aspek: mengoptimumkan data latihan dan menambah baik struktur model.

Untuk mendapatkan hasil pembaikan yang lebih baik, kajian ini menggunakan rangkaian bebas yang direka khusus untuk mempelajari dan mengekstrak isyarat frekuensi tinggi dan frekuensi rendah untuk meningkatkan pembelajaran ciri dan keupayaan pembaikan dalam julat frekuensi khusus ini. Melalui kaedah latihan berasaskan kekerapan, model ini mampu menangani kecacatan pelbagai skala dan jenis dengan berkesan

Dari segi struktur model, penyelidikan ini menyepadukan rangkaian neural konvolusi (CNN) dengan pengubah visual (VIT) pra-latihan untuk meningkatkan keupayaan pengekstrakan ciri model.

Semasa membaiki mural yang besar, kami mendapati bahawa kaedah pemotongan asas mengakibatkan celah jahitan dan herotan struktur apabila membaiki kecacatan bersaiz besar. Untuk menyelesaikan masalah ini, pasukan penyelidik kami menggunakan strategi berbilang sudut untuk mengurangkan jurang dan menggunakan kaedah pembaikan berbilang skala dengan menggabungkan kaedah pemotongan dan pengecutan. Dengan cara ini, kami dapat memastikan ketepatan pembaikan, dan pada masa yang sama mengekstrak struktur keseluruhan mural, menyelesaikan masalah kecacatan pelbagai skala

Dari perspektif prestasi visual, model ini menunjukkan hasil yang besar dalam hasil pembaikan topeng linear bebas seperti habuk, gel bebas dan topeng linear bebas. Selain itu, hasil pembaikan pada topeng blok bentuk bebas menunjukkan integriti struktur yang terpelihara dan tekstur yang boleh dipercayai. Model 3M-Hibrid terbukti sebagai kaedah yang berdaya maju untuk memulihkan mural yang unik dan monumental ini.

Namun begitu, kajian ini bukan tanpa kekurangan

Pertama, kaedah yang dicadangkan dalam kajian ini bergantung pada pelbagai eksperimen untuk memilih nilai terbaik bagi tiga pemberat gabungan skala. Walau bagaimanapun, pendekatan ini mungkin tidak cukup tepat memandangkan tetapan berat meliputi banyak kemungkinan dan bilangan eksperimen adalah terhad. Oleh itu, nilai berat yang ditentukan berdasarkan keputusan eksperimen hanya dapat menjamin hasil akhir yang agak menguntungkan.

Kedua, penulisan semula yang perlu dibuat ialah: Kedua, indikator penilaian yang digunakan dalam kajian tidak cukup objektif. Empat penunjuk penilaian yang digunakan pada masa ini gagal untuk menilai secara menyeluruh struktur imej dan biasanya tidak dapat menggambarkan dengan tepat persepsi dan penilaian manusia terhadap imej tersebut

Walau bagaimanapun, kami tidak dapat menafikan kepentingan kajian ini, yang meneroka aplikasi pembelajaran mendalam dalam pemulihan mural besar, dengan tumpuan khusus pada penggunaan teknologi pembelajaran mendalam untuk memulihkan mural Istana Yongle. Kajian ini mewakili percubaan pertama untuk meneroka kaedah pemulihan pembelajaran mendalam untuk karya seni berskala besar

Dari segi penambahbaikan model pembaikan imej saiz konvensional, penyelidikan ini telah menambah baiknya secara menyeluruh daripada kedua-dua perspektif data dan struktur. Ini memberikan cerapan baharu untuk membaiki set data kecil yang unik untuk penyelidikan masa hadapan

Membantu manusia melindungi dan mewarisi nilai peninggalan budaya

Dalam beberapa tahun kebelakangan ini, orang ramai telah menyaksikan integrasi menakjubkan teknologi kecerdasan buatan dan peninggalan budaya serta sejarah

Pada tahun 2020, netizen Weibo bernama "大谷Spitzer" menggunakan teknologi AI untuk memulihkan data imej hitam putih Beijing 1920 yang dikeluarkan oleh People's Daily 4 tahun lalu, menyelesaikan pewarnaan, pemulihan kadar bingkai dan pengembangan kadar resolusi dan kerja lain .

Pada tahun 2021, Tencent Multimedia Laboratory juga bekerjasama dengan Institut Penyelidikan Dunhuang untuk menggunakan kaedah pembelajaran mendalam untuk menganalisis data penyakit mural Dunhuang, dan membangunkan alat pengenalan penyakit mural AI yang cekap Ia juga menyediakan teknologi perundingan jauh yang mendalam menggunakan lukisan ultra-jelas 4K gambar 360 darjah berkualiti tinggi menunjukkan pemandangan di dalam gua dan butiran peninggalan budaya, membolehkan perundingan peninggalan budaya jauh tanpa halangan.

Pada bulan Jun tahun ini, di forum tema "Perlindungan dan Penggunaan Relik Budaya dan Keyakinan Budaya dan Kekuatan Diri" yang diadakan di Chengdu, acara bandar asal Hari Warisan, Tencent menunjukkan kesan penyambungan simulasi manusia-mesin Sanxingdui menggunakan teknologi AI .

Banyak aplikasi teknologi AI dalam bidang pemulihan peninggalan budaya menarik. Pada masa hadapan, kami menjangkakan teknologi AI akan pergi lebih jauh dalam perlindungan dan pemulihan peninggalan budaya, membantu manusia melindungi dan mewarisi nilai peninggalan budaya.

Atas ialah kandungan terperinci Mural Istana Yongle China seluas 1,000 meter persegi Bolehkah mereka dipulihkan oleh AI?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!