Kajian pengesanan deepfake berdasarkan pembelajaran mendalam

Pembelajaran mendalam (DL) telah menjadi salah satu bidang yang paling berpengaruh dalam sains komputer, secara langsung mempengaruhi kehidupan manusia dan masyarakat hari ini. Seperti setiap inovasi teknologi lain dalam sejarah, pembelajaran mendalam telah digunakan untuk beberapa tujuan yang menyalahi undang-undang. Deepfakes ialah aplikasi pembelajaran yang mendalam Beratus-ratus kajian telah dijalankan dalam beberapa tahun yang lalu untuk mencipta dan mengoptimumkan pelbagai pengesanan Deepfake menggunakan AI.

Untuk menangani deepfakes, kaedah pembelajaran mendalam serta kaedah pembelajaran mesin (bukan pembelajaran mendalam) telah dibangunkan untuk mengesannya. Model pembelajaran mendalam perlu mengambil kira sejumlah besar parameter, jadi sejumlah besar data diperlukan untuk melatih model tersebut. Inilah sebab mengapa kaedah DL mempunyai prestasi yang lebih tinggi dan keputusan yang tepat berbanding kaedah bukan DL.

Apakah Pengesanan Deepfake

Kebanyakan penjana deepfake akan meninggalkan beberapa kesan semasa proses deepfake. Perubahan dalam video palsu ini boleh diklasifikasikan sebagai ketidakkonsistenan spatial: ketidakserasian yang berlaku dalam bingkai individu video dan ketidakkonsistenan temporal: ciri tidak serasi yang muncul dalam jujukan bingkai video.

Ketidakkonsistenan ruang termasuk kawasan muka yang tidak serasi dengan latar belakang bingkai video, perubahan peleraian dan tekstur organ dan kulit yang dipaparkan separa (yang mungkin tidak memaparkan semua ciri wajah manusia dengan betul). Penjana deepfake yang paling biasa tidak dapat menghasilkan ciri seperti berkelip dan gigi. Dan kadangkala jalur putih digunakan untuk menggantikan gigi yang boleh dilihat dengan mata kasar pada bingkai pegun (di bawah).

Ketidakkonsistenan temporal termasuk kerdipan mata yang tidak normal, postur kepala, pergerakan muka dan perubahan kecerahan dalam jujukan bingkai video.

Jejak dalam ruang dan masa yang ditinggalkan oleh penjana deepfake ini boleh dikenal pasti oleh pengesan deepfake yang diperbuat daripada rangkaian neural dalam (DNN). Penggunaan meluas rangkaian permusuhan generatif (GAN) yang biasa dalam penjana palsu mendalam mencabar keseimbangan antara pengesanan dan penjanaan palsu.

Deepfake Detection

Deepfake detector ialah sistem pengelasan binari yang menentukan sama ada input media digital adalah nyata atau palsu. Pengesanan Deepfake tidak dilakukan oleh satu modul seperti kotak hitam, tetapi terdiri daripada beberapa modul dan langkah lain yang berfungsi bersama untuk memberikan hasil pengesanan. Langkah biasa dalam pengesanan Deepfake adalah seperti berikut [2].

• Input Media Digital Palsu.
• Pra-pemprosesan termasuk pengesanan muka dan peningkatan.
• Ciri pengekstrakan bingkai yang diproses.
• Klasifikasi/Pengesanan.
• Ketulenan imej keluaran.

Pengesan deepfake berasaskan DL biasa mengandungi 3 komponen utama untuk melaksanakan tugas di atas.

• Modul prapemprosesan.
• Modul pengekstrakan ciri.
• Modul penilai (model pengelas pembelajaran mendalam).

Langkah utama akan diterangkan secara terperinci seterusnya: prapemprosesan data, pengekstrakan ciri dan proses pengesanan/pengkelasan.

Prapemprosesan Data

Selepas fasa pengumpulan data, data hendaklah dipraproses sebelum latihan dan langkah-langkah ujian untuk pengesanan palsu mendalam. Prapemprosesan data dilakukan secara automatik menggunakan perpustakaan yang tersedia seperti OpenCV python, MTCNN dan YOLO dll.

Pembesaran data juga memainkan peranan penting dalam meningkatkan prestasi pengesan palsu dalam. Teknik penambahan seperti penskalaan semula (regangan), pemetaan ricih, pembesaran skala, putaran, perubahan kecerahan, dan flip mendatar/menegak boleh digunakan untuk meningkatkan generalisasi set data [3].

Langkah pertama dalam prapemprosesan data ialah mengekstrak bingkai individu daripada klip video. Selepas mengekstrak bingkai, anda perlu mengesan wajah daripada bingkai video yang diekstrak. Memandangkan kawasan muka sering kelihatan anomali, memilih hanya kawasan muka membantu model pengekstrakan ciri memfokuskan hanya pada kawasan minat (ROI), sekali gus menjimatkan kos pengiraan untuk pengimbasan bingkai penuh. Sebaik sahaja kawasan muka dikesan, kawasan itu dipangkas dari seluruh latar belakang bingkai dan mengikuti satu siri langkah untuk menjadikannya tersedia untuk latihan dan ujian model. Satu lagi sebab untuk memangkas kawasan muka adalah untuk menjadikan semua imej input kepada model saiz yang sama.

Pengeluaran Ciri

Bingkai yang dipraproses dalam langkah sebelumnya akan dihantar kepada pengekstrak ciri. Kebanyakan pengekstrak ciri adalah berdasarkan rangkaian neural convolutional (CNN). Beberapa kajian baru-baru ini telah membuktikan keberkesanan dan peningkatan kecekapan rangkaian kapsul dalam proses pengekstrakan ciri, yang merupakan trend baharu.

Pengekstrak ciri mengekstrak ciri spatial yang tersedia pada bingkai video praproses. Pengekstrakan ciri boleh mengekstrak ciri visual, ciri setempat/tanda tempat muka, seperti kedudukan mata, hidung, mulut, dinamik bentuk mulut, berkelip dan ciri biologi yang lain. Vektor ciri yang diekstrak kemudiannya dihantar ke rangkaian pengelas untuk membuat keputusan output.

Pengkelasan

Model pembelajaran mendalam yang digunakan untuk pengelasan sering dipanggil tulang belakang pengesan palsu dalam. Seperti namanya, rangkaian pengelasan bertanggungjawab untuk tugas paling penting dalam saluran pengesanan deepfake: iaitu, mengelaskan dan menentukan kebarangkalian sama ada video input adalah deepfake. Kebanyakan pengelas ialah pengelas binari, di mana output deepfakes ialah (0) dan output bingkai asal ialah (1).

Pengkelas ialah satu lagi lapisan konvolusi (CNN) atau seni bina pembelajaran mendalam yang serupa seperti LSTM atau ViT. Keupayaan sebenar model klasifikasi berbeza-beza bergantung pada DNN yang digunakan. Sebagai contoh, ciri kelipan yang diekstrak dalam modul pengekstrak ciri boleh digunakan oleh modul LSTM dalam modul pengelasan untuk menentukan ketidakkonsistenan temporal corak kelipan bingkai, dan berdasarkan ini, tentukan sama ada input adalah Deepfake [3]. Dalam kebanyakan kes, lapisan terakhir dalam pengesan deepfake ialah lapisan bersambung sepenuhnya. Memandangkan output lapisan konvolusi mewakili ciri peringkat tinggi data, output ini diratakan dan digabungkan kepada satu lapisan keluaran untuk menghasilkan keputusan muktamad.

Ringkasan

Sejak beberapa tahun lalu, terdapat perkembangan ketara dalam penciptaan dan pengesanan deepfakes. Penyelidikan berkaitan pengesanan deepfake menggunakan teknologi pembelajaran mendalam juga telah mencapai kemajuan yang besar kerana ketepatan keputusan berbanding kaedah pembelajaran bukan mendalam. Seni bina rangkaian neural dalam seperti CNN, RNN, ViT, dan rangkaian kapsul digunakan secara meluas dalam pelaksanaan pengesan palsu dalam. Saluran paip pengesanan deepfake biasa terdiri daripada modul prapemprosesan data, pengekstrak ciri berasaskan CNN dan modul klasifikasi.

Selain itu, pengesanan deepfake mempunyai pergantungan yang kuat pada kesan yang ditinggalkan oleh penjana deepfake pada deepfake. Memandangkan penjana deepfake berasaskan GAN semasa mampu mensintesis deepfake yang lebih realistik dengan ketidakkonsistenan minimum, kaedah baharu mesti dibangunkan untuk mengoptimumkan pengesanan deepfake. Kaedah pengesanan Deepfake berdasarkan teknik pembelajaran ensemble mendalam boleh dianggap sebagai kaedah moden dan komprehensif untuk memerangi deepfakes [4]. Namun begitu, jurang untuk pengesan deepfake yang berkesan dan cekap masih wujud.

Atas ialah kandungan terperinci Kajian pengesanan deepfake berdasarkan pembelajaran mendalam. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!