1MB AI ajaib mengesan berjuta-juta fail dengan ketepatan 99%!

Dalam pembangunan web, pengesanan jenis fail sebelum memuat naik fail ke pelayan adalah penting. Langkah ini bukan sahaja dapat memastikan keselamatan pelayan dan pengguna, memintas kemungkinan fail berniat jahat, tetapi juga memastikan bahawa fail yang dimuat naik adalah lengkap dan memenuhi jangkaan, meningkatkan pematuhan data. Pada masa yang sama, dengan memberikan maklum balas dan bimbingan tepat pada masanya kepada pengguna, ia juga boleh meningkatkan pengalaman pengguna dan mengelakkan kekeliruan yang tidak perlu.

Brother A Bao sebelum ini telah memperkenalkan "Bagaimanakah JavaScript mengesan jenis fail?" Sekarang kita telah memasuki era AI, kita mesti mengikut peredaran masa. Seterusnya, Brother Abao akan memperkenalkan cara menggunakan alat Magika[1] sumber terbuka Google untuk mencapai pengesanan jenis fail yang tepat.

Pictures

Pengenalan Magika

Magika+ ialah alat pengesanan klasifikasi fail kecerdasan buatan baru yang bergantung pada teknologi pembelajaran mendalam terkini untuk menyediakan pengesanan yang tepat. Ia menggunakan model Keras tersuai yang sangat dioptimumkan yang beratnya hanya kira-kira 1MB dan membolehkan pengenalan fail yang tepat dalam milisaat walaupun berjalan pada satu CPU.

Dalam penilaian ke atas lebih 1 juta fail dan lebih 100 jenis kandungan (merangkumi format fail binari dan teks), Magika mencapai lebih 99% ketepatan dan ingatan semula. Magika digunakan secara berskala untuk memastikan pengguna Google selamat dengan menghalakan fail Gmail, Drive dan Penyemakan Imbas Selamat kepada pengimbas dasar keselamatan dan kandungan yang sesuai.

Ciri Magika

• Menyokong pengesanan lebih daripada 100 jenis fail.
• Menyokong pelbagai kaedah penggunaan seperti baris arahan Python, API Python dan versi TFJS percubaan.
• Selepas model dimuatkan (ini adalah overhed sekali), masa inferens ialah ~5ms setiap fail.
• Hampir masa inferens berterusan tanpa mengira saiz fail. Magika hanya menggunakan subset terhad bagi bait fail.
• Menyokong pemprosesan kelompok: Menyokong penghantaran berbilang fail ke baris arahan dan API pada masa yang sama, Magika akan menggunakan pemprosesan kelompok untuk mempercepatkan masa inferens.
• Dilatih pada set data lebih 25 juta fail merentas 100+ jenis kandungan.
• Selepas penilaian berskala besar, purata ketepatan dan ingatan semula Magika mencapai lebih 99%, mengatasi kaedah sedia ada.
• Magika menggunakan sistem ambang untuk setiap jenis kandungan untuk menentukan sama ada untuk "memercayai" ramalan model atau sama ada untuk mengembalikan label generik seperti "Dokumen Teks Generik" atau "Data Perduaan Tidak Diketahui."
• Menyokong tiga mod ramalan berbeza untuk melaraskan toleransi terhadap ralat: keyakinan tinggi, keyakinan sederhana dan tekaan terbaik.

Prestasi Magika

Gambar

Dari segi prestasi, Magika mengatasi prestasi aplikasi moden yang lain apabila dinilai pada penanda aras fail 1M dengan lebih 100 jenis fail berkat model AI dan set data latihannya yang besar kira-kira 20% lebih tinggi. Dipecahkan mengikut jenis fail, kami melihat peningkatan prestasi yang lebih besar untuk fail teks, termasuk fail kod dan fail konfigurasi yang alat lain mungkin menghadapi masalah diproses.

Pictures

Contoh Dalam Talian Magika

Magika menyokong pelayar dan persekitaran Node.js, anda boleh mengalami fungsinya dengan melawati tapak web Demo Web[2]. .

Rujukan[1]Magika: https://github.com/google/magika

[2]Demo Web: https://google.github.io/magika/

[3]Magika: dikuasakan AI pengenalan jenis fail yang pantas dan cekap: https://opensource.googleblog.com/2024/02/magika-ai-powered-fast-and-efficient-file-type-identification.html