Menerobos had resolusi: Byte dan Universiti Sains dan Teknologi China mendedahkan model dokumen berbilang modal yang besar

Kini terdapat juga dokumen resolusi tinggi berbilang modal yang besar!

Teknologi ini bukan sahaja boleh mengenal pasti maklumat dalam imej dengan tepat, tetapi juga memanggil pangkalan pengetahuannya sendiri untuk menjawab soalan mengikut keperluan pengguna

Sebagai contoh, apabila anda melihat antara muka Mario dalam gambar, anda boleh terus menjawab bahawa ia adalah dari Nintendo bekerja.

Model ini telah dikaji bersama oleh ByteDance dan Universiti Sains dan Teknologi China, dan dimuat naik ke arXiv pada 24 November 2023

Dalam penyelidikan ini, pasukan pengarang mencadangkan DocPedia, sebuah resolusi tinggi bersatu Dokumen multimodal model besar DocPedia.

Dalam kajian ini, penulis menggunakan cara baharu untuk menyelesaikan kekurangan model sedia ada yang tidak dapat menghuraikan imej dokumen resolusi tinggi.

DocPedia mempunyai resolusi sehingga 2560×2560 Walau bagaimanapun, model besar pelbagai mod termaju industri semasa seperti LLaVA dan MiniGPT-4 mempunyai had atas resolusi pemprosesan imej sebanyak 336×336 dan tidak boleh menghuraikan dokumen resolusi tinggi. imej.

Jadi, bagaimana model ini berprestasi dan apakah jenis kaedah pengoptimuman yang digunakan?

Peningkatan ketara dalam pelbagai markah penilaian

Dalam kertas kerja ini, penulis menunjukkan contoh pemahaman imej dan teks beresolusi tinggi DocPedia. Dapat diperhatikan bahawa DocPedia mempunyai keupayaan untuk memahami kandungan arahan dan mengekstrak maklumat grafik dan teks yang berkaitan dengan tepat daripada imej dokumen resolusi tinggi dan imej pemandangan semula jadi Sebagai contoh, dalam set gambar ini, DocPedia dengan mudah melombong nombor plat. Maklumat teks seperti konfigurasi komputer dan juga teks tulisan tangan boleh dinilai dengan tepat.

Digabungkan dengan maklumat teks dalam imej, DocPedia juga boleh menggunakan keupayaan penaakulan model yang besar untuk menganalisis masalah berdasarkan konteks.

Selepas membaca maklumat imej, DocPedia juga akan menjawab kandungan lanjutan yang tidak ditunjukkan dalam imej berdasarkan asas pengetahuan dunianya yang kaya

Jadual berikut secara kuantitatif membandingkan beberapa model besar berbilang mod sedia ada dan kunci DocPedia pengekstrakan maklumat (KIE) dan keupayaan menjawab soalan visual (VQA).

Dengan meningkatkan resolusi dan menggunakan kaedah latihan yang berkesan, kita dapat melihat bahawa DocPedia telah mencapai peningkatan yang ketara pada pelbagai penanda aras ujian

Jadi, bagaimanakah DocPedia mencapai kesan sedemikian?

Menyelesaikan masalah penyelesaian daripada domain kekerapan

Latihan DocPedia dibahagikan kepada dua peringkat: pra-latihan dan penalaan halus. Untuk melatih DocPedia, pasukan pengarang mengumpul sejumlah besar data grafik dan teks yang mengandungi pelbagai jenis dokumen dan membina set data penalaan halus arahan.

Dalam peringkat pra-latihan, model bahasa besar akan dibekukan, dan hanya bahagian pengekod visual akan dioptimumkan supaya ruang perwakilan token keluarannya konsisten dengan model bahasa besar

Pada peringkat ini, pengarang pasukan bercadang untuk melatih terutamanya keupayaan Persepsi DocPedia, termasuk persepsi teks dan pemandangan semula jadi

Tugas pralatihan termasuk pengesanan teks, pengecaman teks, OCR hujung ke hujung, bacaan perenggan, bacaan teks penuh dan kapsyen imej.

Dalam fasa penalaan halus, model bahasa berskala besar tidak dibekukan dan dijalankan pengoptimuman keseluruhan hujung ke hujung

Pasukan pengarang mencadangkan strategi latihan bersama pemahaman persepsi: berdasarkan tugas persepsi peringkat rendah asal , dua jenis pemahaman dokumen dan imej pemandangan telah ditambahkan Tugas pemahaman semantik separa tertib tinggi

Strategi latihan pemahaman persepsi bersama sebegini meningkatkan lagi prestasi DocPedia.

Dari segi strategi untuk isu penyelesaian, berbeza dengan kaedah sedia ada, DocPedia menyelesaikannya dari perspektif domain frekuensi

.

Apabila memproses imej dokumen resolusi tinggi, DocPedia mula-mula mengekstrak matriks pekali DCTnya. Matriks ini boleh menurunkan sampel resolusi spatial 8 kali tanpa kehilangan maklumat teks imej asal

Selepas langkah ini, kami akan menggunakan penyesuai domain frekuensi bertingkat (Penyesuai Frekuensi) untuk menghantar isyarat input Kepada Pengekod Penglihatan untuk pemampatan resolusi yang lebih mendalam dan pengekstrakan ciri

Dengan kaedah ini, imej 2560×2560 boleh diwakili oleh 1600 token.

Berbanding dengan memasukkan terus imej asal ke dalam pengekod visual (seperti Swin Transformer), kaedah ini mengurangkan bilangan token sebanyak 4 kali ganda.

Akhir sekali, token ini digabungkan dengan token yang ditukar daripada arahan dalam dimensi jujukan dan dimasukkan ke dalam model besar untuk jawapan.

Hasil eksperimen ablasi menunjukkan bahawa meningkatkan resolusi dan melakukan penalaan kefahaman persepsi bersama adalah dua faktor penting untuk meningkatkan prestasi DocPedia

Angka berikut membandingkan prestasi DocPedia bagi imej kertas dan yang sama arahan pada input yang berbeza Jawapan pada skala. Ia boleh dilihat bahawa DocPedia menjawab dengan betul jika dan hanya jika resolusi ditingkatkan kepada 2560 × 2560.

Gambar di bawah membandingkan respons model DocPedia kepada imej teks adegan yang sama dan arahan yang sama di bawah strategi penalaan halus yang berbeza.

Dapat dilihat daripada contoh ini bahawa model yang telah diperhalusi melalui pemahaman-persepsi boleh melakukan pengecaman teks dan soal jawab semantik dengan tepat

Sila klik pautan berikut untuk melihat kertas kerja: https: //arxiv.org/abs/ 2311.11810

Atas ialah kandungan terperinci Menerobos had resolusi: Byte dan Universiti Sains dan Teknologi China mendedahkan model dokumen berbilang modal yang besar. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!