Hasil penyelidikan Kuaishou SAMP telah diiktiraf di Persidangan Kecerdasan Buatan Antarabangsa EMNLP2023

Dengan aplikasi meluas model pembelajaran mendalam dalam bidang seperti pemprosesan bahasa semula jadi, kelajuan dan prestasi inferens model telah menjadi isu penting. Baru-baru ini, hasil penyelidikan "SAMP: Perpustakaan Inferens Model Kuantitatif Selepas latihan Berdasarkan Ketepatan Campuran Adaptif" yang diketuai oleh Kuaishou telah berjaya dipilih ke dalam persidangan teratas EMNLP 2023 dan dibentangkan serta dikongsi di Singapura

Kajian ini mencadangkan alat pecutan inferens yang dipanggil SAMP, yang menggunakan teknologi ketepatan campuran adaptif untuk meningkatkan kelajuan inferens dengan ketara sambil mengekalkan prestasi model. Ia mengandungi pengekod ketepatan campuran penyesuaian dan satu siri strategi gabungan lanjutan. Pengekod ketepatan campuran adaptif boleh mencari gabungan ketepatan campuran titik terapung dan titik tetap terbaik dalam sebilangan besar operasi pendaraban matriks umum (GEMM) dan lapisan Transformer, supaya prestasi inferens model paling hampir dengan keperluan pengguna (pengiraan). ketepatan atau kecekapan inferens). Akhirnya, pengiraan ketepatan campuran mencapai ketepatan pengiraan yang lebih baik daripada pengiraan titik tetap penuh. Strategi gabungan menyepadukan dan menambah baik pengendali pembenaman dan operasi pengiraan berkaitan kuantisasi, mengurangkan separuh panggilan inti CUDA. Pada masa yang sama, SAMP ialah kit alat hujung ke hujung yang dilaksanakan dalam bahasa pengaturcaraan C++ Ia mempunyai kelajuan inferens yang sangat baik dan juga merendahkan ambang aplikasi industri inferens kuantitatif selepas latihan.

Apa yang perlu ditulis semula ialah: titik inovasi SAMP berbanding dengan sistem yang serupa, seperti yang ditunjukkan dalam Jadual 1

SAMP mempunyai sorotan utama berikut:

1. SAMP mengimbangi ketepatan pengiraan dan prestasi kependaman dalam pendekatan inferens terkuantisasi selepas latihan. Pengguna boleh memilih konfigurasi ketepatan campuran dengan ketepatan yang sesuai dan kependaman inferens untuk tugasan yang berbeza. SAMP juga boleh mengesyorkan mod gabungan kuantisasi terbaik kepada pengguna melalui kaedah peruntukan penyesuaian.

2. Kecekapan penaakulan. SAMP menunjukkan kelajuan inferens yang lebih baik daripada kit alat inferens lain dalam julat ketepatan yang luas (titik terapung ke titik tetap). Dalam set data tugas klasifikasi Penanda Aras Pemahaman Bahasa Cina (CLUE), SAMP mencapai pecutan sehingga 1.05-1.15 kali berbanding dengan FasterTransformer.

3. SAMP merangkumi banyak tugas hiliran seperti pengelasan, penandaan jujukan, pemadanan teks, dsb. Modul sasaran boleh diperluaskan dan boleh disesuaikan secara fleksibel. Ia mesra pengguna dan kurang bergantung pada platform. SAMP menyokong API C++ dan Python dan hanya memerlukan CUDA 11.0 atau lebih tinggi. Selain itu, SAMP juga menyediakan banyak alat penukaran model untuk menyokong penukaran bersama antara model dalam format yang berbeza.

Gambar 1: Kertas penyelidikan ini akan dibentangkan dan dikongsi di persidangan EMNLP2023

Pengkaji utama Tian Rong dari Kuaishou berkata bahawa hasil usaha bersama seluruh pasukan adalah untuk mencapai keputusan yang baik dalam senario seperti inferens model. SAMP telah membuat sumbangan dalam tiga aspek: pertama, ia menyelesaikan masalah kehilangan ketepatan yang besar dalam alat penaakulan pasca-kuantisasi (PTQ) sedia ada dalam aplikasi industri kedua, ia menggalakkan penggunaan teknologi pasca-kuantisasi (PTQ) dalam pelbagai tugas hiliran; aplikasi berskala besar pada masa yang sama, pustaka inferens juga ringan, fleksibel, mesra pengguna dan menyokong matlamat tugasan pengguna

Dilaporkan bahawa EMNLP (Empirical Methods in Natural Language Processing) ialah salah satu persidangan antarabangsa yang terkemuka dalam bidang pemprosesan bahasa semula jadi dan kecerdasan buatan Ia memfokuskan kepada penyelidikan akademik mengenai teknologi pemprosesan bahasa semula jadi dalam pelbagai senario aplikasi, dengan penekanan khusus mengenai penyelidikan empirikal mengenai pemprosesan bahasa semula jadi. Persidangan itu telah mempromosikan inovasi teras dalam bidang pemprosesan bahasa semula jadi seperti model bahasa pra-latihan, perlombongan teks, sistem dialog, dan terjemahan mesin Ia mempunyai pengaruh yang besar dalam kedua-dua kalangan akademik dan industri dalam bidang ini Hasil penyelidikan telah diiktiraf oleh sarjana antarabangsa.

Atas ialah kandungan terperinci Hasil penyelidikan Kuaishou SAMP telah diiktiraf di Persidangan Kecerdasan Buatan Antarabangsa EMNLP2023. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!