Apple membenarkan model besar belajar menjadi malas: meludahkan token pertama dengan lebih pantas dan mengekalkan ketepatan

Dalam pusingan pertama lelaran, masalah utama adalah untuk menentukan kepentingan setiap token. Diilhamkan oleh penyelidikan terdahulu yang menunjukkan bahawa keadaan tersembunyi token berkembang apabila ia melalui lapisan Transformer, penyelesaian pasukan adalah dengan menggunakan pemangkasan token lapisan demi lapisan pada setiap langkah generasi. Secara khusus, mereka menggunakan peta perhatian setiap lapisan untuk menentukan kepentingan token input kepada token yang akan diramalkan.

Selepas mengira skor keyakinan token, satu lagi masalah sukar ialah menentukan ambang untuk mencantas token.

Secara khusus, untuk lapisan yang berbeza dan tugasan yang berbeza, ambang ini mungkin berubah apabila skor perhatian berubah. Penyelesaian pasukan adalah menggunakan strategi pemilihan persentil top-k. Khususnya, jika skor keyakinan token kurang daripada persentil ke-k token input, ia dipangkas. Sebaik sahaja token dipangkas, ia tidak lagi mengambil bahagian dalam pengiraan semua lapisan berikutnya.

Dalam erti kata lain, token yang digunakan oleh lapisan seterusnya adalah subset daripada token yang digunakan oleh lapisan sebelumnya.

Eksperimen kemudian menunjukkan bahawa apabila kedudukan lapisan pemangkasan dan bilangan token pemangkasan berbeza, prestasi juga akan berubah. Khususnya, untuk lapisan Transformer yang sama, kerana semakin banyak token dikeluarkan melalui pemangkasan, prestasi model akan berkurangan secara beransur-ansur.

Mereka juga mendapati bahawa berbanding pemangkasan pada lapisan awal, prestasi yang lebih baik akan diperoleh apabila pemangkasan pada lapisan kemudian, yang menunjukkan bahawa lapisan kemudian kurang sensitif terhadap pemangkasan token. Untuk mengimbangi kelajuan dan ketepatan yang lebih baik, pasukan menggunakan pemangkasan progresif seperti yang ditunjukkan dalam Rajah 4, mengekalkan lebih banyak token pada lapisan awal dan kemudian secara beransur-ansur mengurangkan bilangan token semasa ia mengalir ke lapisan kemudian.

Aux Cache (cache tambahan)

Tiada cache KV dalam peringkat pra-pengisian, dan setiap token dinyatakan dalam keadaan tersembunyi. Oleh itu, pemangkasan token progresif boleh dicapai dengan mengalih keluar keadaan tersembunyi token pangkas. Walau bagaimanapun, melanjutkan pemangkasan token progresif kepada langkah penyahkodan berikutnya adalah tidak mudah. Sebabnya ialah setiap langkah penyahkodan mengira perhatian menggunakan cache KV yang dikira dalam peringkat pra-isi. Memandangkan LazyLLM melakukan pemangkasan token progresif dalam peringkat prapenduduk, KV token yang dipangkas pada tahap tertentu tidak akan muncul dalam cache KV peringkat seterusnya.

Sebagai peringatan, rangka kerja LazyLLM membenarkan setiap langkah generasi untuk memilih subset token yang berbeza daripada jujukan token input lengkap pada setiap langkah, tidak kira sama ada ia telah dipangkas dalam langkah sebelumnya. Contohnya, dalam langkah penyahkodan seterusnya, token pangkas yang tidak wujud dalam cache KV boleh dipilih semula untuk pengiraan perhatian. Dalam kes ini, model tidak boleh mendapatkan semula cache KV untuk token ini.

Penyelesaian intuitif adalah dengan menghantar token ini melalui titik permulaan Transformer. Walau bagaimanapun, ini menghasilkan pengiraan dua kali bagi token yang sama dan akhirnya memperlahankan kelajuan penjanaan keseluruhan.

Untuk menyelesaikan masalah ini, pasukan memperkenalkan cache lain sebagai tambahan kepada cache KV asal: Aux Cache (cache tambahan).

Jika KV token yang dipangkas (T4 dan T7 dalam Rajah 4) tidak muncul dalam cache KV lapisan berikutnya, keadaan tersembunyinya akan disimpan oleh Aux Cache untuk mendapatkan semula dalam lelaran berikutnya.

Seperti yang ditunjukkan dalam Rajah 4, pada setiap langkah penyahkodan, setiap lapisan Transformer mula-mula mendapatkan semula cache KV token yang lalu (jika wujud). Bagi token yang tiada dalam cache KV, keadaan tersembunyinya diambil terus daripada Aux Cache lapisan sebelumnya tanpa perlu melalui lapisan sebelumnya lagi. Aux Cache memastikan bahawa setiap token dikira paling banyak sekali dalam setiap lapisan Transformer, dan juga memastikan LazyLLM adalah lebih pantas daripada LLM standard pada tahap yang paling perlahan.

Eksperimen

Pasukan menguji pendekatan baharu "malas" ini pada dua model bahasa besar: Llama 2 7B dan XGen 7B. LLM standard yang digunakan untuk perbandingan adalah model pusat pemeriksaan pra-latihan yang dikeluarkan secara terbuka sama tanpa sebarang latihan tambahan.

Tanda aras percubaan ialah LongBench, penanda aras berbilang tugas untuk pemahaman kandungan yang panjang. Penanda aras LongBench mengandungi 16 set data yang meliputi 6 tugasan, termasuk Soal Jawab satu dokumen, Soal Jawab berbilang dokumen, ringkasan, pembelajaran beberapa pukulan, tugasan sintesis dan penyelesaian kod.

Metrik penilaian ialah keberkesanan dan kecekapan setiap kaedah dari segi pecutan TTFT berbanding pertukaran ketepatan.

Keputusan

Jadual 1 memberikan keputusan kelajuan dan ketepatan TTFT untuk LazyLLM, LLM standard dan kaedah asas lain.

Dalam jadual ini, garis dasar merujuk kepada inferens LLM standard. Penurunan token rawak merujuk kepada melakukan pemangkasan rawak pada token. Pemangkasan token statik merujuk kepada melakukan pemangkasan sekali pada token input berdasarkan kaedah perhatian lapisan Transformer sebelumnya dalam peringkat pra-pengisian. Mampatan Segera ialah kaedah mampatan segera, yang menggunakan LLM untuk mengalih keluar lebihan dalam konteks input.

Seperti yang dapat dilihat daripada Jadual 1, LazyLLM secara menyeluruh unggul dalam pecutan TTFT, manakala penurunan ketepatan pada asasnya boleh diabaikan. Perlu diingat bahawa menggunakan LLM untuk memampatkan gesaan adalah intensif secara pengiraan. Oleh itu, walaupun Pemampatan Segera membuat inferens lebih cepat, TTFT sebenar adalah lebih panjang daripada LLM standard.

Impak ke atas kelajuan penjanaan keseluruhan

Untuk menilai kesan kaedah baharu pada kelajuan penjanaan keseluruhan, pasukan menganalisis peratusan token segera yang digunakan dalam pengiraan dan pecutan penjanaan, lihat Jadual 2.

Adalah dapat dilihat bahawa perkadaran token yang digunakan dalam pengiraan LazyLLM sentiasa kurang daripada 100%, yang menunjukkan bahawa LazyLLM tidak menggunakan semua token dalam gesaan pada penghujung penjanaan, tetapi secara teorinya model boleh guna semua token. Ini boleh memberikan pecutan tambahan kepada proses penjanaan keseluruhan untuk tugasan yang berbeza.

Kadar buang lapisan berbeza

Pasukan juga menganalisis kesan kedudukan lapisan pemangkasan dan bilangan token pemangkasan. Keputusan ditunjukkan dalam Rajah 6.

Dapat dilihat apabila pemangkasan dilakukan pada lapisan Transformer yang sama, semakin sedikit token yang tinggal, semakin teruk prestasi model tersebut. Ini juga selaras dengan pemahaman intuitif kami. Di samping itu, berbanding dengan melakukan pemangkasan pada lapisan Transformer yang lebih awal, pemangkasan pada lapisan kemudian akan menghasilkan prestasi yang lebih baik, yang menunjukkan bahawa lapisan kemudiannya kurang sensitif terhadap pemangkasan token.

Berdasarkan pemerhatian ini, boleh dikatakan kesan pemangkasan token progresif terbukti.

Pertumbuhan KV yang progresif

Akhirnya, pasukan juga cuba memahami dalaman model menggunakan logik pemangkasan token. Secara khusus, mereka ingin mengetahui perkadaran terkumpul token segera yang digunakan dan perkadaran sepadan yang tidak digunakan. "Penggunaan token kumulatif" ini boleh ditakrifkan secara sama sebagai saiz cache KV pada setiap langkah. Rajah 7 memberikan penggunaan token segera kumulatif ini untuk setiap peringkat LazyLLM.

Hasil ini menyokong hipotesis bahawa banyak token tidak akan pernah dipilih oleh model (walaupun secara teorinya model boleh menggunakan semua token dalam gesaan.

Memandangkan model masih boleh mengekalkan ketepatan melaksanakan tugas, ia boleh Kesimpulan: Model boleh membuang token dengan berkesan tanpa menjejaskan kualiti output