2% daripada kuasa pengkomputeran RLHF digunakan untuk menghapuskan keluaran berbahaya LLM, dan Byte mengeluarkan teknologi pembelajaran pelupa

Dengan pembangunan model bahasa besar (LLM), pengamal menghadapi lebih banyak cabaran. Bagaimana untuk mengelakkan balasan berbahaya daripada LLM? Bagaimana dengan cepat memadam kandungan yang dilindungi hak cipta dalam data latihan? Bagaimana untuk mengurangkan halusinasi LLM (fakta palsu) Bagaimana dengan cepat melelang LLM selepas perubahan dasar data? Isu-isu ini adalah kritikal kepada penggunaan LLM yang selamat dan boleh dipercayai di bawah trend umum keperluan pematuhan undang-undang dan etika yang semakin matang untuk kecerdasan buatan.

Penyelesaian arus perdana dalam industri adalah untuk memperhalusi data perbandingan (sampel positif dan sampel negatif) dengan menggunakan pembelajaran tetulang untuk menyelaraskan LLM (penjajaran) bagi memastikan output LLM memenuhi jangkaan dan nilai manusia. Walau bagaimanapun, proses penjajaran ini selalunya dihadkan oleh pengumpulan data dan sumber pengkomputeran

ByteDance mencadangkan kaedah untuk LLM melaksanakan pembelajaran melupakan untuk penjajaran. Artikel ini mengkaji cara melakukan operasi "melupakan" pada LLM, iaitu, melupakan tingkah laku berbahaya atau mesin tidak belajar (Machine Unlearning). Pengarang menunjukkan kesan jelas melupakan pembelajaran pada tiga senario penjajaran LLM: (1) mengalih keluar keluaran berbahaya; (2) mengalih keluar kandungan perlindungan pelanggaran; ) Hanya sampel negatif (sampel berbahaya) diperlukan, yang jauh lebih mudah untuk dikumpulkan daripada sampel positif (output tulisan tangan manual berkualiti tinggi) yang diperlukan oleh RLHF (seperti ujian pasukan merah atau laporan pengguna); (3) Melupakan pembelajaran amat berkesan jika diketahui sampel latihan yang membawa kepada tingkah laku berbahaya LLM.

Hujah penulis ialah bagi pengamal yang mempunyai sumber terhad, mereka harus mengutamakan berhenti menghasilkan output yang berbahaya daripada cuba mengejar output yang terlalu ideal dan melupakan bahawa pembelajaran adalah kemudahan. Walaupun hanya mempunyai sampel negatif, penyelidikan menunjukkan bahawa lupa pembelajaran masih boleh mencapai prestasi penjajaran yang lebih baik daripada pembelajaran pengukuhan dan algoritma frekuensi tinggi suhu tinggi menggunakan hanya 2% daripada masa pengkomputeran

Alamat kertas: https: //arxiv.org/abs/2310.10683

• Alamat kod: https://github.com/kevinyaobytedance/llm_unlearn

sumber terhad kita boleh Ambil pendekatan ini untuk memaksimumkan kelebihan anda. Apabila kita tidak mempunyai belanjawan untuk mengupah orang untuk menulis sampel berkualiti tinggi atau sumber pengkomputeran tidak mencukupi, kita harus mengutamakan menghentikan LLM daripada menghasilkan output yang berbahaya, daripada cuba menjadikannya menghasilkan output yang bermanfaat

Kerosakan yang disebabkan oleh keluaran berbahaya tidak boleh digantikan dengan keluaran berfaedah yang diberi pampasan. Jika pengguna bertanya kepada LLM 100 soalan dan jawapan yang diterimanya berbahaya, dia akan kehilangan kepercayaan, tidak kira berapa banyak jawapan yang berguna yang LLM sediakan nanti. Output yang dijangkakan bagi soalan berbahaya mungkin ruang, aksara khas, rentetan tidak bermakna, dsb. Ringkasnya, ia mestilah teks yang tidak berbahaya

menunjukkan tiga kes kejayaan LLM melupakan pembelajaran: (1) Berhenti menjana balasan berbahaya ( Sila tulis semula kandungan ke dalam bahasa Cina (ayat asal tidak perlu dipaparkan); ini serupa dengan senario RLHF, kecuali matlamat kaedah ini adalah untuk menjana balasan yang tidak berbahaya dan bukannya balasan yang berguna. Ini adalah hasil terbaik yang boleh dijangkakan apabila terdapat hanya sampel negatif. (2) Selepas latihan dengan data yang melanggar, LLM berjaya memadamkan data dan tidak dapat melatih semula LLM kerana faktor kos; (3) LLM berjaya melupakan "ilusi"

Sila tulis semula kandungan ke dalam bahasa Cina, The original ayat tidak perlu muncul

kaedah

Dalam langkah penalaan halus t, LLM dikemas kini seperti berikut:

Kehilangan pertama ialah penurunan kecerunan), dengan penurunan kecerunan tujuan melupakan sampel berbahaya:

ialah gesaan berbahaya (prompt), ialah balasan berbahaya yang sepadan. Kehilangan keseluruhan secara terbalik meningkatkan kehilangan sampel berbahaya, yang menjadikan LLM "melupakan" sampel berbahaya.

Kehilangan kedua adalah untuk ketidakpadanan rawak, yang memerlukan LLM meramalkan balasan yang tidak berkaitan dengan kehadiran isyarat berbahaya. Ini serupa dengan pelicinan label [2] dalam pengelasan. Tujuannya adalah untuk menjadikan LLM lebih baik melupakan output berbahaya pada gesaan berbahaya. Pada masa yang sama, eksperimen telah membuktikan bahawa kaedah ini boleh meningkatkan prestasi keluaran LLM dalam keadaan biasa

Kerugian ketiga adalah untuk mengekalkan prestasi pada tugas biasa:

dalam pra-latihan Mengira perbezaan KL pada LLM boleh mengekalkan prestasi LLM dengan lebih baik.

Selain itu, semua pendakian dan penurunan kecerunan dilakukan hanya pada bahagian output (y), bukan pada pasangan hujung-output (x, y) seperti RLHF.

Senario aplikasi: Melupakan kandungan berbahaya, dsb.

Artikel ini menggunakan data PKU-SafeRLHF sebagai data terlupa, TruthfulQA sebagai data biasa, kandungan Rajah 2 perlu ditulis semula, menunjukkan output LLM terlupa gesaan berbahaya selepas terlupa mempelajari kadar berbahaya. Kaedah yang digunakan dalam artikel ini ialah GA (kenaikan kecerunan dan GA+Ketakpadanan: pendakian kecerunan + ketidakpadanan rawak). Kadar berbahaya selepas melupakan pembelajaran adalah hampir kepada sifar.

Kandungan gambar kedua perlu ditulis semula

Gambar ketiga menunjukkan output gesaan berbahaya (tidak dilupakan), yang belum pernah dilihat sebelum ini. Walaupun untuk isyarat berbahaya yang tidak dilupakan, kadar berbahaya LLM adalah hampir sifar, yang membuktikan bahawa LLM bukan sahaja melupakan sampel tertentu, tetapi digeneralisasikan kepada kandungan yang mengandungi konsep berbahaya

Gamb Prestasi LLM pada sampel biasa kekal serupa sebelum terlupa, dan mempunyai ciri-ciri berikut

Jadual 1 menunjukkan sampel yang dijana. Ia boleh dilihat bahawa di bawah gesaan berbahaya, sampel yang dijana oleh LLM adalah rentetan yang tidak bermakna, iaitu, output yang tidak berbahaya.

Jadual 1

Dalam senario lain, seperti melupakan kandungan yang melanggar dan melupakan halusinasi, aplikasi kaedah ini diterangkan secara terperinci dalam teks asal

Apa yang perlu ditulis semula ialah: Jadual kedua menunjukkan perbandingan antara kaedah ini dengan RLHF menggunakan contoh positif, manakala kaedah pembelajaran lupa hanya menggunakan contoh negatif, jadi kaedah itu pada peringkat awal. Tetapi walaupun begitu, melupakan pembelajaran masih boleh mencapai prestasi penjajaran yang serupa dengan RLHF

Apa yang perlu ditulis semula ialah: Jadual kedua

Apa yang perlu ditulis semula: Gambar kali keempat menunjukkan pengiraan , kaedah ini hanya memerlukan 2% daripada masa pengiraan RLHF.

🎜Apa yang perlu ditulis semula: Gambar keempat🎜🎜

Walaupun hanya dengan sampel negatif, kaedah menggunakan pembelajaran melupakan boleh mencapai kadar yang tidak berbahaya setanding dengan RLHF dan hanya menggunakan 2% daripada kuasa pengkomputeran. Oleh itu, jika matlamatnya adalah untuk berhenti mengeluarkan kandungan berbahaya, melupakan pembelajaran adalah lebih cekap daripada RLHF

Kesimpulan

Kajian ini adalah yang pertama meneroka pembelajaran melupakan tentang LLM. Penemuan menunjukkan bahawa belajar melupakan adalah pendekatan yang menjanjikan untuk penjajaran, terutamanya apabila pengamal kekurangan sumber. Kertas itu menunjukkan tiga situasi: melupakan pembelajaran boleh berjaya memadamkan balasan berbahaya, memadam kandungan yang melanggar dan menghapuskan ilusi. Penyelidikan menunjukkan bahawa walaupun dengan hanya sampel negatif, melupakan pembelajaran masih boleh mencapai kesan penjajaran yang serupa dengan RLHF menggunakan hanya 2% daripada masa pengiraan RLHF

Atas ialah kandungan terperinci 2% daripada kuasa pengkomputeran RLHF digunakan untuk menghapuskan keluaran berbahaya LLM, dan Byte mengeluarkan teknologi pembelajaran pelupa. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!