Mengintegrasikan lebih daripada 200 kajian berkaitan, semakan terkini model besar 'pembelajaran sepanjang hayat' ada di sini

Die AIxiv-Kolumne ist eine Kolumne, in der akademische und technische Inhalte auf dieser Website veröffentlicht werden. In den letzten Jahren sind in der AIxiv-Kolumne dieser Website mehr als 2.000 Berichte eingegangen, die Spitzenlabore großer Universitäten und Unternehmen auf der ganzen Welt abdecken und so den akademischen Austausch und die Verbreitung wirksam fördern. Wenn Sie hervorragende Arbeiten haben, die Sie teilen möchten, können Sie gerne einen Beitrag leisten oder uns für die Berichterstattung kontaktieren. Einreichungs-E-Mail: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com

Die Autoren dieses Artikels stammen alle aus dem Team von Professor Ma Qianli von der South China University of Technology, und ihr Labor ist maschinelles Lernen und Data Dig the lab. Die drei Co-Erstautoren der Arbeit sind der Doktorand Zheng Junhao, der Masterstudent Qiu Shengjie und der Masterstudent Shi Chengming. Ihre Hauptforschungsrichtungen umfassen große Modelle und lebenslanges Lernen. Der korrespondierende Autor ist Professor Ma Qianli (Mitherausgeber von IEEE/). ACM TASLP). In den letzten Jahren hat das Team von Professor Ma Qianli zahlreiche Forschungsarbeiten im Zusammenhang mit Zeitreihen/NLP/Empfehlungssystem in renommierten internationalen Fachzeitschriften (wie TPAMI usw.) und auf führenden internationalen akademischen Konferenzen (wie NeurIPS, AAAI, IJCAI, ACL, Umfangreiche Kooperationen mit namhaften Universitäten und wissenschaftlichen Forschungseinrichtungen im In- und Ausland.

Da die Anwendung großer Sprachmodelle in verschiedenen Bereichen immer weiter zunimmt, stellt sich die Frage, wie diese Modelle in die Lage versetzt werden können, sich kontinuierlich an Änderungen in Daten, Aufgaben und Benutzerpräferenzen anzupassen zu einem zentralen Thema werden. Herkömmliche Trainingsmethoden für statische Datensätze können den dynamischen Anforderungen der realen Welt nicht mehr gerecht werden.

Um diese Herausforderung zu lösen, wurde die Technologie des lebenslangen Lernens oder des kontinuierlichen Lernens ins Leben gerufen. Es ermöglicht großen Sprachmodellen, während ihres Arbeitslebens kontinuierlich zu lernen und sich anzupassen, zuvor erlernte Informationen beizubehalten und gleichzeitig neues Wissen zu integrieren und katastrophales Vergessen (katastrophales Vergessen) zu verhindern.

Kürzlich untersuchten, organisierten und fassten Forscher der South China University of Technology die Methode des lebenslangen Lernens und ihre Entwicklungsaussichten für große Sprachmodelle (LLMs) zusammen und fassten sie zusammen eine umfassende und aktuelle Rezension.

• Papiertitel: Towards Lifelong Learning of Large Language Models: A Survey
• Institution: Südchina University of Technology University
• Papieradresse: https://arxiv.org/abs/2406.06391
• Projektadresse: https://github .com/ qianlima-lab/awesome-lifelong-learning-methods-for-llm

Abbildung 1 zeigt die Anwendung von lebenslangem Lernen in großer Sprache Modelle Analogie zum menschlichen Lernprozess. Die Abbildung zeigt die Entwicklung des Menschen und großer Sprachmodelle beim lebenslangen Lernen über zwei parallele Lernpfade.

Menschliches Lernen

1. Gehen: Der Mensch beginnt mit dem Lernen von den grundlegendsten Fähigkeiten (wie dem Gehen).

2. Fahrrad fahren: Mit fortschreitendem Lernen erlernen Menschen komplexere Fähigkeiten (z. B. Fahrradfahren).

3. Auto fahren: Mit der Zeit können Menschen komplexere und fortgeschrittenere Fähigkeiten erlernen (z. B. Autofahren).

Jeder Schritt stellt den Prozess dar, durch den Menschen im lebenslangen Lernprozess weiterhin neue Fähigkeiten und Kenntnisse erwerben.

Großes Sprachmodelllernen (LLMs Learning)

1. Neue Sprache (Neu Sprache): Große Sprachmodelle beginnen mit dem Erlernen neuer Sprachen (z. B. dem Erlernen der Verarbeitung verschiedener natürlicher Sprachen).

2. Neue Domäne: Als nächstes lernt das Modell neues Domänenwissen (z. B. die Erweiterung von der Verarbeitung natürlicher Sprache bis zum medizinischen Bereich).

3. Neue Informationen: Letztendlich kann das Modell neue Informationen lernen und integrieren, egal ob es sich um Sprache oder Domäne handelt.

Jeder Schritt stellt den Prozess des großen Sprachmodells dar, das Wissen im lebenslangen Lernprozess kontinuierlich zu erweitern und zu aktualisieren. Dieses Diagramm betont den Prozess des lebenslangen Lernens: Lebenslanges Lernen ist ein kontinuierlicher Prozess, der eine schrittweise Entwicklung von der Grundausbildung zur Fortgeschrittenen umfasst. Lebenslanges Lernen ist nicht nur eine einfache Anhäufung von Wissen, sondern ein dynamischer und sich entwickelnder Prozess.

In den letzten Jahren ist lebenslanges Lernen zu einem immer beliebteren Forschungsthema geworden, und es sind groß angelegte Umfragen zum lebenslangen Lernen neuronaler Netze entstanden. Die meisten vorhandenen Forschungsarbeiten konzentrieren sich hauptsächlich auf verschiedene Anwendungsszenarien des lebenslangen Lernens von Faltungs-Neuronalen Netzen (CNN) und des lebenslangen Lernens von graphischen neuronalen Netzen. Allerdings konzentriert sich nur ein kleiner Teil der Literatur auf das lebenslange Lernen von Sprachmodellen. Obwohl einige neuere Übersichten die neueste Literatur zum lebenslangen Lernen gesammelt haben, deckt keine davon Szenarien wie kontinuierliche Textklassifizierung, kontinuierliche Erkennung benannter Entitäten, kontinuierliche Beziehungsextraktion und kontinuierliche maschinelle Übersetzung ab. Auch über abrufbasiertes lebenslanges Lernen wird wenig diskutiert .

Dieser Review ist die erste umfassende und systematische Untersuchung lebenslanger Lernmethoden für große Sprachmodelle ausgehend von 12 Szenarien.

Insgesamt umfassen die Hauptbeiträge der Rezension:

• Romanklassifizierung: Einführung Es wurde ein detaillierter strukturierter Rahmen entwickelt, der die umfangreiche Literatur zum lebenslangen Lernen in 12 Szenarien unterteilt.
• Universelle Techniken: Gemeinsame Techniken für alle Situationen des lebenslangen Lernens wurden identifiziert und präsentiert. Die Literatur ist in verschiedene unterteilt technische Gruppen in jedem Szenario;
• Zukünftige Richtungen: Schwerpunkt auf einigen neuen Technologien wie Modellerweiterung und Datenauswahl, die in der Zeit vor LLM weniger erforscht wurden.

1. Einleitung

Diese Rezension ist systematisch zusammengefasst Die vorhandenen Technologiemethoden für lebenslanges Lernen sind in zwei Kategorien unterteilt: internes Wissen und externes Wissen in Abbildung 2.

• Pengetahuan dalaman merujuk kepada penyerapan pengetahuan baharu ke dalam parameter model melalui latihan penuh atau separa, termasuk pra-latihan berterusan dan penalaan halus berterusan.
• Pengetahuan luaran merujuk kepada menggabungkan pengetahuan baharu daripada sumber luaran seperti Wikipedia atau antara muka program aplikasi ke dalam model tanpa mengemas kini parameter model, termasuk pembelajaran sepanjang hayat berasaskan pengambilan dan Alat untuk pembelajaran sepanjang hayat.
  
  

Pengetahuan Dalaman

1 🎜>

• Pralatihan Domain Menegak Berterusan: untuk bidang menegak tertentu (seperti kewangan, perubatan dll.).
• Pralatihan Domain Bahasa Berterusan: Pralatihan berterusan untuk bahasa semula jadi dan bahasa kod.
• Pralatihan Domain Temporal Berterusan: Pralatihan berterusan untuk data berkaitan masa (seperti data siri masa).

2. Penalaan Berterusan:

• Khusus Tugas:

• Pengkelasan Teks Berterusan: Untuk tugas pengelasan teks Penalaan halus berterusan.
• Pengiktirafan Entiti Dinamakan Berterusan: Penalaan halus berterusan untuk tugas pengecaman entiti dinamakan.
• Pengeluaran Hubungan Berterusan: Penalaan halus berterusan untuk tugas pengekstrakan hubungan.
• Terjemahan Mesin Berterusan: Penalaan halus berterusan untuk tugas terjemahan mesin.

• Agnostik Tugasan:

• Pelajaran Arahan Berterusan: Pembelajaran berterusan model dicapai melalui penalaan halus arahan.
• Pengeditan Pengetahuan Berterusan: Pembelajaran berterusan untuk pengemaskinian pengetahuan.
• Penjajaran Berterusan: Pembelajaran berterusan untuk menjajarkan model dengan tugasan baharu.

Pengetahuan Luaran (External Knowledge)

1. Pembelajaran Sepanjang Hayat Berasaskan Retrieval: Pembelajaran sepanjang hayat dicapai dengan mendapatkan semula asas pengetahuan luaran.

2. Pembelajaran Sepanjang Hayat Berasaskan Alat: Pembelajaran sepanjang hayat dicapai dengan memanggil alat luaran.

2. Gambaran Keseluruhan Pembelajaran Sepanjang Hayat

2.1 Definisi Masalah

Matlamat pembelajaran sepanjang hayat adalah untuk mempelajari model bahasa daripada satu siri tugasan dan menjana output sasaran dengan memasukkan bahasa semula jadi. Khususnya, untuk tugasan penjanaan, seperti soal jawab, input dan output masing-masing mewakili soalan dan jawapan untuk tugasan terjemahan mesin, input dan output mewakili bahasa sumber dan bahasa sasaran, input ialah kandungan teks dan output ialah label kategori; Untuk tugas pra-latihan model bahasa autoregresif, input ialah siri token, dan output ialah token seterusnya yang sepadan.

2.2 Penunjuk Penilaian

Gambaran keseluruhan memperkenalkan penilaian sepanjang hayat Penunjuk kesan pembelajaran dinilai terutamanya daripada tiga perspektif: prestasi keseluruhan, kestabilan dan kebolehsuaian:

• Pengukuran Keseluruhan: termasuk Purata ketepatan (AA) dan purata ketepatan tambahan (AIA). AA merujuk kepada prestasi purata model selepas mempelajari semua tugasan, manakala AIA mengambil kira perubahan sejarah selepas mempelajari setiap tugasan.
• Pengukuran Kestabilan: termasuk pengukuran lupa (FGT) dan pemindahan ke belakang (BWT). FGT menilai penurunan prestasi purata tugas lama, manakala BWT menilai perubahan prestasi purata tugas lama.
• Pengukuran Keplastikan: termasuk pemindahan ke hadapan (FWD), iaitu purata peningkatan dalam prestasi model pada tugasan baharu.

2.3 Teknologi am

Ringkasan dalam Rajah 3 Empat kaedah pembelajaran sepanjang hayat utama ditunjukkan untuk menangani masalah melupakan bencana model bahasa besar apabila memproses tugasan berterusan (Task

t-1 to Task t). Berikut ialah penjelasan bagi setiap kaedah:

(a) Kaedah Berasaskan Ulangan:

• Maksud: Kaedah ini digunakan apabila melatih tugas baharu Main semula data daripada tugasan sebelumnya untuk menyatukan ingatan model terhadap tugas lama. Biasanya, data yang dimainkan semula disimpan dalam penimbal dan digunakan untuk latihan bersama-sama dengan data tugas semasa. Terutamanya termasuk:

– Pengalaman Main Semula: Kurangkan lupa dengan menyimpan sebahagian daripada sampel data tugas lama dan menggunakan semula data ini untuk latihan apabila melatih tugasan baharu.

–Ulang Ulang Generatif: Tidak seperti menyimpan data lama, kaedah ini menggunakan model generatif untuk mencipta sampel pseudo, dengan itu memperkenalkan pengetahuan tentang tugas lama ke dalam latihan tugasan baharu.

• Ilustrasi: Rajah 3 menunjukkan proses daripada Tugasan t-1 kepada Tugasan t Model sedang melatih Tugasan Apabila t , data lama dalam penimbal (Input t-1 ) digunakan.

(b) Kaedah Berasaskan Regularization:

• Maksud: Kaedah ini menghalang model daripada melaraskan parameter tugas lama secara berlebihan apabila mempelajari tugasan baharu dengan mengenakan kekangan penyelarasan pada parameter model. Kekangan penyelarasan boleh membantu model mengekalkan ingatan tugas lama. Terutamanya termasuk:

– Penyelarasan Berat: Dengan mengenakan kekangan tambahan pada parameter model, ia mengehadkan pengubahsuaian pemberat penting apabila melatih tugas baharu, dengan itu melindungi integriti tugas lama. Sebagai contoh, regularization L2 dan Elastic Weight Consolidation (EWC) adalah teknik biasa.

–Penyaturan Ciri: Penyelarasan bukan sahaja boleh bertindak pada pemberat, tetapi juga memastikan pengagihan ciri antara tugas baharu dan lama kekal stabil dengan mengehadkan prestasi model dalam ruang ciri.

• Ilustrasi: Rajah 3 menunjukkan proses daripada Tugasan t-1 kepada Tugasan t Model sedang melatih Tugasan Apabila t , penyelarasan parameter digunakan untuk mengekalkan prestasi pada Tugasan t-1.

(c) Kaedah Berasaskan Seni Bina:

• Maksud: Pendekatan ini memberi tumpuan kepada menyesuaikan struktur model untuk menyepadukan tugas baharu dengan lancar sambil meminimumkan gangguan terhadap pengetahuan yang dipelajari sebelumnya. Ia terutamanya merangkumi enam kaedah dalam Rajah 4:

–(a) Penalaan Segera: Dengan menambahkan "Gesaan Lembut" sebelum input model , untuk membimbing penjanaan model atau tugas pengelasan. Kaedah ini hanya memerlukan pelarasan sebilangan kecil parameter (iaitu perkataan gesaan) tanpa mengubah struktur tulang belakang model.

–(b) Penalaan Awalan: Tambahkan parameter boleh laras terlatih pada bahagian awalan jujukan input Parameter ini dimasukkan ke dalam mekanisme perhatian kendiri lapisan Transformer untuk membantu model Menangkap maklumat kontekstual dengan lebih baik.

–(c) Penyesuaian Peringkat Rendah (LoRA, Penyesuaian Peringkat Rendah): LoRA menyesuaikan diri dengan tugas baharu dengan menambahkan matriks peringkat rendah pada tahap tertentu tanpa mengubah berat utama model besar. Pendekatan ini sangat mengurangkan bilangan pelarasan parameter sambil mengekalkan prestasi model.

–(d) Penyesuai: Penyesuai ialah modul boleh dilatih yang disisipkan di antara lapisan model yang berbeza Modul ini boleh menyesuaikan dengan sebilangan kecil parameter tambahan tanpa mengubah berat model asal. Biasanya digunakan dalam bahagian FFN (Rangkaian Feed Forward) dan MHA (Multi-Head Attention).

–(e) Campuran Pakar: Proses input berbeza dengan mengaktifkan modul "pakar" tertentu secara terpilih, yang boleh menjadi lapisan atau subrangkaian tertentu dalam model. Modul Penghala bertanggungjawab untuk menentukan modul pakar mana yang perlu diaktifkan.

–(f) Pengembangan Model: Kembangkan kapasiti model dengan menambah lapisan baharu (Lapisan Baharu) sambil mengekalkan lapisan asal (Lapisan Lama). Pendekatan ini membolehkan model meningkatkan kapasitinya secara beransur-ansur untuk menampung keperluan tugas yang lebih kompleks.

• Ilustrasi: Rajah 3 menunjukkan proses daripada Tugasan t-1 kepada Tugasan t Apabila model mempelajari tugasan baharu, beberapa parameter Dibekukan. manakala modul yang baru ditambah digunakan untuk melatih tugasan baharu (Boleh Dilatih).

(d) Kaedah Berasaskan Penyulingan:

• Maksud: Kaedah ini memindahkan pengetahuan model lama kepada model baharu melalui penyulingan pengetahuan. Apabila melatih tugasan baharu, model baharu bukan sahaja mempelajari data tugasan semasa, tetapi juga meniru output model lama untuk tugas lama, dengan itu mengekalkan pengetahuan tugas lama. Terutamanya termasuk:

– Penyulingan daripada Data Baharu: Model pelajar mempelajari tugas baharu di bawah bimbingan model guru dan menyaring data lama Pengetahuan model kepada kurangkan melupakan ilmu lama.

– Penyulingan daripada Data Lama: Gunakan prestasi model guru pada data lama untuk membimbing model pelajar mempelajari tugasan baharu, seterusnya mengekalkan data lama Kesan pengetahuan .

– Penyulingan daripada Data Pseudo-Old: Dengan menjana data pseudo-old (Data Pseudo-Old), model pelajar boleh mempelajari tugasan baharu Mengekalkan ingatan pengetahuan lama hidup .

• Ilustrasi: Rajah 3 menunjukkan peralihan daripada Tugasan t-1 kepada Tugasan t Dalam proses, apabila model melatih tugas baru, ia mengekalkan pengetahuan tugas lama dengan meniru hasil ramalan model lama.

3. Pra-latihan berterusan

Pra latihan berterusan. -latihan Pengetahuan dalaman model bahasa besar boleh dikemas kini tanpa menanggung kos tinggi pra-latihan komprehensif, dengan itu meningkatkan keupayaan model bahasa besar. Penyelidikan semasa merangkumi domain menegak, linguistik dan temporal, menangani isu yang sukar seperti pelupaan bencana dan penyesuaian temporal. Teknologi seperti main semula pengalaman, penyulingan pengetahuan, penalaan halus parameter yang cekap, pengembangan model dan pemanasan semula telah menunjukkan prospek yang baik.

3.1 Pra-latihan medan menegak berterusan

Pra medan menegak berterusan -latihan (Pralatihan Domain Menegak Berterusan) bertujuan untuk memastikan model berfungsi dengan baik dalam berbilang medan menegak atau tugas dengan melatih model bahasa secara berterusan pada siri set data khusus domain, sambil mengekalkan pengetahuan yang diperoleh sebelum ini.

Kaedah utama:

1 >

Contoh: CorpusBrain++ menggunakan seni bina penyesuai tulang belakang dan strategi main semula pengalaman untuk menangani tugas bahasa intensif pengetahuan dunia sebenar.

• Contoh: Med-PaLM memperkenalkan penalaan segera arahan dalam bidang perubatan dengan menggunakan sebilangan kecil contoh.

2. Pengembangan Model:

Contoh: ELLE mengguna pakai strategi pengembangan model pemeliharaan ciri untuk meningkatkan kecekapan pemerolehan dan penyepaduan pengetahuan dengan meluaskan lebar dan kedalaman model bahasa sedia ada yang telah dilatih secara fleksibel.

• Contoh: LLaMA Pro cemerlang dalam penggunaan umum, pengaturcaraan dan tugasan matematik dengan memperluaskan blok Transformer dan memperhalusinya dengan korpus baharu.

3. Memanaskan semula:

Contoh: Strategi yang dicadangkan oleh Gupta et al melaraskan kadar pembelajaran apabila memperkenalkan set data baharu untuk mengelakkan kadar pembelajaran daripada menjadi terlalu rendah semasa latihan jangka panjang, dengan itu meningkatkan kesan penyesuaian kepada set data baharu.

4 Pemilihan Data:

Contoh: RHO. -1 dilatih dengan Model Bahasa Terpilih (SLM), yang mengutamakan token yang mempunyai kesan yang lebih besar pada proses latihan.

• Contoh: EcomGPT-CT meningkatkan prestasi model pada tugas khusus domain dengan data e-dagang separa berstruktur.

3.2 Pra-latihan dalam domain bahasa berterusan

Pralatihan domain bahasa berterusan (Continual Language Domain Pretraining) bertujuan untuk membolehkan model bahasa menyepadukan data baharu secara berterusan dan menyesuaikan diri dengan domain bahasa yang berubah tanpa melupakan pengetahuan sebelumnya.

Kaedah utama:

1 .

Contoh: ModuleFormer dan Lifelong-MoE menggunakan gabungan pendekatan pakar (MoE) untuk meningkatkan kecekapan dan kebolehsuaian LLM melalui modulariti dan peningkatan kapasiti model secara dinamik.

2. 再ウォーミング:

• 例: Ibrahim らによって提案されたリウォーミング手法は、新しいデータをトレーニングするときに学習率を一時的に高めることで、モデルが新しい言語に迅速に適応できるようにします。

3.3 連続時間領域事前トレーニング

連続time 継続的時間ドメイン事前トレーニングには、時間に敏感なデータに対する精度と関連性を維持するために、言語モデルを継続的に更新することが含まれます。

主な課題:

1. パフォーマンスの低下: Lazaridou らの研究では、将来のデータのモデル パフォーマンスが大幅に低下し、時間的一般化における LLM の困難さが浮き彫りになります。

2. 限定的な改善: Röttger らは、純粋なドメイン適応と比較して、時間的適応ではマスク言語モデル タスクがわずかに改善されるものの、下流タスクのパフォーマンスの向上は顕著ではないことを発見しました。

これらの方法と研究を通じて、著者はさまざまな次元での継続的な事前トレーニングの方法と課題を実証し、垂直領域、言語領域、時間領域での応用を強調します。生涯学習の必要性と有効性。

4. 継続的な微調整

継続的な事前トレーニングにより内部機能を強化できます大規模言語モデルの知識、これに基づいた継続的な微調整により、大規模言語モデルの内部知識が強化され、テキスト分類、固有表現認識、関係抽出、機械翻訳、または一般的な生成タスクなどの特定のタスクに大規模言語モデルが適応されます。指導の調整、知識など人間の好みに合わせて編集されています。壊滅的な忘却やタスクへの干渉などの課題に対処するために、蒸留、再生、正則化、アーキテクチャベース、勾配ベースの手法などの手法が採用されています。著者らは、図 5 に 7 つの連続した微調整シナリオを示しています。

Rajah ini menunjukkan bagaimana tujuh jenis tugasan yang berbeza dilaksanakan dalam model bahasa yang besar melalui pembelajaran berterusan. Berikut ialah penjelasan terperinci bagi setiap bahagian:

(a) Klasifikasi Teks Berterusan

• Contoh: Tugas pengelasan teks berterusan melatih model dengan memperkenalkan secara beransur-ansur kategori pengelasan baharu (seperti Niat: Pemindahan -> Niat: Skor Kredit -> Niat: Fakta Seronok) supaya ia boleh menyesuaikan diri dengan keperluan klasifikasi yang berubah-ubah.

(b) Pengiktirafan Entiti Dinamakan Berterusan

• Contoh : Tugasan pengecaman entiti bernama berterusan menunjukkan cara memperkenalkan jenis entiti baharu secara beransur-ansur (seperti Atlet -> Pasukan Sukan -> Ahli Politik) sambil mengiktiraf entiti tertentu, supaya model masih boleh mengekalkan pengiktirafan entiti lama sambil mengiktiraf keupayaan baharu .

(c) Pengekstrakan hubungan berterusan

• Contoh: Tugas pengekstrakan perhubungan berterusan menunjukkan cara model secara beransur-ansur mengembangkan keupayaan pengekstrakan perhubungannya dengan terus memperkenalkan jenis perhubungan baharu (seperti Perkaitan: Ditubuhkan Oleh -> Perhubungan: Negeri atau Wilayah Lahir -> Perhubungan: Negara Ibu Pejabat).

(d) Pengeditan pengetahuan berterusan

• Contoh: Tugas penyuntingan pengetahuan yang berterusan memastikan ia dapat menjawab fakta terkini dengan tepat dengan mengemas kini pangkalan pengetahuan model secara berterusan (seperti Siapakah presiden AS? -> Kelab manakah yang dimainkan oleh Cristiano Ronaldo? -> Di manakah Musim Sejuk yang lalu Olimpik diadakan?).

(e) Terjemahan mesin berterusan

• Contoh: Tugas terjemahan mesin yang berterusan menunjukkan kebolehsuaian model dalam persekitaran berbilang bahasa dengan mengembangkan secara beransur-ansur keupayaan terjemahan model ke dalam bahasa berbeza (seperti Inggeris -> Cina, Inggeris -> Sepanyol, Inggeris -> Perancis).

(f) Penalaan halus arahan berterusan

• Contoh: Tugasan penalaan halus arahan berterusan melatih keupayaan prestasi model dalam pelbagai jenis tugasan dengan memperkenalkan jenis arahan baharu secara beransur-ansur (seperti Ringkasan -> Pemindahan Gaya -> Matematik).

(g) Penjajaran berterusan

• Contoh: Berterusan Tugas penjajaran menunjukkan keupayaan pembelajaran berterusan model di bawah piawaian moral dan tingkah laku yang berbeza dengan memperkenalkan matlamat penjajaran baharu (seperti Membantu dan Tidak Memudaratkan -> Ringkas dan Tersusun -> Sentimen Positif).

5. dan Penalaan halus yang berterusan adalah penting untuk pembelajaran sepanjang hayat LLM Walau bagaimanapun, apabila LLM menjadi lebih besar dan lebih berkuasa, dua arah yang muncul semakin popular Mereka boleh melakukan parameter model bahasa yang besar tanpa mengubahnya model bahasa yang besar. Penulis menganggap pembelajaran sepanjang hayat berasaskan perolehan dan pembelajaran sepanjang hayat berasaskan alat kerana kedua-dua pendekatan adalah cara yang menjanjikan untuk mencapai pembelajaran sepanjang hayat dalam LLM. Rajah 6 menggambarkan kedua-dua pendekatan.

検索ベースの生涯学習

• はじめに: 世界中の情報が増え続ける中、スケールアップと進化過去のデータに基づいてトレーニングされた静的モデルはすぐに古くなり、新しい開発に関するコンテンツを理解したり生成したりできなくなります。検索ベースの生涯学習は、大規模な言語モデルが外部ソースから最新の知識を取得して吸収するという重要なニーズに対応し、モデルは必要に応じてこれらの外部リソースを取得することで知識ベースを補完または更新します。これらの外部リソースは、現在の大規模な知識ベースを提供し、事前トレーニングされた LLM の静的特性を強化するための重要な補完的な資産を提供します。
• 例: 図内のこれらの外部リソースは、モデルからアクセスおよび取得できます。ウィキペディア、書籍、データベースなどの外部情報ソースにアクセスすることで、モデルは知識を更新し、新しい情報に遭遇したときに適応することができます。

ツールベースの生涯学習

• はじめに: ツールベースの生涯学習は、その機能を静的な知識を超えて拡張し、環境と動的に対話できるようにする必要性から生まれました。実際のアプリケーションでは、モデルは多くの場合、直接的なテキストの生成や解釈を超える操作を含むタスクを実行する必要があります。
• 例: 図のモデルは、これらのツールを使用して自身の機能を拡張および更新し、外部ツールとの対話を通じて生涯学習を可能にします。たとえば、モデルはアプリケーション プログラミング インターフェイスを通じてリアルタイム データを取得したり、物理ツールを通じて外部環境と対話して特定のタスクを完了したり、新しい知識を取得したりできます。

6. 議論と結論

6.1 主な課題

• 壊滅的な忘却: これは生涯学習の中核的な課題の 1 つであり、新しい情報の導入により上書きされる可能性があります。モデルが以前に学習したこと。
• 可塑性と安定性のジレンマ: モデルの学習能力と安定性の維持の間のバランスを見つけることが非常に重要であり、これはモデルが新しい知識を保持しながら新しい知識を獲得する能力に直接影響します。幅広い一般的な能力。
• 高額な計算コスト: 大規模な言語モデルを完全に微調整するための計算要件は非常に高くなる可能性があります。
• モデルの重みや事前トレーニングされたデータが利用できない: プライバシー、独自の制限、または商用ライセンスのため、生のトレーニング データやモデルの重みは、さらなる改善のために利用できないことがよくあります。

6.2 現在の傾向

• 特定のタスクから一般的なタスクへ: 研究は、特定のタスク (テキスト分類、固有表現認識など) から、命令調整、知識編集などのより広範囲の一般的なタスクに徐々に移行していきます。
• 完全な微調整から部分的な微調整へ: 完全な微調整、部分的な微調整戦略 (アダプター層、プロンプト チューニング、 LoRA) の人気はますます高まっています。
• 内部知識から外部知識へ: 頻繁な内部更新の制限を克服するために、検索拡張生成やツールなどの外部知識ソースを使用する戦略が増えています。学習によりモデルが可能になります。現在の外部データに動的にアクセスして活用します。

6.3 今後の方向性

• マルチモーダル生涯学習: テキストを超えた複数のモダリティ (画像、ビデオ、オーディオ、時系列データ、ナレッジ グラフなど) を生涯学習に統合し、より包括的で適応性のある性モデルを開発します。
• 効率的な生涯学習: 研究者たちは、モデルの枝刈り、モデルの結合、モデルの拡張、その他の方法など、モデルのトレーニングと更新の計算要件を管理するためのより効率的な戦略の開発に取り組んでいます。
• 普遍的な生涯学習: 最終的な目標は、大規模な言語モデルが、静的なデータセットのみに依存することなく、新しい知識を積極的に獲得し、環境との動的な相互作用を通じて学習できるようにすることです。

6.4 結論

著者は既存の研究を分割するinto それは、12 の生涯学習シナリオの包括的な概要を提供します。この分析はまた、壊滅的な忘却の管理、計算効率の確保、知識獲得における特異性と一般性の間のバランスを維持する必要性を強調しています。この分野が進化し続けるにつれて、これらの高度な戦略の統合は、次世代の人工知能システムを形成する上で重要な役割を果たし、真に人間のような学習と適応能力の実現に近づくのに役立ちます。

これらの技術的アプローチとそれぞれのカテゴリの詳細な研究を通じて、このレビューは、生涯学習ツールへの生涯学習機能の統合を強調し、それによって現実世界を強化することを目的としています。アプリケーションの適応性、信頼性、全体的なパフォーマンス。同時に、研究者やエンジニアに、生涯学習テクノロジーをより深く理解して適用し、大規模な言語モデルのさらなる開発を促進するための包括的な視点を提供します。記事に興味があれば、元の論文をチェックして研究の詳細を学ぶことができます。

Atas ialah kandungan terperinci Mengintegrasikan lebih daripada 200 kajian berkaitan, semakan terkini model besar 'pembelajaran sepanjang hayat' ada di sini. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!