清華社の最新の「継続学習」レビュー。継続学習の理論、方法、応用のレビューを詳しく解説した 32 ページ

一般的な意味では、継続的な学習は致命的な忘れによって明らかに制限されており、新しいタスクを学習すると古いタスクのパフォーマンスが急激に低下することがよくあります。

# これに加え、近年、継続学習の理解と応用を大幅に拡大する開発が増えています。

# この方向に対する関心の高まりと広範な関心は、その実際的な重要性と複雑さを示しています。

紙のアドレス: //m.sbmmt.com/link/82039d16dce0aab3913b6a7ac73deff7

##この記事では、継続的な学習に関する包括的な調査を実施し、基本的な設定、理論的基礎、代表的な方法と実際の応用を結び付けます。 既存の理論的および経験的結果に基づいて、継続的学習の一般的な目標は次のように要約されます: リソース効率の観点から、安定性と可塑性の適切なトレードオフと、適切なタスクのパフォーマンスを確保することタスク内/タスク間の汎化能力。

代表的な戦略が継続学習にどのように対処し、さまざまなアプリケーションの特定の課題にどのように適応するかを広範囲に分析する、最先端の詳細な分類法を提供します。

継続的な学習、多方向の展望、神経科学との学際的なつながりにおける現在の傾向についての徹底的な議論を通じて、この全体的な視点がこの分野やそれを超えた分野を大きく前進させることができると信じています。 -アップ探索。

はじめに

学習は、インテリジェント システムが環境に適応するための基礎です。外界の変化に対応するために、進化により人間や他の生物は高い適応力を持ち、知識を継続的に取得、更新、蓄積、活用できるようになりました [148]、[227]、[322]。当然のことながら、人工知能 (AI) システムも同様の方法で適応すると予想されます。これは、連続学習に関する研究に影響を与えました。一般的な設定では、一連のコンテンツを 1 つずつ学習し、それらを同時に観察したかのように動作します (図 1、a)。これらは、新しいスキル、古いスキルの新しい例、異なる環境、異なる状況などであり、具体的な現実世界の課題が含まれています [322]、[413]。コンテンツは生涯にわたって段階的に提供されるため、多くの文献では継続学習は増分学習または生涯学習とも呼ばれますが、厳密な区別はありません [70]、[227]。

静的データ分散に基づく従来の機械学習モデルとは異なり、継続学習は動的データ分散から学習することを特徴としています。 大きな課題は壊滅的な忘却 [291]、[292] として知られており、新しい分布に適応すると、古い分布を捕捉する能力が大幅に低下することがよくあります。

このジレンマは、学習の可塑性と記憶の安定性の間のトレードオフの 1 つの側面です。前者が多すぎると後者が妨げられ、その逆も同様です。これら 2 つの側面の「比率」のバランスを単に調整するだけでなく、継続学習の理想的なソリューションは、タスク内およびタスク間の分布の違いに適応する強力な汎化機能を実現する必要があります (図 1、b)。単純なベースラインとして、すべての古いトレーニング サンプルを再トレーニングすることで (許可されている場合)、上記の課題を簡単に解決できますが、膨大な計算量とストレージのオーバーヘッド (および潜在的なプライバシー問題) が発生します。実際、継続学習の主な目的は、モデル更新のリソース効率を確保することであり、できれば新しいトレーニング サンプルのみを学習することに近いものです。

上記の課題を解決するために多くの努力が払われてきましたが、概念的には 5 つのグループに分類できます (図 1、c): 古いモデルを参照して正則化項を追加します (正則化-ベースのメソッド)、古いデータ分布の近似と復元 (リプレイベースのアプローチ)、オプティマイザーの明示的な操作 (最適化ベースのアプローチ)、堅牢でよく一般化された表現の学習 (表現ベースのアプローチ)、適切に設計されたアーキテクチャを使用したタスクの構築適応パラメータ (アーキテクチャベースのアプローチ)。この分類法は、一般的に使用されている分類法の最近の進歩を拡張し、各カテゴリーに洗練されたサブ方向性を提供します。これらの方法が提案されている一般的な目標をどのように達成するかを要約し、その理論的基礎と典型的な実装について広範な分析を提供します。特に、正則化とリプレイは最適化において最終的に勾配方向を修正するなど、これらの手法は密接に関連しており、古いモデルから知識を抽出することでリプレイの効果を高めることができるなど、相乗効果が高い。

実際のアプリケーションは、継続学習に特別な課題をもたらします。これは、シーンの複雑さとタスクの特異性に分けられます。たとえば、前者の場合、タスク オラクル (つまり、どのタスクを実行するか) がトレーニングとテストに欠けている可能性があり、トレーニング サンプルが小さなバッチで、または一度に導入される場合もあります。データのラベル付けにはコストと希少性があるため、継続学習はショット数が少なく、半教師あり、さらには教師なしのシナリオでも効果的である必要があります。後者については、現在の進歩は主に視覚的分類に焦点を当てていますが、物体検出、セマンティックセグメンテーション、画像生成などの他の視覚分野、および強化学習（RL）、自然言語処理（NLP）、倫理などの他の関連分野も同様です。 ）の機会と課題について、ますます注目が集まっています。

継続的学習への関心が大幅に高まっていることを考慮すると、この最新かつ包括的な調査によって、その後の取り組みに総合的な視点が得られると考えています。 比較的広範囲をカバーする継続学習に関する初期の調査がいくつかある[70]、[322]が、近年の重要な進歩は含まれていません。対照的に、最近の調査では一般的に、継続学習の生物学的基礎 [148]、[156]、[186]、[227]、および視覚分類のための特殊な設定に関して、継続学習の局所的な側面のみが照合されています [85]、[283]、[ 289]、[346]、および NLP [37]、[206]、または RL [214] の拡張。私たちの知る限り、これは継続的学習における最近の進歩を体系的にまとめた初めての調査です。これらの強みに基づいて、現在のトレンド、多方向の展望 (拡散モデル、大規模な事前トレーニング、ビジュアル トランスフォーマー、身体化 AI、ニューラル圧縮など) に関する継続的学習についての詳細な議論を提供します。神経科学との学際的なつながり。

主な貢献内容は次のとおりです。

(1) の最新かつ包括的なレビュー。継続的学習 、理論、方法、応用の進歩を結び付ける;

(2) 既存の理論的および経験的結果に基づいて、継続的学習の一般的な目標は次のとおりです。概要と代表的な戦略の詳細な分類;

#(3) 現実世界のアプリケーションの特別な課題をシーンの複雑さとタスクの特異性に分割し、広範な分析を行う継続的な学習戦略がこれらの課題にどのように適応するかについて説明します。; 。

この文書は次のように構成されています。 セクション 2 では、基本的な公式、典型的なシナリオ、評価指標を含む継続学習の設定を紹介します。セクション 3 では、一般的な目標を伴う継続学習に関するいくつかの理論的取り組みを要約します。セクション 4 では、代表的な戦略を最新かつ詳細に分類し、その動機と典型的な実装を分析します。セクション 5 と 6 では、これらの戦略がシーンの複雑さとタスクの特異性という現実世界の課題にどのように適応するかについて説明します。セクション 7 では、現在の傾向、神経科学における横断的な方向性と学際的なつながりの見通しについて説明します。

# このセクションでは、代表的な継続学習方法の分類について詳しく説明します (図 3 および図 1、c を参照)。 、そしてそれらの主な動機、典型的な実装、および経験的特性を広範囲に分析します。

#正則化ベースの方法

この方向性の特徴は、古いタスクと新しいタスクのバランスを取るために明示的な正則化項を追加することであり、多くの場合、参照用に古いモデルの凍結コピーを保存する必要があります (図 4 を参照)。正則化の目的に応じて、そのような方法は 2 つのカテゴリに分類できます。

リプレイベースの方法

# 古いデータ分布を近似および復元するためのメソッドをこの方向にグループ化します (図 5 を参照)。再生の内容に応じて、これらの方法はさらに 3 つのサブ方向に分類でき、それぞれに独自の課題があります。

最適化ベースの方法

継続的な学習は、損失関数に追加の項 (正則化や再生など) を追加するだけでなく、最適化手順を明示的に設計して操作することによっても実現できます。

表現ベースのメソッド

継続学習表現を作成および利用する方法は、このカテゴリに分類されます。メタトレーニング [185] を通じてスパース表現を取得するという初期の研究に加えて、最近の研究では、自己教師あり学習 (SSL) [125]、[281]、[335] と大規模な事前トレーニング [295] を組み合わせることが試みられています。 ]、[380]、[456] を使用して、初期化および継続的な学習における表現を改善します。事前トレーニング データは多くの場合巨大で明示的にラベル付けされていない一方、SSL 自体のパフォーマンスは主に (一連の) 下流タスクを微調整することによって評価されるため、これら 2 つの戦略は密接に関連していることに注意してください。以下では、代表的なサブディレクションについて説明します。

アーキテクチャベースのアプローチ

##上記の戦略は、共有パラメーター セット (つまり、単一のモデルとパラメーター空間) を使用してすべての増分タスクを学習することに主に焦点を当てており、これがタスク間干渉の主な原因です。代わりに、タスク固有のパラメーターを構築することで、この問題を明示的に解決できます。以前の研究では、通常、ネットワーク アーキテクチャが固定されているかどうかに基づいて、この方向性をパラメータ分離と動的アーキテクチャに分けていました。このペーパーでは、タスク固有のパラメーターを実装する方法に焦点を当て、上記の概念をパラメーターの割り当て、モデルの分解、およびモジュラー ネットワークに拡張します (図 8)。

以上が清華社の最新の「継続学習」レビュー。継続学習の理論、方法、応用のレビューを詳しく解説した 32 ページの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。