生物学的ネットワークのように「成長」し、「構造可塑性」を持つ自己組織化ニューラルネットワークが登場

生物学的ニューラルネットワーク 重要な特徴は、自然生物に優れた適応性を持たせる高度な可塑性であり、この能力は神経系のシナプス強度とトポロジーに影響を与えます。

ただし、人工ニューラル ネットワークは主に静的で完全に接続された構造として設計されており、変化する環境や新しい入力に直面すると非常に脆弱になる可能性があります。研究者はオンライン学習とメタ学習について広範な研究を行ってきましたが、バックプロパゲーションと組み合わせるとより簡単になるため、現在の最先端のニューラル ネットワーク システムでは依然としてオフライン学習が使用されています。

それでは、人工ニューラルネットワークも高い可塑性と同様の特性を持つことができるのでしょうか?

コペンハーゲン情報技術大学の研究チームは、活動と報酬に依存した方法でシナプスと構造の可塑性を達成できる自己組織化ニューラルネットワーク-LNDPを提案しました。

• 論文リンク: https://arxiv.org/pdf/2406.09787

• プロジェクトリンク: https://github.com/erwanplantec/LNDP

2023 年、Najarro らは神経発達プログラム (NDP) モデルを提案しました。しかし、NDP は環境問題以前の段階までに時間が限られています。そこで、コペンハーゲン情報技術大学の研究チームは、NDP フレームワークを拡張することでこの制限に対処しました。

具体的には、研究チームは、エージェントのライフサイクル中に可塑性と構造変化を達成できるメカニズム、つまり LNDP (生涯神経発達プログラム) を提案しました。このメカニズムは、人工ニューラル ネットワーク内の各ニューロンのローカルな活動と環境のグローバルな報酬関数に依存して、ローカルな計算を実行することによって実装されます。 LNDP は人工ニューラル ネットワークを可塑的にし、間接的な発達エンコーディングとメタ学習の可塑性ルールを橋渡しします。

LNDP は、ニューラルおよびシナプスのダイナミクスを定義し、人工ニューラル ネットワークを構造的に可塑化する (つまり、シナプスを動的に追加または削除できる) ように設計されたパラメーター化されたコンポーネントのセットで構成されています。

研究チームは、生物学的自発活動（SA）に触発されて、システムをさらに拡張し、感覚ニューロンの学習確率過程モデルSAの単純なデータを使用して、事前経験の発達を実現できるメカニズムを導入しました。一部のコンポーネントを再利用可能にします。研究チームは、Graph Transformer レイヤー (Dwivedi and Bresson、2021) に基づく LNDP インスタンスを提案し、一連の強化学習タスクに対して共分散行列適応進化戦略 (CMA-ES) を使用して最適化した LNDP を提案しました。

具体的には、この研究では 3 つの古典的な制御タスク (Cartpole、Acrobot、Pendulum) と、非定常ダイナミクスを伴う収集タスク (Foraging) を使用しました。これらのタスクには、エージェントにライフサイクル適応性が必要です。

要約すると、研究チームは、ランダムに接続された (または空の) ニューラル ネットワークから開始して、LNDP が自己組織化して、アクティビティおよび経験に依存した方法で機能的なネットワークを形成し、制御タスクを効果的に解決することを実証しました。

この研究は、急速な適応が必要な環境や、継続的な適応が必要な非定常的な力学が存在する環境において、構造の可塑性が結果を改善できることも示しています。さらに、この研究は、機能単位へのネットワーク自己組織化における環境前の自発的活動によって促進される発達段階の有効性を実証しています。

研究チームは、すべてのタスクについて SP モデル (構造可塑性のあるモデル) と非 SP モデル (構造可塑性のないモデル) の違いをテストしました。結果は以下の図 2 に示されています。

비정상 역학을 사용한 수집 작업(Foraging)에서 연구팀은 SP 모델이 항상 비SP 모델보다 더 높은 평균 적합도를 달성했으며 두 모델은 비슷한 최대 적합도에 도달했음을 발견했습니다. 이는 SP가 고정되지 않은 상황에서 더 나은 적응성을 갖는다는 것을 보여줍니다.

CartPole 환경에서는 특히 SA가 없는 모델은 처음부터 좋은 성과를 내기 어려운 반면, SA가 있는 모델은 처음부터 문제를 해결하는 고유한 능력을 보여줍니다. 이는 보상에 의존하지 않고 자체 조직화되는 방식으로 목표 기능 네트워크를 달성하는 모델의 능력을 보여줍니다.

자세한 연구 내용은 원문을 참고해주세요.

以上が生物学的ネットワークのように「成長」し、「構造可塑性」を持つ自己組織化ニューラルネットワークが登場の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。