Das selbstorganisierende neuronale Netzwerk, das wie ein biologisches Netzwerk „wächst' und „strukturelle Plastizität' aufweist, ist da

Biologische Neuronale NetzeEin wichtiges Merkmal ist ein hoher Grad an Plastizität, der natürlichen Organismen eine ausgezeichnete Anpassungsfähigkeit verleiht, und diese Fähigkeit beeinflusst die synaptische Stärke und Topologie des Nervensystems.

Künstliche neuronale Netze sind jedoch hauptsächlich als statische, vollständig verbundene Strukturen konzipiert, die angesichts sich ändernder Umgebungen und neuer Eingaben sehr fragil sein können. Obwohl Forscher umfangreiche Untersuchungen zum Online-Lernen und Meta-Lernen durchgeführt haben, verwenden aktuelle hochmoderne neuronale Netzwerksysteme immer noch Offline-Lernen, da dies in Kombination mit Backpropagation einfacher ist.

Können künstliche neuronale Netze also auch Eigenschaften haben, die einer hohen Plastizität ähneln?

Ein Forschungsteam der Universität für Informationstechnologie in Kopenhagen schlug ein selbstorganisierendes neuronales Netzwerk vor – LNDP, das synaptische und strukturelle Plastizität auf aktivitäts- und belohnungsabhängige Weise erreichen kann.

• Papierlink: https://arxiv.org/pdf/2406.09787

• Projektlink: https://github.com/erwanplantec/LNDP

Im Jahr 2023 schlugen Najarro et al. das Modell des Neurodevelopmental Program (NDP) vor. Der NDP ist jedoch zeitlich auf die Vorumweltphase beschränkt. Daher hat ein Forschungsteam der Informationstechnologie-Universität Kopenhagen diese Einschränkung durch die Erweiterung des NDP-Frameworks behoben.

Konkret schlug das Forschungsteam einen Mechanismus vor, der während des Lebenszyklus eines Wirkstoffs Plastizität und strukturelle Veränderungen bewirken kann – LNDP (Lifelong Neural Developmental Programs). Dieser Mechanismus wird durch die Durchführung lokaler Berechnungen implementiert, die sich auf die lokale Aktivität jedes Neurons im künstlichen neuronalen Netzwerk und die globale Belohnungsfunktion der Umgebung stützen. LNDP macht künstliche neuronale Netze plastisch und überbrückt die Plastizitätsregeln der indirekten Entwicklungskodierung und des Meta-Lernens.

LNDP besteht aus einer Reihe parametrisierter Komponenten, die die neuronale und synaptische Dynamik definieren und künstliche neuronale Netze strukturell plastisch machen sollen (d. h. Synapsen können dynamisch hinzugefügt oder entfernt werden).

Inspiriert durch die spontane Aktivität (SA) in Organismen erweiterte das Forschungsteam das System weiter und führte einen Mechanismus ein, der die Entwicklung von Vorerfahrungen erreichen kann, indem er die einfache und zuverlässige Funktion sensorischer Neuronen nutzt, um stochastische Prozesse zu erlernen Modell SA, das die Wiederverwendung einiger Komponenten ermöglicht.

Das Forschungsteam schlug eine LNDP-Instanz basierend auf der Graph Transformer-Schicht (Dwivedi und Bresson, 2021) vor und optimierte das LNDP mithilfe der Covariance Matrix Adaptive Evolution Strategy (CMA-ES) für eine Reihe von Reinforcement-Learning-Aufgaben.

In dieser Studie wurden insbesondere drei klassische Kontrollaufgaben (Cartpole, Acrobot, Pendulum) und eine Sammelaufgabe (Foraging) mit instationärer Dynamik verwendet, die eine Anpassungsfähigkeit des Agenten an den Lebenszyklus erfordern.

Zusammenfassend zeigte das Forschungsteam, dass sich LNDP ausgehend von einem zufällig verbundenen (oder leeren) neuronalen Netzwerk selbst organisiert, um aktivitäts- und erfahrungsabhängig ein funktionales Netzwerk zu bilden, um Steuerungsaufgaben effektiv zu lösen.

Die Studie zeigt auch, dass strukturelle Plastizität die Ergebnisse in Umgebungen verbessern kann, die eine schnelle Anpassung erfordern oder eine instationäre Dynamik aufweisen, die eine kontinuierliche Anpassung erfordert. Darüber hinaus zeigt diese Studie die Wirksamkeit von Entwicklungsstadien, die durch spontane Aktivität vor der Umgebung gesteuert werden, bei der Selbstorganisation von Netzwerken in funktionelle Einheiten.

Experimentelle Ergebnisse

Das Forschungsteam testete die Unterschiede zwischen SP-Modellen (Modelle mit struktureller Plastizität) und Nicht-SP-Modellen (Modelle ohne strukturelle Plastizität) bei allen Aufgaben. Die Ergebnisse sind in Abbildung 2 unten dargestellt.

Bei der Sammelaufgabe (Futtersuche) mit instationärer Dynamik stellte das Forschungsteam fest, dass das SP-Modell immer eine höhere durchschnittliche Fitness erreichte als das Nicht-SP-Modell und beide eine ähnliche maximale Fitness erreichten. Dies zeigt, dass SP in instationären Situationen eine bessere Anpassungsfähigkeit aufweist.

In der CartPole-Umgebung ist es für Modelle ohne SA besonders schwierig, von Anfang an eine gute Leistung zu erzielen, während Modelle mit SA von Anfang an inhärente Fähigkeiten bei der Lösung der Aufgabe zeigen. Dies zeigt die Fähigkeit des Modells, Zielfunktionsnetzwerke auf nicht belohnungsabhängige und selbstorganisierende Weise zu erreichen.

Weitere Forschungsdetails finden Sie im Originalpapier.

Das obige ist der detaillierte Inhalt vonDas selbstorganisierende neuronale Netzwerk, das wie ein biologisches Netzwerk „wächst' und „strukturelle Plastizität' aufweist, ist da. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!