Sous-journal Nature | Basé sur la complexité endogène, le nouveau réseau de type cerveau de l'Institute of Automation construit un pont entre l'intelligence artificielle et les neurosciences

La rubrique AIxiv est une rubrique où ce site publie du contenu académique et technique. Au cours des dernières années, la rubrique AIxiv de ce site a reçu plus de 2 000 rapports, couvrant les meilleurs laboratoires des principales universités et entreprises du monde entier, favorisant efficacement les échanges et la diffusion académiques. Si vous souhaitez partager un excellent travail, n'hésitez pas à contribuer ou à nous contacter pour un rapport. Courriel de soumission : liyazhou@jiqizhixin.com ; zhaoyunfeng@jiqizhixin.com

Ce travail a été publié dans "Nature Computational Science". Les auteurs co-correspondants sont les chercheurs Li Guoqi et Xu Bo de l'Institut d'automatisation de l'Académie chinoise. des Sciences et le professeur Tian Yonghong de l'Université de Pékin. Les co-auteurs sont He Linxuan, un étudiant de premier cycle dans la classe de Qian Xuesen à l'Université Tsinghua (stagiaire à l'Institut d'automatisation), Xu Yunhui, un étudiant de premier cycle en mathématiques et sciences de base (stagiaire à l'Institut d'automatisation) , et He Weihua et Lin Yihan, doctorants au Département des instruments de précision de l'Université Tsinghua.

Permettre à des modèles dotés de capacités cognitives plus étendues et universelles est un objectif important dans le développement actuel du domaine de l'intelligence artificielle (IA). La voie des grands modèles actuellement populaire est basée sur la loi de mise à l'échelle pour construire des réseaux neuronaux plus grands, plus profonds et plus larges afin d'améliorer les performances du modèle, ce qui peut être appelé une méthode générale de mise en œuvre de l'intelligence « basée sur la complexité exogène ». Cependant, cette voie se heurte également à des difficultés insurmontables, telles qu’une consommation élevée de ressources de calcul et d’énergie, et présente des défauts d’interprétabilité.

L'intelligence artificielle et les neurosciences sont depuis longtemps interdépendantes et développées en collaboration. Afin de surmonter le dilemme de la réalisation d'une intelligence générale « basée sur une complexité exogène », l'équipe de recherche de Li Guoqi et Xu Bo de l'Institut d'automatisation de l'Académie chinoise des sciences, en collaboration avec l'Université Tsinghua, l'Université de Pékin et d'autres, s'est appuyée sur le caractéristiques dynamiques complexes des neurones cérébraux et a proposé une approche « basée sur la complexité endogène ». « La méthode de construction de modèles de neurones de type cerveau (Figure 1) améliore le problème de consommation de ressources informatiques causé par l'expansion vers l'extérieur des modèles traditionnels et fournit un exemple de ce problème. utilisation efficace des neurosciences pour développer l’intelligence artificielle. La revue Nature Computational Science a commenté ceci : « La recherche sur l'IA est plus proche de l'ingénierie et des applications, tandis que la recherche en neurosciences est plus exploratoire. L'équipe de recherche a remis en question cette vision traditionnelle et a montré que des modèles de neurones plus détaillés et biologiquement réalistes peuvent conduire à de plus grands progrès dans l'apprentissage profond. »

• Lien papier : https://www.nature.com/articles/s43588-024-00674-9

• Lien commentaire : https:// /www.nature.com/articles/ s43588-024-00677-6

^{La complexité endogène fait référence au fait de s'appuyer en interne sur les caractéristiques dynamiques complexes des neurones cérébraux pour construire un modèle primitif de réseau neuronal}

un petit modèle de réseau à complexité endogène : inspiration des neurones biologiques

Les neurones biologiques ont des structures internes complexes, telles que canaux ioniques, mécanismes de transmission synaptique, etc., ces structures internes complexes permettent aux neurones de traiter des signaux complexes et de générer des réponses diverses. En revanche, les modèles actuels de réseaux neuronaux à pointe artificielle, tels que le réseau classique LIF (Leaky Integrate and Fire), adoptent généralement des structures internes simples et sont difficiles à simuler la dynamique et les fonctions complexes des neurones biologiques.

Dans cette étude, les chercheurs ont proposé le concept de « modèle de petit réseau à complexité endogène ». L'idée principale est d'introduire des structures internes complexes dans des neurones uniques en simulant la dynamique complexe des neurones biologiques, construisant ainsi un modèle d'IA plus efficace. . Par exemple, dans cette étude, les chercheurs ont utilisé le modèle HH (Hodgkin-Huxley) dans le réseau neuronal de pointe pour remplacer le modèle LIF traditionnel. En tant que modèle mathématique décrivant le mécanisme de génération du potentiel d'action des neurones, le modèle HH présente une dynamique fine provoquée par des structures internes complexes et peut simuler la réponse des neurones à divers stimuli.

Transformation de la complexité exogène à la complexité endogène

Dérivation et simulation de dynamique théorique

Das Forschungsteam hat theoretisch bewiesen, dass es eine gewisse Äquivalenzbeziehung zwischen dem HH-Modell und dem LIF-Modell im Aktionspotential-Erzeugungsmechanismus gibt, das heißt, ein HH-Neuron kann mit vier LIF-Neuronen mit zeitvariablen Parametern interagieren (tv- LIF) auf eine bestimmte Weise. Die Verbindungen bilden ein mikrostrukturelles Äquivalent, wobei jedes LIF-Neuron einen Ionenkanal im HH-Modell beschreibt. Basierend auf dieser Äquivalenz kann die endogene Komplexität der Recheneinheit durch die Gestaltung der Mikrostruktur verbessert werden, sodass das HH-Netzwerkmodell die dynamischen Eigenschaften des LIF-Netzwerkmodells in größerem Maßstab simulieren und ähnliche Ergebnisse bei einer kleineren Netzwerkstruktur erzielen kann Funktionen.

Das Forschungsteam simulierte und verifizierte die Theorie, indem es den Neuronenstimulationseingang simulierte und den Netzwerkausgang verglich. Unter dem gleichen Eingabereiz kann das tv-LIF-Netzwerk mit höherer exogener Komplexität die gleiche Ausgabereaktion wie das HH-Modell erzeugen. Darüber hinaus vereinfachte das Team das aus vier tv-LIF-Neuronen konstruierte „HH-Modell“ (tv-LIF2HH) zum s-LIF2HH-Modell und verifizierte durch Simulationsexperimente, dass dieses vereinfachte Modell immer noch die Möglichkeit behält, das dynamische Verhalten des HH zu erfassen Modell (Abbildung 2).

^{Das dynamische Verhalten kann nach der Vereinfachung der Berechnungsaufgabe immer noch ein ähnliches dynamisches Verhalten beibehalten.}

Netzwerk-Lernexperiment-Vergleich

Zusätzlich zur Untersuchung des dynamischen Verhaltens verschiedener Netzwerke unter demselben Reiz durch Simulation, die Die Forscher konstruierten ein größeres HH-Netzwerkmodell, das s-LIF2HH-Netzwerkmodell, und führten Multitasking-Klassifizierungs- und Deep-Reinforcement-Learning-Experimente durch. Die Ergebnisse zeigen, dass das HH-Netzwerkmodell mit endogener Komplexität hinsichtlich Darstellungsfähigkeit und Robustheit eine ähnliche Leistung wie das größere s-LIF2HH-Netzwerkmodell aufweisen kann und eine bessere Leistung als das größere allgemeine LIF-Netzwerk aufweist.

• Multitask-Lernexperiment: Der Forscher führte ein Multitask-Lernexperiment mit dem Fashion-MNIST-Datensatz durch. Die Ergebnisse zeigten, dass das HH-Netzwerkmodell mithalten kann Das größere s-LIF2HH-Netzwerkmodell erreicht eine vergleichbare Leistung, sogar etwas besser als das größere allgemeine LIF-Netzwerk (Abbildung 3).

^{Die Leistung Die Aufgabe kann mit der von größeren exogenen Komplexitätsnetzwerken vergleichbar sein}

• Sequentielles Verstärkungslernexperiment: Der Forscher führte ein umgekehrtes Pendel durch (Temporal Verstärkungslernexperimente wurden in Umgebungen mit umgekehrtem Pendel und umgekehrtem Doppelpendel durchgeführt. Die Ergebnisse zeigen, dass das HH-Netzwerkmodell im Vergleich zum größeren LIF-Netzwerkmodell stärkere Fähigkeiten zur zeitlichen Informationsextraktion aufweisen kann (Abbildung 4).

^{mit endogener Komplexität in Zeitreihen Die Leistung von Verstärkungslernaufgaben ist vergleichbar mit der von größeren exogenen Komplexitätsnetzwerken. Gaußsches Rauschen wird zu Lern- und Tiefenverstärkungslernaufgaben hinzugefügt, um die Robustheit des Netzwerks zu bewerten. Experimentelle Ergebnisse zeigen, dass das allgemeine LIF-Netzwerkmodell im größeren Maßstab unter dem Einfluss von Rauschen den größten Leistungsabfall erleidet, während das HH-Netzwerkmodell und das s-LIF2HH-Netzwerkmodell im größeren Maßstab eine stärkere Robustheit aufweisen. Wenn die Rauschintensität zunimmt, bleiben die Belohnungskurven des HH-Netzwerkmodells und des s-LIF2HH-Netzwerkmodells nahe beieinander und werden deutlich weniger beeinflusst als das allgemeine LIF-Netzwerkmodell (Abbildung 5).}

Abbildung 5. Das HH.-Netzwerk Modell mit endogener Komplexität ist größer- Skala exogene Komplexitätsnetzwerke haben eine bessere Robustheit

Experimente beweisen die Wirksamkeit und Zuverlässigkeit des endogenen Komplexitätsmodells bei der Bewältigung komplexer Aufgaben. Gleichzeitig ergab die Studie, dass das HH-Netzwerkmodell den Ressourcenverbrauch effizienter berechnet, wodurch die Speichernutzung und die Rechenzeit erheblich reduziert werden und dadurch die Gesamtleistung der Rechenleistung verbessert wird. Das Forschungsteam erklärte die oben genannten Forschungsergebnisse durch die Theorie des Informationsengpasses. Darüber hinaus ist die äußere Struktur eines kleinen Modells relativ einfach, was das Verständnis seines Entscheidungsprozesses erleichtert, was auch die Interpretierbarkeit und Sicherheit des Modells verbessert.

Fazit und Ausblick

Kleine Modelle mit endogener Komplexität bringen neue Möglichkeiten für die Entwicklung von KI. Durch die Simulation der komplexen Dynamik biologischer Neuronen und die Optimierung der lokalen Mikrostruktur des Modells zur Erweiterung der endogenen Komplexität können wir effizientere und leistungsfähigere KI-Modelle erstellen und das Dilemma großer Modelle mit externer Komplexität überwinden. In Zukunft könnte die Ausweitung der endogenen Komplexität zu einer wichtigen Richtung in der KI-Forschung werden und die KI-Technologie für breitere Anwendungen fördern.

Diese Forschung liefert neue Methoden und theoretische Unterstützung für die Integration der komplexen dynamischen Eigenschaften der Neurowissenschaften in die künstliche Intelligenz und bietet eine praktikable Lösung für die Optimierung von KI-Modellen und die Leistungsverbesserung in praktischen Anwendungen. Derzeit hat das Forschungsteam an größeren HH-Netzwerken und mehrfach verzweigten Neuronen mit mehreren Kompartimenten und größerer endogener Komplexität geforscht, was voraussichtlich die Recheneffizienz und Aufgabenverarbeitungsfähigkeiten großer Modelle weiter verbessern und sie in die Praxis umsetzen wird Anwendungsszenarien. Die schnelle Landung.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!