Superkörper eines neuronalen Netzwerks? Neues nationales LV-Labor schlägt neue Technologie zum Klonen von Netzwerken vor

Während sich im Film die Gehirnleistung der Heldin Lucy allmählich entwickelt, erwirbt sie die folgenden Fähigkeiten:

• 10 %: Kann das autonome Nervensystem des Körpers steuern und die Körperkoordination und Reaktionsgeschwindigkeit verbessern.
• 30 %: Fähigkeit, die Zukunft vorherzusagen und die Handlungen von Menschen vorherzusagen, wodurch Einsicht und Urteilsvermögen verbessert werden.
• 50 %: Kann zukünftige Veränderungen vorhersagen, indem es kleine Veränderungen in der Umgebung wahrnimmt.
• 70 %: Kann die Bewegung des Körpers und von Objekten kontrollieren, mit außergewöhnlichen Bewegungs- und Kampffähigkeiten.
• 90 %: Kann sich mit dem Universum und der Zeit verbinden, mit der Kraft der Inspiration und Intuition.
• 100 %: Kann übernatürliche Kräfte erlangen, die über die Grenzen der menschlichen Erkenntnis hinausgehen.

Am Ende des Films verschwindet die Heldin allmählich und verwandelt sich in eine reine Energieform und verschwindet schließlich im Universum und kämpft mit dem Universum und Zeit Werde eins. Die Verwirklichung des menschlichen Superkörpers ist die Fähigkeit, sich mit der Außenwelt zu verbinden, um unendlichen Wert zu erlangen. Wenn diese Idee auf die Domäne des neuronalen Netzwerks übertragen wird, kann auch den Netzwerk-Superkörper realisieren, wenn eine Verbindung mit dem gesamten Netzwerk hergestellt werden kann, und erhält theoretisch unbegrenzte Vorhersagefähigkeiten#🎜🎜 #.

Das heißt, das physische Netzwerk begrenzt zwangsläufig das Wachstum der Netzwerkleistung, und wenn das Zielnetzwerk mit dem Modellzoo verbunden ist, verfügt das Netzwerk nicht mehr über eine Entität , sondern eine A-Superkörperform, die Verbindungen zwischen Netzwerken herstellt.

Oben: Der Unterschied zwischen Superkörpernetzwerk und Entitätsnetzwerk. Das Super-Body-Netzwerk hat keine Einheit und ist eine Form der Verbindung zwischen Netzwerken. Dieser Artikel teilt die Idee des CVPR 2023-Papiers „Partielles Netzwerkklonen“ #🎜🎜 # zum Erkunden. In diesem Artikel schlägt die National University of Singapore LV lab

Link: https://arxiv.org/abs/2303.10597# 🎜🎜#01 Problemdefinition

In diesem Artikel erwähnte der Autor, dass die Verwendung dieser Netzwerkklonierungstechnologie zur Erzielung einer Netzwerkdematerialisierung die folgenden Vorteile bringen kann:# 🎜🎜#

Schwache Datenabhängigkeit: Zur Änderung einiger Verbindungsmodule sind nur einige Korrekturdaten erforderlich

Geringe Trainingskomplexität: Feinabstimmung einiger Verbindungsmodule und Aufgabenvorhersagemodule das gesamte Netzwerk# 🎜🎜#

Nachhaltig und wiederherstellbar: Der Verbindungspfad kann ohne Änderungen am Modellzoo erhöht oder verringert werden

• Übertragungsfreundlich: Während der Netzwerkübertragung werden nur die Verbindungspfadinformationen übertragen, und es ist nicht erforderlich, das gesamte Netzwerk zu übertragen, da umfangreiche vorab trainierte Modelle zur Verfügung stehen. Daher können wir für jede Aufgabe T immer ein oder mehrere Modelle finden, , sodass die Aufgaben dieser vorhandenen Modelle zu den erforderlichen Aufgaben
• zusammengesetzt werden können. Das heißt:
(drei Netzwerke werden für die Verbindung ausgewählt). Wie im Bild oben gezeigt, für Aufgabe T Um das entsprechende Superkörpernetzwerk M_c zu konstruieren, schlägt dieser Artikel den folgenden Konstruktionsrahmen vor:
• • Schritt 1: Suchen Sie das am besten geeignete Ontologienetzwerk M_t, sodass der Schnittpunkt T⋂T_t der Aufgabenmenge T_t des Ontologienetzwerks M_t und der erforderlichen Aufgabenmenge T zu diesem Zeitpunkt am größten ist das Hauptnetzwerk;
  • Schritt 2: Wählen Sie die korrigierten Netzwerke M_s^1 und M_s^2 aus, um einige der fehlenden Aufgaben im Ontologienetzwerk zu ergänzen Lokalisieren und verbinden Sie Teile des korrigierten Netzwerks M_s^1 und M_s^2 mit dem Ontologienetzwerk M_t.
  • Schritt 4: Verwenden Sie einen Teil der Korrekturdaten, um das Konnektivitätsmodul und das Vorhersagemodul des Netzwerks zu optimieren. Zusammenfassend lässt sich sagen, dass die zum Aufbau des in diesem Artikel vorgeschlagenen Netzwerk-Superkörpers erforderliche Technologie zum Klonen von Netzwerken wie folgt ausgedrückt werden kann:

  wobei M_s den modifizierten Netzwerksatz darstellt, also die verbundene Form des Netzwerks Superbody ist ein Ontologienetzwerk plus ein oder mehrere Korrekturnetzwerke. Die Netzwerkklonierungstechnologie besteht darin, den erforderlichen Teil des Korrekturnetzwerks zu klonen und in das Ontologienetzwerk einzubetten.

  Das in diesem Artikel vorgeschlagene Framework zum Klonen von Netzwerken umfasst insbesondere die folgenden zwei technischen Punkte:

  Für das Klonen mit P-Korrekturnetzwerken ist der erste technische Punkt Positionierung von Schlüsselteilen lokal (∙)

  . Da das Korrekturnetzwerk möglicherweise Aufgabeninformationen enthält, die für den Aufgabensatz T irrelevant sind, zielt der Schlüsselteilpositionierung Local (∙) darauf ab, die Teile im Korrekturnetzwerk zu lokalisieren, die mit der Aufgabe T⋂T_s zusammenhängen. Der Positionierungsparameter wird durch dargestellt M^ρ. Die Implementierungsdetails sind in Abschnitt 1. in Unterabschnitt 2.1 angegeben. Der zweite technische Punkt ist die Einbettung des Netzwerkmoduls (∙). Um alle Korrekturnetzwerke einzubetten, muss der entsprechende Netzwerkeinbettungspunkt ausgewählt werden.

  02 MethodenübersichtUm die Beschreibung zu vereinfachen, setzen wir im Methodenteil des Netzwerkklonens die Anzahl der Korrekturnetzwerke auf P = 1 (wobei wir das hochgestellte ρ des Korrekturnetzwerks weglassen), d. h. wir Verbinden Sie ein Ontologienetzwerk und ändern Sie das Netzwerk, um das gewünschte Superbody-Netzwerk aufzubauen.

  Wie oben erwähnt, umfasst das Klonen von Netzwerken die Positionierung wichtiger Teile und die Einbettung von Netzwerkmodulen. Hier stellen wir das übertragbare Zwischenmodul M_f vor, um das Verständnis zu erleichtern. Das heißt, die Netzwerkklonierungstechnologie lokalisiert Schlüsselteile im überarbeiteten Netzwerk, um ein migrierbares Modul M_f zu bilden, und bettet das migrierbare Modul dann über weiche Verbindungen in das Ontologienetzwerk M_t ein. Daher besteht das Ziel der
  Netzwerk-Klon-Technologie darin, übertragbare Module

  mit Übertragbarkeit und lokaler Treue zu lokalisieren und einzubetten.

  2.1 Lokalisierung wichtiger Teile des Netzwerks

  

  Das Ziel der Lokalisierung wichtiger Teile des Netzwerks besteht darin, die Auswahlfunktion M zu lernen. Die Auswahlfunktion M wird hier als die Maske definiert, die Wirkt auf den Filter jeder Schicht des Netzwerks. Das derzeit übertragbare Modul kann wie folgt ausgedrückt werden:

  In der obigen Formel drücken wir die modifizierten Netzwerk-M_s als L-Schicht aus, und jede Schicht wird als ausgedrückt. Durch die Extraktion bekannter migrierbarer Module werden keine Änderungen am Korrekturnetzwerk vorgenommen.

  Um das entsprechende übertragbare Modul M_f zu erhalten, suchen wir den expliziten Teil des Korrekturnetzwerks M_s, der den größten Beitrag zum endgültigen Vorhersageergebnis leistet. Zuvor haben wir angesichts der Black-Box-Natur neuronaler Netze und der Tatsache, dass wir nur einen Teil der Vorhersageergebnisse des Netzes benötigen, LIME verwendet, um das Netz anzupassen und zu korrigieren, um den lokalen Teil der erforderlichen Aufgabe zu modellieren (siehe den Text von). Einzelheiten finden Sie im Papier).

  Die lokalen Modellierungsergebnisse werden durch dargestellt, wobei D_t der Trainingsdatensatz ist, der den erforderlichen Teilvorhersageergebnissen entspricht (kleiner als der Trainingssatz des ursprüngliches Netzwerk).

  Daher kann die Auswahlfunktion M durch die folgende Zielfunktion optimiert werden:

  #🎜🎜 ##🎜 🎜#

  In dieser Formel wird der Schlüsselteil der Positionierung an das lokal modellierte G angepasst.

  2.2 Netzwerkmodul-Einbettung

  kann in der korrigierten Position positioniert werden Netzwerk Wenn Sie das Modul M_f migrieren, verwenden Sie die Auswahlfunktion M, um es direkt aus M_s zu extrahieren, ohne seine Gewichte zu ändern. Der nächste Schritt besteht darin, zu entscheiden, wo das migrierbare Modul M_f in das Ontologienetzwerk M_t eingebettet werden soll, um die beste Klonleistung zu erzielen.
  Die Einbettung des Netzwerkmoduls wird durch den Positionsparameter R gesteuert. Gemäß den meisten Modellwiederverwendungseinstellungen behält das Netzwerkklonen die ersten paar Schichten des Ontologiemodells als generische Merkmalsextraktoren bei, und der Netzwerkeinbettungsprozess wird vereinfacht, um die beste Einbettungsposition zu finden (d. h. das übertragbare Modul M_f in der Rth-Schicht einzubetten). Der Prozess zum Finden von Einbettungen kann folgendermaßen ausgedrückt werden:

  #

  

  Bitte überprüfen Sie die Einzelheiten Erklärungstext zur Formel. Im Allgemeinen umfasst die suchbasierte Einbettung die folgenden Punkte: 🎜#

  Nach dem Einbetten des Portabilitätsmoduls in das R-Layer-Superbody-Netzwerk

  • Es ist notwendig, zusätzlich den Einbettungspositionsadapter A einzuführen und die F_c-Schicht (für das Klassifizierungsnetzwerk) neu abzustimmen, aber die Parameterbeträge beider sind im Vergleich zum gesamten Modellzoo vernachlässigbar. Nach dem Herstellen von Verbindungen von Schicht L-1 zu Schicht 0 Wir schätzen grob die Einbettungsleistung basierend auf dem Verlustkonvergenzwert jeder Feinabstimmung und wählen den Punkt mit dem minimalen Konvergenzwert als endgültigen Netzwerkeinbettungspunkt aus.
  • 03 Praktische Anwendung der Netzwerk-Klon-TechnologieDer Kern der in diesem Artikel vorgeschlagenen Netzwerk-Klon-Technologie besteht darin, eine zu etablieren Vorab trainiertes Netzwerk Es besteht keine Notwendigkeit, Parameter des vorab trainierten Netzwerks zu ändern. Es wird nicht nur als Schlüsseltechnologie für den Aufbau von Netzwerk-Superkörpern verwendet, sondern kann auch flexibel auf verschiedene praktische Szenarien angewendet werden.
  • Szenario 1: Netzwerk-Klontechnologie ermöglicht die Online-Nutzung von Model Zoo. In einigen Situationen, in denen die Ressourcen begrenzt sind, können Benutzer den Online-Modellzoo flexibel nutzen, ohne das vorab trainierte Netzwerk lokal herunterladen zu müssen.
  Beachten Sie, dass das geklonte Modell dadurch bestimmt wird, dass M_t und M_s während des gesamten Prozesses fest und unverändert bleiben. Durch das Klonen von Modellen werden weder Änderungen am vorab trainierten Modell vorgenommen, noch wird ein neues Modell eingeführt. Das Klonen von Modellen ermöglicht jede beliebige Kombination von Funktionen in Model Zoo, was auch dazu beiträgt, eine gute ökologische Umgebung von Model Zoo aufrechtzuerhalten, da das Herstellen einer Verbindung mit M und R ein einfacher Maskierungs- und Positionierungsvorgang ist, der leicht rückgängig gemacht werden kann. Daher unterstützt die vorgeschlagene Netzwerkklonierungstechnologie die Einrichtung einer nachhaltigen Online-Inferenzplattform von Model Zoo.

  Szenario 2: Das durch Netzwerkklonen generierte Netzwerk verfügt über einen besseren Informationsübertragungsmodus. Diese Technologie kann Übertragungsverzögerungen und -verluste bei der Netzwerkübertragung reduzieren.

  Bei der Netzwerkübertragung müssen wir nur die Sammlung übertragen In Kombination mit dem öffentlichen Modellzoo kann der Empfänger das ursprüngliche Netzwerk wiederherstellen. Im Vergleich zum gesamten geklonten Netzwerk ist sehr klein, wodurch die Übertragungslatenz verringert wird. Wenn bei A und F_c immer noch Übertragungsverluste auftreten, kann der Empfänger diese leicht durch Feinabstimmung des Datensatzes beheben. Daher bietet das Netzwerkklonen eine neue Netzwerkform für eine effiziente Übertragung.

  04 Experimentelle Ergebnisse

  Wir haben eine experimentelle Überprüfung der Klassifizierungsaufgabe durchgeführt. Um die lokale Leistungscharakterisierungsfähigkeit übertragbarer Module zu bewerten, führen wir die bedingte Ähnlichkeitsmetrik ein:

  

  wobei Sim_cos (∙) Kosinusähnlichkeit darstellt.

  

  Die obige Tabelle zeigt die experimentellen Ergebnisse für MNIST, CIFAR-10, CIFAR-100 und Tiny-ImageNet. Es ist ersichtlich, dass die Leistungsverbesserung des Modells durch Netzwerkklonen (PNC) erzielt wird das bedeutendste Mit. Und eine Feinabstimmung des gesamten Netzwerks (PNC-F) wird die Netzwerkleistung nicht verbessern, im Gegenteil, sie wird die Voreingenommenheit des Modells erhöhen.

  

  Darüber hinaus haben wir die Qualität der migrierbaren Module bewertet (wie oben gezeigt). Wie aus der Abbildung (links) ersichtlich ist, ist jedes aus jedem Unterdatensatz gelernte Merkmal mehr oder weniger korreliert, was zeigt, wie wichtig es ist, lokale Merkmale aus dem überarbeiteten Netzwerk zu extrahieren und zu lokalisieren. Für übertragbare Module berechnen wir deren Ähnlichkeit Sim (∙). Die Abbildung (rechts) zeigt, dass das übertragbare Modul in seiner Ähnlichkeit dem zu klonenden Teildatensatz sehr ähnlich ist und seine Beziehung zu den verbleibenden Teildatensätzen abgeschwächt ist (außerhalb der Diagonale liegende Bereiche werden mit einer helleren Farbe als im Matrixplot markiert). des Quellnetzwerks). Daher kann der Schluss gezogen werden, dass das übertragbare Modul die lokale Leistung des zu klonenden Aufgabensatzes erfolgreich simuliert und damit die Richtigkeit der Positionierungsstrategie beweist.

  05 Zusammenfassung

  In diesem Artikel wird eine neue Wissenstransferaufgabe namens Partial Network Cloning (PNC) untersucht, bei der Parametermodule aus dem überarbeiteten Netzwerk durch Kopieren und Einfügen geklont und in das Ontologienetzwerk eingebettet werden. Im Gegensatz zu früheren Wissenstransfer-Setups (die auf der Aktualisierung der Parameter des Netzwerks basieren) stellt unser Ansatz sicher, dass die Parameter aller vorab trainierten Modelle unverändert bleiben. Die Kerntechnologie von PNC besteht darin, gleichzeitig wichtige Teile des Netzwerks zu lokalisieren und entfernbare Module einzubetten. Die beiden Schritte verstärken sich gegenseitig.

  Wir zeigen herausragende Ergebnisse unseres Ansatzes in Bezug auf Genauigkeits- und Übertragbarkeitsmetriken für mehrere Datensätze.

Das obige ist der detaillierte Inhalt vonSuperkörper eines neuronalen Netzwerks? Neues nationales LV-Labor schlägt neue Technologie zum Klonen von Netzwerken vor. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!