Supercorps du réseau neuronal ? Le nouveau laboratoire national LV propose une nouvelle technologie de clonage de réseau

Dans le film, au fur et à mesure que la puissance cérébrale de l'héroïne Lucy se développe progressivement, elle acquiert les capacités suivantes :

• 10 % : Capable de contrôler le système nerveux autonome du corps, améliorant ainsi la coordination corporelle et la vitesse de réaction.
• 30 % : Capacité à prédire l’avenir et à prédire les actions des gens, améliorant ainsi la perspicacité et le jugement.
• 50 % : Capable de prédire les changements futurs en détectant de petits changements dans l'environnement.
• 70% : Capable de contrôler les mouvements du corps et des objets, avec des compétences de mouvement et de combat extraordinaires.
• 90% : Capable de se connecter avec l'univers et le temps, avec le pouvoir de l'inspiration et de l'intuition.
• 100% : Capable d'atteindre un pouvoir surnaturel, au-delà des limites de la cognition humaine.

À la fin du film, l'héroïne disparaît progressivement et se transforme en une forme d'énergie pure, disparaissant finalement dans l'univers et ne faisant plus qu'un avec l'univers et le temps. La réalisation du super corps humain est la capacité de se connecter au monde extérieur pour obtenir une valeur infinie. En migrant cette idée vers le domaine du réseau neuronal, si la connexion avec l'ensemble du réseau peut être établie, peut également réaliser le super corps du réseau et obtiendra théoriquement des capacités de prédiction illimitées .

C'est-à-dire que le réseau physique limitera inévitablement la croissance des performances du réseau. Lorsque le réseau cible est connecté au Model Zoo, le réseau n'a plus d'entité, mais une forme de super-corps qui établit des connexions entre les réseaux.

Sur la photo : La différence entre le réseau des supercorps et le réseau des entités. Le réseau de super-corps n'a pas d'entité et est une forme de connectivité entre les réseaux

L'idée du super-corps en réseau est explorée dans cet article partageant l'article CVPR 2023 "Clonage partiel de réseau ". Dans cet article, le LV lab de l'Université nationale de Singapour propose une nouvelle technologie de clonage de réseau.

Lien : https://arxiv.org/abs/2303.10597

01 Définition du problème

Dans cet article, l'auteur a mentionné que l'utilisation de cette technologie de clonage de réseau pour réaliser la dématérialisation du réseau peut apporter Bénéficiez des avantages suivants :

• Faible dépendance aux données : seules des données de correction partielles sont nécessaires pour modifier certains modules de connexion
• Faible complexité de formation : seul un réglage fin de certains modules de connexion et modules de prédiction de tâches est requis
• Faibles exigences de stockage : il suffit de stocker le chemin de connexion du réseau, pas besoin de stocker l'intégralité du réseau
• Durable et récupérable : le chemin de connexion peut être augmenté ou diminué sans aucune modification du Model Zoo
• Transmission convivial : uniquement requis pendant la transmission réseau. La transmission des informations sur le chemin de connectivité ne nécessite pas de transmission à l'ensemble du réseau

La base de mise en œuvre du réseau de super-corps est le zoo modèle en expansion rapide, avec des modèles massifs pré-entraînés disponibles pour utilisation . Par conséquent, pour toute tâche T, nous pouvons toujours trouver un ou plusieurs modèles, , afin que les tâches avec ces modèles existants puissent être composées en tâches requises . A savoir :

(trois réseaux sélectionnés pour la connexion).

Comme le montre la figure ci-dessus, pour la tâche T, afin de construire le réseau d'hypercorps correspondant M_c, cet article propose le cadre de construction suivant :

• Étape 1 : Localisez le réseau d'ontologies M_t le plus approprié de sorte que l'intersection T⋂T_t de l'ensemble de tâches T_t du réseau d'ontologies M_t et l'ensemble de tâches requis T soit la plus grande At. cette fois, le réseau d'ontologie est défini Définir comme réseau principal ;
• Étape 2 : Sélectionnez le réseau révisé M_s^1 et M_s^2 pour compléter certains des éléments manquants tâches dans le réseau d'ontologie ;
• Étape 3 : Utiliser technologie de clonage de réseauLocaliser et connecter partiellement réseaux corrigés M_s^1 et M_s^2 vers l'ontologie Réseau M_t;
• Étape 4 : Utiliser une partie des données de correction pour affiner le module de connectivité et le module de prédiction du réseau.

En résumé, la technologie de clonage de réseau requise pour construire un supercorps de réseau proposée dans cet article peut s'exprimer comme suit : #🎜🎜 #

où M_s représente l'ensemble de réseaux modifié, donc la forme de connectivité du supercorps du réseau est un réseau d'ontologie plus un ou plusieurs réseaux modifiés, technologie de clonage de réseau est le réseau de correction partielle requis pour le clonage, intégré dans le réseau d'ontologie.

Plus précisément, le framework de clonage de réseau proposé dans cet article comprend les deux points techniques suivants :

# 🎜🎜#

Pour un clone contenant des réseaux de correction P, le premier point technique est

Positionnement des pièces clés Local (∙) . Étant donné que le réseau de correction peut contenir des informations de tâche qui ne sont pas pertinentes pour l'ensemble de tâches T, la partie clé de positionnement Local (∙) vise à localiser les parties du réseau de correction qui sont liées à la tâche T⋂T_s. Le paramètre de positionnement est représenté par. M ^ ρ. Les détails de mise en œuvre se trouvent dans la section 1. donnés dans la sous-section 2.1. Le deuxième point technique est l'insertion du module réseau (∙). Il est nécessaire de sélectionner le point d'intégration du réseau approprié R^ρ pour intégrer tous les réseaux de correction. Les détails d'implémentation sont donnés dans la section 2.2. 02 Présentation de la méthode

Dans la partie méthode du clonage de réseau, afin de simplifier la description, nous définissons le nombre de réseaux de correction P =1 (donc L'exposant ρ) du réseau de correction est omis, c'est-à-dire que nous connectons un réseau d'ontologie et un réseau de correction pour construire le réseau de supercorps requis.

Comme mentionné ci-dessus, le clonage réseau comprend le positionnement des éléments clés et l'intégration des modules réseau. Ici, nous introduisons le module transférable intermédiaire M_f pour faciliter la compréhension. Autrement dit, la technologie de clonage de réseau localise les éléments clés du réseau révisé pour former un module transférable M_f, puis intègre le module transférable dans le réseau d'ontologie M_t via des connexions logicielles. Par conséquent, l'objectif de la technologie de clonage de réseau

est de localiser et d'intégrer des modules transférables avec portabilité et fidélité locale.

2.1 Positionnement des éléments clés du réseau # 🎜🎜#Le but du positionnement des éléments clés du réseau est d'apprendre la fonction de sélection M. La fonction de sélection M est définie ici comme le masque qui agit sur le filtre de chacun couche du réseau. Le module migrable à ce moment peut être exprimé comme suit :

Dans la formule ci-dessus, nous modifierons le réseau M_s à représenter est la couche L, et chaque couche est exprimée par . L'extraction des modules migrables connus n'apporte aucune modification au réseau de correction.

Afin d'obtenir le module transférable approprié M_f, nous localisons la partie explicite du réseau de correction M_s qui apporte la plus grande contribution au résultat final de prédiction. Avant cela, considérant la nature de boîte noire des réseaux de neurones et le fait que nous n'avons besoin que d'une partie des résultats de prédiction du réseau, nous avons utilisé LIME pour ajuster et corriger le réseau afin de modéliser la partie locale de la tâche requise (voir le texte de le document pour des détails spécifiques).

Les résultats de la modélisation locale sont représentés par , où D_t est l'ensemble de données d'entraînement correspondant aux résultats de prédiction partielle requis (plus petit que l'ensemble d'entraînement du réseau d'origine).

Par conséquent, la fonction de sélection M peut être optimisée par la fonction objectif suivante :

Dans cette équation, l'élément clé du positionnement est ajusté au G modélisé localement.

2.2 Intégration du module réseau

Lors de la localisation du module transférable M_f dans le réseau révisé, utilisez la fonction de sélection M pour l'extraire directement de M_s sans modifier ses poids. L'étape suivante consiste à décider où intégrer le module migrable M_f dans le réseau d'ontologie M_t pour obtenir les meilleures performances de clonage.

L'intégration des modules réseau est contrôlée par le paramètre de position R. Suivant la plupart des paramètres de réutilisation du modèle, le clonage réseau conserve les premières couches du modèle d'ontologie en tant qu'extracteurs de fonctionnalités génériques, et le processus d'intégration du réseau est simplifié pour trouver la meilleure position d'intégration (c'est-à-dire l'intégration du module transférable M_f au niveau de la couche Rth). Le processus de recherche d'intégrations peut être exprimé comme suit :

Veuillez vous référer au texte pour une explication détaillée de la formule. En général, l'intégration basée sur la recherche comprend les points suivants :

• Le processus de recherche du meilleur paramètre de position R s'effectue des couches profondes aux couches peu profondes du réseau. Après le réseau volumétrique
• , il est nécessaire en plus ; introduisez l'adaptateur A à la position intégrée et affinez la couche F_c (pour le réseau de classification), mais les quantités de paramètres des deux sont négligeables par rapport à l'ensemble du zoo modèle Après avoir établi les connexions de la couche L-1 à la couche ; 0 du réseau, nous estimons approximativement les performances d'intégration en fonction de la valeur de convergence de perte de chaque réglage fin, et sélectionnons le point de valeur de convergence minimale comme point d'intégration final du réseau.
• 03 Application pratique de la technologie de clonage de réseau

Le cœur de la technologie de clonage de réseau proposée dans cet article est d'établir le chemin de connexion entre les réseaux pré-entraînés. Elle ne nécessite aucune modification des paramètres du réseau pré-entraîné. En plus d'être utilisée comme technologie clé pour la construction d'un super-corps de réseau, elle peut également être appliquée de manière flexible à divers scénarios pratiques.

Scénario 1 : La technologie de clonage de réseau permet d'utiliser Model Zoo en ligne. Dans certaines situations où les ressources sont limitées, les utilisateurs peuvent utiliser le zoo modèle en ligne de manière flexible sans télécharger le réseau pré-entraîné localement.

Notez que le modèle cloné est déterminé par, où M_t et M_s sont fixes et inchangés tout au long du processus. Le clonage de modèle n'apporte aucune modification au modèle pré-entraîné et n'introduit pas non plus de nouveau modèle. Le clonage de modèle rend possible toute combinaison de fonctions dans Model Zoo, ce qui contribue également à maintenir un bon environnement écologique de Model Zoo, car l'établissement d'une connexion à l'aide de M et R est une simple opération de masque et de positionnement facile à annuler. Par conséquent, la technologie de clonage de réseau proposée soutient la création d’une plate-forme d’inférence en ligne durable Model Zoo.

Scénario 2 : Le réseau généré par le clonage de réseau a un meilleur mode de transmission des informations. Cette technologie peut réduire les retards et les pertes de transmission lors de la transmission réseau.

Lors de la transmission réseau, il nous suffit de transmettre la collection Combiné avec le Model Zoo public, le récepteur peut restaurer le réseau d'origine. Comparé à l'ensemble du réseau cloné, est très petit, réduisant ainsi la latence de transmission. Si A et F_c présentent encore une perte de transmission, le récepteur peut facilement la corriger en affinant l'ensemble de données. Par conséquent, le clonage de réseau fournit une nouvelle forme de réseau pour une transmission efficace.

04 Résultats expérimentaux

Nous avons effectué une vérification expérimentale sur la tâche de classification. Pour évaluer la capacité de caractérisation des performances locales des modules transférables, nous introduisons la métrique de similarité conditionnelle :

où Sim_cos (∙) représente la similarité cosinus.

Le tableau ci-dessus montre les résultats expérimentaux sur MNIST, CIFAR-10, CIFAR-100 et Tiny-ImageNet. On constate que l'amélioration des performances du modèle obtenu par clonage de réseau (PNC) est. le plus significatif. Et le réglage fin de l'ensemble du réseau (PNC-F) n'améliorera pas les performances du réseau, au contraire, cela augmentera le biais du modèle.

De plus, nous avons évalué la qualité des modules migratoires (comme indiqué ci-dessus). Comme le montre la figure (à gauche), chaque caractéristique apprise de chaque sous-ensemble de données est plus ou moins liée, ce qui montre l'importance d'extraire et de localiser les caractéristiques locales du réseau révisé. Pour les modules transférables, on calcule leur similarité Sim (∙). La figure (à droite) montre que le module transférable est très similaire au sous-ensemble de données à cloner et que sa relation avec les sous-ensembles de données restants est affaiblie (les zones hors diagonale sont marquées d'une couleur plus claire que le tracé matriciel du réseau source). Par conséquent, on peut conclure que le module transférable simule avec succès les performances locales sur l’ensemble de tâches à cloner, prouvant ainsi l’exactitude de la stratégie de positionnement.

Résumé 05

Cet article étudie une nouvelle tâche de transfert de connaissances appelée clonage de réseau partiel (PNC), qui clone les modules de paramètres du réseau révisé par copier-coller et les intègre dans le réseau d'ontologie. Contrairement aux configurations précédentes de transfert de connaissances (qui reposent sur la mise à jour des paramètres du réseau), notre approche garantit que les paramètres de tous les modèles pré-entraînés restent inchangés. La technologie de base de PNC consiste à localiser simultanément les éléments clés du réseau et à intégrer des modules amovibles. Les deux étapes se renforcent mutuellement.

Nous démontrons des résultats exceptionnels de notre approche sur les mesures de précision et de transférabilité sur plusieurs ensembles de données.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!