Une solution intelligente au problème de la « rareté des données » ! GPD open source Tsinghua : utiliser un modèle de diffusion pour générer des paramètres de réseau neuronal

Les modèles de prédiction spatio-temporelles traditionnels nécessitent généralement une grande quantité de données pour obtenir de bons résultats.

Cependant, les données spatio-temporelles (telles que les données sur le trafic et le flux de foule) dans de nombreuses zones sont limitées en raison des différences dans les niveaux de développement des différentes villes et des politiques de collecte de données incohérentes. La transférabilité des modèles devient donc particulièrement importante lorsque les données sont rares.

La recherche actuelle s'appuie principalement sur les données des villes sources pour former des modèles et les appliquer aux données des villes cibles, mais cette approche nécessite souvent des conceptions d'appariement complexes. Comment parvenir à un transfert de connaissances plus large entre les villes sources et cibles reste une question difficile.

Récemment, les modèles pré-entraînés ont fait des progrès significatifs dans les domaines du traitement du langage naturel et de la vision par ordinateur. L'introduction de la technologie rapide réduit l'écart entre le réglage fin et la pré-formation, permettant aux modèles pré-entraînés avancés de s'adapter plus rapidement aux nouvelles tâches. L’avantage de cette méthode est qu’elle réduit le recours à des réglages fastidieux et améliore l’efficacité et la flexibilité du modèle. Grâce à une technologie rapide, les modèles peuvent mieux comprendre les besoins des utilisateurs et produire des résultats plus précis, offrant ainsi aux gens de meilleures expériences et services. Cette approche innovante stimule le développement de la technologie de l’intelligence artificielle, offrant davantage de possibilités et d’opportunités à diverses industries.

Photos

Lien papier : https://openreview.net/forum?id=QyFm3D3Tzi

Code source et données ouvertes : //m.sbmmt.com/link/6644cb08d30b2ca55c284344a9750c2e

Dernières publication à ICLR2024 Le résultat « Spatio-Temporal Few-Shot Learning via Diffusive Neural Network Generation » du Centre de recherche en sciences urbaines et en informatique du Département d'ingénierie électronique de l'Université Tsinghua a introduit le modèle GPD (Generative Pre-Trained Diffusion) et a réalisé avec succès des apprentissage temporel dans l’étude de scénarios de données clairsemées.

Cette méthode utilise les paramètres du réseau neuronal génératif pour transformer l'apprentissage de données spatio-temporelles éparses en un problème de pré-entraînement génératif du modèle de diffusion. Contrairement aux méthodes traditionnelles, cette méthode ne nécessite plus l'extraction de fonctionnalités transférables ou la conception de stratégies complexes de correspondance de modèles, ni l'apprentissage d'une bonne initialisation de modèle pour des scénarios à quelques tirs.

Au lieu de cela, cette méthode acquiert des connaissances sur l'optimisation des paramètres du réseau neuronal en pré-entraînant sur les données de la ville source, puis génère un modèle de réseau neuronal adapté à la ville cible en fonction d'invites.

L'innovation de cette méthode est qu'elle peut générer des réseaux de neurones personnalisés basés sur des « invites », s'adapter efficacement aux différences de distribution et de caractéristiques des données entre les différentes villes et réaliser un ingénieux transfert de connaissances spatio-temporelles.

Cette recherche fournit de nouvelles idées pour résoudre le problème de la rareté des données dans l'informatique urbaine. Les données et le code du document sont open source.

De la distribution des données à la distribution des paramètres du réseau neuronal

Figure 1 : Transfert de connaissances au niveau du modèle de données par rapport au transfert de connaissances au niveau du réseau neuronal

Comme le montre la figure 1(a), la méthode traditionnelle de transfert de connaissances est généralement au source Entraînez le modèle sur les données de la ville, puis appliquez-le à la ville cible. Cependant, il peut exister des différences significatives dans la distribution des données entre les différentes villes, ce qui entraîne une migration directe du modèle de ville source qui peut ne pas correspondre parfaitement à la distribution des données de la ville cible.

Par conséquent, nous devons nous débarrasser de notre dépendance à l’égard d’une distribution désordonnée des données et rechercher un moyen plus essentiel et transférable de partager les connaissances. Par rapport à la distribution des données, la distribution des paramètres du réseau neuronal présente des caractéristiques plus « d'ordre élevé ».

La figure 1 montre le processus de transformation du niveau du modèle de données au transfert de connaissances au niveau du réseau neuronal. En entraînant un réseau neuronal sur les données d'une ville source et en les convertissant en un processus de génération de paramètres de réseau neuronal adaptés à la ville cible, la distribution des données et les caractéristiques de la ville cible peuvent être mieux adaptées.

Pré-entraînement + mise au point rapide : réaliser un apprentissage spatio-temporel en quelques coups

Figure 2 Aperçu du modèle GPD

Comme le montre la figure 2, le GPD proposé dans cette étude est un cadre de génération conditionnelle conçue pour générer directement des données à partir des villes sources. Apprenez à partir des paramètres du modèle et générez de nouveaux paramètres de modèle pour la ville cible. La méthode comprend trois étapes clés :

1. Étape de préparation du réseau neuronal : Premièrement, pour chaque zone de la ville source, l'étude forme un. modèle de prédiction spatio-temporelle séparé, et enregistrez ses paramètres de réseau optimisés. Les paramètres du modèle pour chaque région sont optimisés indépendamment sans partage de paramètres pour garantir que le modèle peut s'adapter au mieux aux caractéristiques de la région respective.

2. Pré-formation du modèle de diffusion : ce cadre utilise les paramètres du modèle pré-entraînés collectés comme données de formation pour entraîner le modèle de diffusion afin d'apprendre le processus de génération des paramètres du modèle. Le modèle de diffusion génère des paramètres par débruitage étape par étape, un processus similaire au processus d'optimisation des paramètres à partir d'une initialisation aléatoire, et est donc mieux à même de s'adapter à la distribution des données de la ville cible.

3. Génération de paramètres de réseau neuronal : après la pré-formation, les paramètres peuvent être générés en utilisant des indicateurs régionaux de la ville cible. Cette approche exploite des indices pour faciliter le transfert de connaissances et la correspondance précise des paramètres, en tirant pleinement parti des similitudes entre les régions interurbaines.

Il est à noter que dans le cadre du réglage fin des signaux pré-entraînement, la sélection des signaux est très flexible, à condition qu'elle puisse capturer les caractéristiques d'une région spécifique. Par exemple, diverses caractéristiques statiques telles que la population, la zone régionale, les fonctions et la répartition des points d'intérêt (POI) peuvent être utilisées pour atteindre cet objectif.

Ce travail utilise des indices régionaux à la fois spatiaux et temporels : les indices spatiaux proviennent de représentations de nœuds dans les graphiques de connaissances urbaines [1,2], qui utilisent uniquement des relations telles que la contiguïté régionale et la similarité fonctionnelle, qui sont communes dans toutes les villes. accessibles ; les signaux temporels proviennent de l’encodeur du modèle d’apprentissage auto-supervisé. Consultez l’article original pour plus de détails sur la conception des invites.

En outre, cette étude a également exploré différentes méthodes d'introduction de signaux, et des expériences ont vérifié que l'introduction de signaux basée sur des connaissances préalables offre les performances optimales : utiliser des signaux spatiaux pour guider la génération de paramètres de réseau neuronal pour modéliser la corrélation spatiale, et utiliser des signaux temporels pour guider le réseau neuronal temporel Génération de paramètres de réseau.

Résultats expérimentaux

L'équipe a décrit les paramètres expérimentaux en détail dans l'article pour aider d'autres chercheurs à reproduire leurs résultats. Ils ont également fourni l’article original et le code de données open source, dont nous nous concentrons ici sur les résultats expérimentaux.

Pour évaluer l'efficacité du cadre proposé, cette étude a mené des expériences sur deux types de tâches de prédiction spatio-temporelle classiques : la prédiction du flux de foule et la prédiction de la vitesse du trafic, couvrant plusieurs ensembles de données de villes.

Photos

Le tableau 1 montre les résultats de la comparaison avec les méthodes de base de pointe sur quatre ensembles de données. Sur la base de ces résultats, les observations suivantes peuvent être faites :

1) GPD présente des avantages de performance significatifs par rapport au modèle de base et surpasse systématiquement dans différents scénarios de données, indiquant que GPD réalise un transfert de connaissances efficace au niveau des paramètres du réseau neuronal.

2) GPD fonctionne bien dans les scénarios de prévision à long terme. Cette tendance significative peut être attribuée à l’exploitation par le cadre de connaissances plus essentielles, qui aident à transférer les connaissances sur les modèles spatio-temporels à long terme vers les villes cibles.

Figure 3 Comparaison des performances de différents modèles de prédiction spatio-temporelle

De plus, cette étude a également vérifié la flexibilité du cadre GPD pour adapter différents modèles de prédiction spatio-temporelle. En plus de la méthode classique des graphes spatio-temporels STGCN, cette étude introduit également GWN et STID comme modèles de prédiction spatio-temporelle et utilise un modèle de diffusion pour générer leurs paramètres de réseau.

Les résultats expérimentaux montrent que la supériorité du cadre ne sera pas affectée par la sélection du modèle, il peut donc être adapté à divers modèles avancés.

En outre, l'étude effectue une analyse de cas en manipulant la similarité des modèles sur deux ensembles de données synthétiques.

La figure 4 montre que les régions A et B ont des modèles de séries chronologiques très similaires, tandis que la région C présente des modèles significativement différents. Pendant ce temps, la figure 5 montre que les nœuds A et B ont des positions spatiales symétriques.

Par conséquent, nous pouvons en déduire que les régions A et B ont des modèles spatio-temporels très similaires, alors qu'il existe de nettes différences par rapport à C. Les résultats de distribution des paramètres du réseau neuronal générés par le modèle montrent que les distributions des paramètres de A et B sont similaires, mais significativement différentes de la distribution des paramètres de C. Cela valide en outre la capacité du cadre GPD à générer efficacement des paramètres de réseau neuronal avec divers modèles spatio-temporels.

Figure 4 Visualisation des séries chronologiques et de la distribution des paramètres du réseau neuronal dans différentes régions

Figure 5 Relation de connexion spatiale régionale de l'ensemble de données de simulation

Référence :

//m.sbmmt.com / link/6644cb08d30b2ca55c284344a9750c2e

[1] Liu, Yu et al. « Urbankg : Un système de graphe de connaissances urbaines. » Transactions ACM sur les systèmes et technologies intelligents 14.4 (2023) : 1-25.

[2] Zhou, Zhilun et al. "L'apprentissage hiérarchique des graphes de connaissances a permis la prédiction d'indicateurs socio-économiques dans les réseaux sociaux géolocalisés." Actes de la conférence Web ACM 2023.