Google : Nouvelle méthode d'apprentissage de la représentation de séries chronologiques avec échantillonnage à fréquence inégale

Dans les problèmes de séries chronologiques, il existe un type de série chronologique qui n'est pas échantillonné à des fréquences égales, c'est-à-dire que les intervalles de temps entre deux observations adjacentes dans chaque groupe sont différents. L'apprentissage de la représentation des séries chronologiques a été beaucoup étudié dans les séries temporelles d'échantillonnage à fréquence égale, mais il y a moins de recherches sur ces séries temporelles d'échantillonnage irrégulier, et la méthode de modélisation de ce type de série temporelle est différente de celle de l'échantillonnage à fréquence égale. Il y a une grande différence dans les méthodes de modélisation

L'article présenté aujourd'hui explore la méthode d'application de l'apprentissage des représentations dans le problème des séries temporelles d'échantillonnage irrégulier, s'appuie sur l'expérience pertinente en PNL et obtient des résultats comparatifs dans les tâches en aval.

Photos

• Titre de l'article : PAITS : Pré-entraînement et augmentation pour les séries temporelles irrégulièrement échantillonnées
• Adresse de téléchargement : https://arxiv.org/pdf/2308.13703v1.pdf

1. définition des données

Ce qui suit est une représentation de données de séries chronologiques irrégulières, comme le montre la figure ci-dessous. Chaque série chronologique se compose d'un ensemble de triplets. Chaque triplet contient trois champs : heure, valeur et caractéristique, qui représentent respectivement l'heure d'échantillonnage, la valeur et d'autres caractéristiques de chaque élément de la série chronologique. En plus de ces triples, chaque séquence comprend également d'autres caractéristiques statiques qui ne changent pas dans le temps, ainsi que des étiquettes pour chaque série temporelle

images

Généralement, cette méthode de modélisation de séries temporelles irrégulières, structure commune Les données triples ci-dessus sont intégrés séparément, assemblés et entrés dans des modèles tels que le transformateur. De cette manière, les informations à chaque instant et la représentation temporelle à chaque instant sont intégrées et entrées dans le modèle pour prédire les tâches ultérieures.

Photos

Dans la tâche de cet article, les données utilisées incluent non seulement les données étiquetées, mais également les données non étiquetées pour le pré-entraînement non supervisé.

2. Présentation de la méthode

La méthode de pré-formation dans cet article fait référence à l'expérience dans le domaine du traitement du langage naturel et couvre principalement deux aspects

Conception des tâches de pré-formation : Afin de gérer des séries temporelles irrégulières, appropriées une pré-formation doit être conçue. La tâche permet au modèle d'apprendre des représentations efficaces à partir de données non supervisées. Cet article présente principalement deux tâches de pré-formation basées sur la prédiction et la reconstruction

Conception de méthodes d'amélioration des données : Dans cette étude, une méthode d'amélioration des données pour l'apprentissage non supervisé a été conçue, comprenant l'ajout de bruit, l'ajout de masques aléatoires, etc.

De plus, l'article présente également un algorithme pour différents ensembles de données distribuées afin d'explorer la méthode optimale d'apprentissage non supervisé

3 Conception des tâches de pré-formation

Cet article propose respectivement deux tâches de pré-formation sur des séries temporelles irrégulières, qui sont des prévisions de pré-entraînement. et préformation en reconstruction.

Dans le pré-entraînement de prévision, pour chaque fonctionnalité de la série temporelle, sa valeur est prédite en fonction de la séquence de précommande d'une fenêtre temporelle d'une certaine taille. Les caractéristiques ici font référence aux fonctionnalités du triplet. Étant donné que chaque fonctionnalité peut apparaître plusieurs fois dans une fenêtre temporelle, ou peut ne pas apparaître du tout, la valeur de la première occurrence de cette fonctionnalité est utilisée comme étiquette pour le pré-entraînement. Les données d'entrée comprennent des séries originales et des séries chronologiques améliorées.

Dans la pré-formation à la reconstruction, d'abord, pour une série chronologique originale, une séquence améliorée est générée via une méthode d'amélioration des données, puis la séquence améliorée est utilisée comme entrée, et le vecteur de représentation est généré par l'encodeur, puis entré vers un décodeur Restaurer la série temporelle d'origine dans le processeur. L'article utilise un masque pour indiquer quelles parties de la séquence doivent être restaurées. Si le masque est entièrement à 1, la séquence entière est restaurée

Après avoir obtenu les paramètres de pré-entraînement, elle peut être directement appliquée à la tâche de réglage fin en aval, l'ensemble du processus de pré-entraînement et de réglage fin, comme indiqué ci-dessous.

Photos

4. Conception de la méthode d'amélioration des données

Dans cet article, nous proposons deux méthodes d'amélioration des données. La première méthode consiste à ajouter du bruit, en introduisant des interférences aléatoires dans les données pour augmenter la diversité des données. La deuxième méthode est le masquage aléatoire, qui encourage le modèle à apprendre des fonctionnalités plus robustes en sélectionnant aléatoirement des parties des données à masquer. Ces méthodes d'amélioration des données peuvent nous aider à améliorer les performances et la capacité de généralisation du modèle

Pour chaque valeur ou point temporel de la séquence d'origine, du bruit peut être ajouté en ajoutant du bruit gaussien. La méthode de calcul spécifique est la suivante :

Images

La méthode de masque aléatoire s'appuie sur des idées de la PNL et construit une série chronologique améliorée en sélectionnant au hasard l'heure, la caractéristique, la valeur et d'autres éléments pour un masquage et un remplacement aléatoires.

La figure suivante montre l'effet des deux types de méthodes d'amélioration des données ci-dessus :

Image

De plus, l'article utilise différentes combinaisons d'amélioration des données, de méthodes de pré-entraînement, etc., pour différentes séries chronologiques données, à partir de ces combinaisons Rechercher la méthode de pré-entraînement optimale.

5. Résultats expérimentaux

Dans cet article, des expériences ont été menées sur plusieurs ensembles de données pour comparer les effets de différentes méthodes de pré-entraînement sur ces ensembles de données. On peut observer que la méthode de pré-entraînement proposée dans l'article a permis d'obtenir une amélioration significative sur la plupart des ensembles de données

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!