Le dernier chef-d'œuvre du MIT : utiliser GPT-3.5 pour résoudre le problème de la détection des anomalies des séries chronologiques

Photos

Titre de l'article : Les grands modèles de langage peuvent être des détecteurs d'anomalies à tir nul pour les séries chronologiques ?

Adresse de téléchargement : https://arxiv.org/pdf/2405.14755v1

1 Introduction générale

. Cet article du MIT utilise LLM (tel que GPT-3.5-turbo, MISTRAL, etc.) pour la détection d'anomalies de séries chronologiques. L’essentiel réside dans la conception du pipeline, qui est principalement divisé en deux parties.

Traitement des données de séries chronologiques : convertissez la série chronologique d'origine en entrée compréhensible LLM via la discrétisation et d'autres méthodes ;

Le pipeline de détection d'anomalies basé sur LM a conçu deux pipelines de détection d'anomalies basés sur une invite, l'un est basé sur une invite. l'emplacement anormal, et le grand modèle donne l'indice de l'emplacement anormal ; l'autre est une méthode basée sur la prédiction qui permet au grand modèle d'effectuer une prédiction de séries chronologiques et de localiser l'anomalie sur la base de la différence entre la valeur prédite et la valeur prédite. valeur actuelle.

Images

2. Traitement des données des séries chronologiques

Afin d'adapter la série chronologique à l'entrée LLM, l'article convertit la série chronologique en nombres et utilise les nombres comme entrée de LLM. L’essentiel ici est de savoir comment conserver autant d’informations originales que possible sur les séries chronologiques avec la longueur la plus courte.

Tout d'abord, soustrayez uniformément la valeur minimale de la série chronologique d'origine pour éviter l'apparition de valeurs négatives. Les index de valeur négative occuperont un jeton. Dans le même temps, les points décimaux des valeurs sont uniformément reculés et chaque valeur est conservée jusqu'à un nombre fixe de chiffres (par exemple 3 décimales). Étant donné que GPT impose des restrictions sur la longueur maximale de l'entrée, cet article adopte une stratégie de fenêtre dynamique pour diviser la séquence d'origine en sous-séquences qui se chevauchent et les saisir dans le grand modèle.

En raison des différents tokeniseurs LLM, afin d'éviter que les nombres ne soient complètement séparés, un espace est ajouté au milieu de chaque nombre dans le texte pour forcer la distinction. Une vérification ultérieure de l'effet a également montré que la méthode d'ajout d'espaces est meilleure que de ne pas ajouter d'espaces. Les exemples suivants sont les résultats du traitement :

Images

Différentes méthodes de traitement des données, utilisées pour différents grands modèles, produiront des résultats différents, comme le montre la figure ci-dessous.

Photos

3. Pipeline de détection d'anomalies

L'article propose deux pipelines de détection d'anomalies basés sur LLM. Le premier est PROMPTER, qui convertit les problèmes de détection d'anomalies en invites et en entrées de grands modèles, permettant aux modèles de donner directement. ; L'autre est DETECTOR, qui permet à de grands modèles d'effectuer des prédictions de séries chronologiques, puis de déterminer les points anormaux grâce à la différence entre les résultats de la prédiction et les valeurs réelles.

Photos

PROMPTER : Le tableau suivant est le processus d'itération d'invite dans l'article. En partant de l'invite la plus simple, nous avons constamment trouvé des problèmes avec les résultats donnés par LLM et amélioré l'invite après 5 versions d'itération. , la dernière invite a été formée. À l'aide de cette invite, le modèle peut directement générer les informations d'index de l'emplacement anormal.

Photos

DÉTECTEUR : Il y a eu beaucoup de travaux utilisant de grands modèles pour la prévision de séries chronologiques auparavant. Les séries chronologiques traitées dans cet article peuvent directement permettre à de grands modèles de générer des résultats de prédiction. Prenez la médiane de plusieurs résultats générés dans différentes fenêtres, puis utilisez la différence entre les résultats prédits et les résultats réels comme base pour la détection des anomalies.

4. Résultats expérimentaux

Grâce à une comparaison expérimentale, il s'avère que la méthode de détection d'anomalies basée sur de grands modèles peut améliorer l'effet de 12,5% grâce au modèle de détection d'anomalies basé sur Transformer. AER (AER : Auto-Encoder with Regression for Time Series Anomaly Detection) est la méthode de détection d'anomalies la plus efficace basée sur l'apprentissage profond et est toujours 30 % meilleure que la méthode basée sur LLM. De plus, la méthode pipeline basée sur DIRECTOR est meilleure que la méthode basée sur PROMTER.

Photos

De plus, l'article visualise également le processus de détection des anomalies du grand modèle, comme indiqué ci-dessous.

Photos