Das neueste Meisterwerk des MIT: Verwendung von GPT-3.5 zur Lösung des Problems der Erkennung von Zeitreihenanomalien

Bilder

Papiertitel: Große Sprachmodelle können Zero-Shot-Anomaliedetektoren für Zeitreihen sein?

Download-Adresse: https://arxiv.org/pdf/2405.14755v1

1. Allgemeine Einführung

Dieser Artikel vom MIT verwendet LLM (wie GPT-3.5-turbo, MISTRAL usw.) zur Erkennung von Zeitreihenanomalien. Der Kern liegt im Design der Pipeline, die im Wesentlichen in zwei Teile gegliedert ist.

Zeitreihendatenverarbeitung: Konvertieren Sie die ursprüngliche Zeitreihe durch Diskretisierung und andere Methoden in LLM-verständliche Eingaben.

Die LM-basierte Anomalieerkennungspipeline hat zwei Anomalieerkennungspipelines basierend auf der Eingabeaufforderung entworfen, eine basiert auf der Eingabeaufforderung. Die Methode fragt die große Modell für den abnormalen Ort, und das große Modell gibt den Index des abnormalen Ortes an; das andere ist eine vorhersagebasierte Methode, die es dem großen Modell ermöglicht, eine Zeitreihenvorhersage durchzuführen und die Anomalie basierend auf der Differenz zwischen dem vorhergesagten Wert und dem zu lokalisieren tatsächlicher Wert.

Bilder

2. Zeitreihendatenverarbeitung

Um die Zeitreihen an die LLM-Eingabe anzupassen, wandelt der Artikel die Zeitreihen in Zahlen um und verwendet Zahlen als Eingabe von LLM. Dabei geht es vor allem darum, möglichst viele ursprüngliche Zeitreiheninformationen mit möglichst kurzer Länge beizubehalten.

Subtrahieren Sie zunächst gleichmäßig den Mindestwert von der ursprünglichen Zeitreihe, um zu verhindern, dass negative Wertindizes einen Token belegen. Gleichzeitig werden die Dezimalstellen der Werte gleichmäßig nach hinten verschoben und jeder Wert wird auf einer festen Anzahl von Stellen (z. B. 3 Dezimalstellen) beibehalten. Da GPT Einschränkungen hinsichtlich der maximalen Eingabelänge hat, verwendet dieser Artikel eine dynamische Fensterstrategie, um die ursprüngliche Sequenz in überlappende Teilsequenzen zu unterteilen und diese in das große Modell einzugeben.

Um zu verhindern, dass die Zahlen vollständig getrennt werden, wird aufgrund unterschiedlicher LLM-Tokenizer in der Mitte jeder Zahl im Text ein Leerzeichen eingefügt, um die Unterscheidung zu erzwingen. Die anschließende Überprüfung des Effekts zeigte auch, dass die Methode des Hinzufügens von Leerzeichen besser ist als das Nicht-Hinzufügen von Leerzeichen. Die folgenden Beispiele sind die Verarbeitungsergebnisse:

Bilder

Verschiedene Datenverarbeitungsmethoden, die für verschiedene große Modelle verwendet werden, führen zu unterschiedlichen Ergebnissen, wie in der folgenden Abbildung dargestellt.

Bilder

3. Der Artikel schlägt zwei auf LLM basierende Anomalieerkennungspipelines vor, die Anomalieerkennungsprobleme in Eingabeaufforderungen umwandeln und große Modelle eingeben Antworten ; Der andere ist DETECTOR, der es großen Modellen ermöglicht, Zeitreihenvorhersagen durchzuführen und dann abnormale Punkte anhand der Differenz zwischen den Vorhersageergebnissen und den tatsächlichen Werten zu bestimmen.

BilderPROMPTER: Die folgende Tabelle zeigt den Prozess der Eingabeaufforderung im Artikel. Ausgehend von der einfachsten Eingabeaufforderung haben wir ständig Probleme mit den von LLM bereitgestellten Ergebnissen festgestellt und die Eingabeaufforderung nach 5 Iterationsversionen verbessert , der letzte wurde prompt gebildet. Mithilfe dieser Eingabeaufforderung kann das Modell die Indexinformationen des abnormalen Standorts direkt ausgeben.

BilderDETEKTOR: Es wurde bereits viel mit großen Modellen für die Zeitreihenvorhersage gearbeitet. Die in diesem Artikel verarbeiteten Zeitreihen können es großen Modellen direkt ermöglichen, Vorhersageergebnisse zu generieren. Nehmen Sie den Median mehrerer in verschiedenen Fenstern generierter Ergebnisse und verwenden Sie dann die Differenz zwischen den vorhergesagten Ergebnissen und den tatsächlichen Ergebnissen als Grundlage für die Anomalieerkennung.

4. Experimentelle Ergebnisse

Durch experimentelle Vergleiche wurde festgestellt, dass die auf großen Modellen basierende Anomalieerkennungsmethode den Effekt aufgrund des auf Transformer basierenden Anomalieerkennungsmodells um 12,5 % verbessern kann. AER (AER: Auto-Encoder with Regression for Time Series Anomaly Detection) ist die effektivste Methode zur Anomalieerkennung auf Basis von Deep Learning und immer noch 30 % besser als die LLM-basierte Methode. Darüber hinaus ist die auf DIRECTOR basierende Pipeline-Methode besser als die auf PROMTER basierende Methode.

Bilder

Darüber hinaus visualisiert der Artikel auch den Anomalieerkennungsprozess des großen Modells, wie unten gezeigt.

Bilder