MIT의 최신 걸작: GPT-3.5를 사용하여 시계열 이상 탐지 문제 해결

Pictures

논문 제목: 대규모 언어 모델은 시계열에 대한 제로샷 이상 탐지기가 될 수 있습니까?

다운로드 주소: https://arxiv.org/pdf/2405.14755v1

1. MIT의 이 기사에서는 시계열 이상 탐지를 위해 LLM(예: GPT-3.5-turbo, MISTRAL 등)을 사용합니다. 핵심은 주로 두 부분으로 나누어지는 파이프라인의 설계에 있습니다.

시계열 데이터 처리: 이산화 및 기타 방법을 통해 원본 시계열을 LLM 이해 가능한 입력으로 변환합니다.

LM 기반 이상 탐지 파이프라인은 프롬프트 기반의 두 가지 이상 탐지 파이프라인을 설계했으며, 그 중 하나는 프롬프트 기반 방법입니다. 큰 모델은 이상 위치에 대한 지표를 제공하고, 다른 하나는 예측값과 이상 위치의 차이를 기반으로 대형 모델이 시계열 예측을 수행하고 이상 위치를 찾아내는 예측 기반 방법입니다. 실제 값.

Pictures2. 시계열 데이터 처리

시계열을 LLM 입력에 맞추기 위해 기사에서는 시계열을 숫자로 변환하고 숫자를 LLM의 입력으로 사용합니다. 여기서 핵심은 가장 짧은 길이로 최대한 많은 원본 시계열 정보를 유지하는 방법입니다.

먼저 음수 값이 발생하지 않도록 원래 시계열에서 최소값을 균일하게 빼면 토큰이 차지합니다. 동시에 값의 소수점은 균일하게 뒤로 이동되며 각 값은 고정된 자릿수(소수점 3자리 등)로 유지됩니다. GPT는 입력의 최대 길이에 제한이 있으므로 이 기사에서는 원본 시퀀스를 겹치는 하위 시퀀스로 나누고 이를 대형 모델에 입력하는 동적 창 전략을 채택합니다.

LLM 토크나이저가 다르기 때문에 숫자가 완전히 분리되는 것을 방지하기 위해 텍스트의 각 숫자 중간에 공백을 추가하여 구분을 강제합니다. 후속 효과 검증에서도 공백을 추가하는 방법이 공백을 추가하지 않는 것보다 나은 것으로 나타났습니다. 다음 예는 처리 결과입니다.

Pictures 다양한 대형 모델에 사용되는 다양한 데이터 처리 방법은 아래 그림과 같이 다양한 결과를 생성합니다.

Pictures3. 이상 감지 파이프라인

이 기사에서는 LLM을 기반으로 하는 두 가지 이상 감지 파이프라인을 제안합니다. 첫 번째는 이상 감지 문제를 프롬프트로 변환하고 대규모 모델을 입력하여 모델이 직접 제공할 수 있도록 하는 것입니다. 다른 하나는 대형 모델이 시계열 예측을 수행한 후 예측 결과와 실제 값의 차이를 통해 이상 지점을 판별하는 DETECTOR입니다.

PicturesPROMPTER: 다음 표는 기사의 프롬프트 반복 프로세스입니다. 가장 간단한 프롬프트부터 시작하여 LLM에서 제공한 결과에서 지속적으로 문제를 발견하고 5번의 반복을 거쳐 프롬프트를 개선했습니다. , 마지막 것이 프롬프트되었습니다. 이 프롬프트를 이용하여 모델은 이상 위치의 지표 정보를 직접 출력할 수 있습니다.

Pictures탐지기: 이전에는 시계열 예측을 위해 대형 모델을 사용한 작업이 많았습니다. 이 문서에서 처리된 시계열을 통해 대규모 모델이 예측 결과를 직접 생성할 수 있습니다. 서로 다른 창에서 생성된 여러 결과의 중앙값을 취한 다음 예측 결과와 실제 결과 간의 차이를 이상 탐지의 기초로 사용합니다.

4. 실험 결과

실험적 비교를 통해 대형 모델 기반의 이상 탐지 방법은 Transformer 기반의 이상 탐지 모델로 인해 12.5% ​​정도의 효과를 향상시킬 수 있는 것으로 나타났다. AER(AER: Auto-Encoder with Regression for Time Series Anomaly Discovery)은 딥러닝 기반의 가장 효과적인 이상 탐지 방법이며 LLM 기반 방법보다 여전히 30% 우수합니다. 또한 DIRECTOR 기반의 파이프라인 방식이 PROMTER 기반의 방식보다 우수하다.

Pictures

또한 기사에는 아래와 같이 대형 모델의 이상 탐지 프로세스도 시각화되어 있습니다. ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ