Karya terbaharu MIT: menggunakan GPT-3.5 untuk menyelesaikan masalah pengesanan anomali siri masa

Hari ini saya ingin memperkenalkan kepada anda artikel yang diterbitkan oleh MIT minggu lepas, menggunakan GPT-3.5-turbo untuk menyelesaikan masalah pengesanan anomali siri masa, dan pada mulanya mengesahkan keberkesanan LLM dalam pengesanan anomali siri masa. Tiada penalaan dalam keseluruhan proses, dan GPT-3.5-turbo digunakan secara langsung untuk pengesanan anomali Inti artikel ini ialah cara menukar siri masa kepada input yang boleh dikenali oleh GPT-3.5-turbo, dan cara mereka bentuk. gesaan atau saluran paip untuk membenarkan LLM menyelesaikan tugas pengesanan anomali. Izinkan saya memperkenalkan karya ini kepada anda secara terperinci.

Gambar

Tajuk kertas: Model bahasa besar boleh menjadi pengesan anomali sifar pukulan untuk siri masa?

Alamat muat turun: https://arxiv.org/pdf/2405.14755v1

introduction Artikel daripada MIT ini menggunakan LLM (seperti GPT-3.5-turbo, MISTRAL, dll.) untuk pengesanan anomali siri masa. Intinya terletak pada reka bentuk saluran paip, yang kebanyakannya dibahagikan kepada dua bahagian.

Pemprosesan data siri masa: Tukarkan siri masa asal kepada input yang boleh difahami LLM melalui pendiskretan dan kaedah lain

Saluran paip pengesanan anomali berasaskan LM telah mereka bentuk dua saluran paip pengesanan anomali berdasarkan segera, satu adalah berdasarkan segera Kaedah meminta yang besar; model untuk lokasi abnormal, dan model besar memberikan indeks lokasi abnormal yang satu lagi ialah kaedah berasaskan ramalan yang membolehkan model besar melakukan ramalan siri masa dan mencari anomali berdasarkan perbezaan antara nilai ramalan dan nilai sebenar.

Gambar

2. Pemprosesan data siri masa

Untuk menyesuaikan siri masa kepada input LLM, artikel menukar siri masa kepada nombor dan menggunakan nombor sebagai input LLM. Inti di sini ialah cara untuk mengekalkan sebanyak mungkin maklumat siri masa asal dengan panjang terpendek.

Pertama, tolak seragam nilai minimum daripada siri masa asal untuk mengelakkan berlakunya nilai negatif Indeks nilai negatif akan menduduki token. Pada masa yang sama, titik perpuluhan nilai dialihkan semula secara seragam, dan setiap nilai dikekalkan kepada bilangan digit tetap (seperti 3 tempat perpuluhan). Memandangkan GPT mempunyai sekatan pada panjang maksimum input, artikel ini menggunakan strategi tetingkap dinamik untuk membahagikan jujukan asal kepada urutan bertindih dan memasukkannya ke dalam model besar.

Disebabkan tokenizer LLM yang berbeza, untuk mengelakkan nombor daripada dipisahkan sepenuhnya, ruang ditambah di tengah setiap nombor dalam teks untuk memaksa perbezaan. Pengesahan kesan seterusnya juga menunjukkan bahawa kaedah menambah ruang adalah lebih baik daripada tidak menambah ruang. Contoh berikut ialah hasil pemprosesan:

Gambar

Kaedah pemprosesan data yang berbeza, digunakan untuk model besar yang berbeza, akan menghasilkan hasil yang berbeza, seperti yang ditunjukkan dalam rajah di bawah.

Pictures

3. Paip Pengesanan Anomali

Artikel mencadangkan dua saluran paip pengesanan anomali berdasarkan LLM Yang pertama ialah PROMPTER, yang menukar secara langsung masalah pengesanan anomali kepada gesaan dan input. jawapan ; Yang lain ialah DETECTOR, yang membolehkan model besar melakukan ramalan siri masa, dan kemudian menentukan titik abnormal melalui perbezaan antara hasil ramalan dan nilai sebenar.

Pictures

prompter: Jadual berikut adalah proses lelaran yang cepat dalam artikel. , yang terakhir telah dibentuk. Menggunakan gesaan ini, model boleh terus mengeluarkan maklumat indeks lokasi yang tidak normal.

Gambar

DETECTOR: Terdapat banyak kerja menggunakan model besar untuk ramalan siri masa sebelum ini. Siri masa yang diproses dalam artikel ini secara langsung boleh membenarkan model besar menjana hasil ramalan. Ambil median berbilang hasil yang dijana dalam tetingkap berbeza, dan kemudian gunakan perbezaan antara hasil yang diramalkan dan hasil sebenar sebagai asas untuk pengesanan anomali.

4. Hasil eksperimen

Melalui perbandingan eksperimen, didapati kaedah pengesanan anomali berdasarkan model besar dapat meningkatkan kesan sebanyak 12.5% ​​​​disebabkan oleh model pengesanan anomali berdasarkan Transformer. AER (AER: Auto-Encoder dengan Regresi untuk Pengesanan Anomali Siri Masa) ialah kaedah pengesanan anomali yang paling berkesan berdasarkan pembelajaran mendalam dan masih 30% lebih baik daripada kaedah berasaskan LLM. Selain itu, kaedah saluran paip berdasarkan PENGARAH adalah lebih baik daripada kaedah berasaskan PROMTER.

Gambar

Selain itu, artikel itu juga menggambarkan proses pengesanan anomali model besar, seperti yang ditunjukkan di bawah.

Gambar Gambar