Model besar juga sangat berkuasa dalam ramalan siri masa! Pasukan China mengaktifkan keupayaan baharu LLM dan mencapai SOTA melebihi model tradisional

Potensi model bahasa besar dirangsang -

Ramalan siri masa berketepatan tinggi boleh dicapai tanpa melatih model bahasa besar, mengatasi semua model siri masa tradisional.

Monash University, Ant dan IBM Research bersama-sama membangunkan rangka kerja umum yang berjaya mempromosikan keupayaan model bahasa besar untuk memproses data jujukan merentas modaliti. Rangka kerja telah menjadi inovasi teknologi yang penting.

Ramalan siri masa bermanfaat untuk membuat keputusan dalam sistem kompleks biasa seperti bandar, tenaga, pengangkutan, penderiaan jauh, dsb.

Sejak itu, model besar dijangka merevolusikan kaedah perlombongan data siri masa/spatiotemporal.

Rangka kerja pengaturcaraan semula model bahasa besar universal

Pasukan penyelidik mencadangkan rangka kerja umum untuk menggunakan model bahasa besar dengan mudah untuk ramalan siri masa umum tanpa sebarang latihan.

Terutamanya mencadangkan dua teknologi utama: pengaturcaraan semula input masa;

Time-LLM mula-mula menggunakan prototaip teks (Prototaip Teks) untuk memprogram semula data masa input, dan menggunakan perwakilan bahasa semula jadi untuk mewakili maklumat semantik data masa, dengan itu menjajarkan dua modaliti data yang berbeza, supaya model bahasa yang besar tidak memerlukan Sebarang pengubahsuaian untuk memahami maklumat di sebalik modaliti data lain. Pada masa yang sama, model bahasa besar tidak memerlukan sebarang set data latihan khusus untuk memahami maklumat di sebalik modaliti data yang berbeza. Kaedah ini bukan sahaja meningkatkan ketepatan model, tetapi juga memudahkan proses prapemprosesan data.

Untuk mengendalikan data siri masa input dan analisis tugasan yang sepadan dengan lebih baik, penulis mencadangkan paradigma Prompt-as-Prefix (PaP). Paradigma ini mengaktifkan sepenuhnya keupayaan pemprosesan LLM pada tugas temporal dengan menambahkan maklumat kontekstual tambahan dan arahan tugas sebelum perwakilan data temporal. Kaedah ini boleh mencapai analisis yang lebih halus tentang tugasan pemasaan, dan mengaktifkan sepenuhnya keupayaan pemprosesan LLM pada tugasan pemasaan dengan menambahkan maklumat kontekstual tambahan dan arahan tugasan di hadapan jadual data pemasaan.

Sumbangan utama termasuk:

• Mencadangkan konsep baharu pengaturcaraan semula model bahasa besar untuk analisis masa tanpa sebarang pengubahsuaian kepada model bahasa tulang belakang.
• Cadangkan Time-LLM, rangka kerja pengaturcaraan semula model bahasa umum, yang terdiri daripada pengaturcaraan semula data temporal input ke dalam perwakilan prototaip teks yang lebih semula jadi dan mempertingkatkan konteks input dengan isyarat deklaratif seperti pengetahuan pakar domain dan huraian tugas , untuk membimbing LLM untuk penaakulan merentas domain yang berkesan.
  
• Prestasi dalam tugas ramalan arus perdana secara konsisten melebihi prestasi model sedia ada terbaik, terutamanya dalam senario beberapa sampel dan sifar sampel. Tambahan pula, Time-LLM mampu mencapai prestasi yang lebih tinggi sambil mengekalkan kecekapan pengaturcaraan semula model yang cemerlang. Membuka kunci potensi LLM yang belum diterokai untuk siri masa dan data berjujukan lain.

Melihat rangka kerja ini secara khusus, pertama, data siri masa input dinormalkan oleh RevIN, dan kemudian dibahagikan kepada patch berbeza dan dipetakan ke ruang terpendam.

Terdapat perbezaan ketara dalam kaedah ungkapan antara data siri masa dan data teks, dan ia tergolong dalam modaliti yang berbeza.

Siri masa tidak boleh diedit secara langsung atau digambarkan tanpa kehilangan dalam bahasa semula jadi. Oleh itu, kita perlu menyelaraskan ciri input temporal kepada domain teks bahasa semula jadi.

Cara biasa untuk menjajarkan modaliti yang berbeza ialah merentas perhatian, tetapi perbendaharaan kata yang wujud bagi LLM adalah sangat besar, jadi adalah mustahil untuk menjajarkan ciri temporal secara langsung dengan semua perkataan dan bukan semua perkataan berkaitan dengan masa. Urutan telah menyelaraskan hubungan semantik.

Untuk menyelesaikan masalah ini, kerja ini melakukan gabungan linear perbendaharaan kata untuk mendapatkan prototaip teks Bilangan prototaip teks adalah jauh lebih kecil daripada perbendaharaan kata asal, dan gabungan itu boleh digunakan untuk mewakili ciri-ciri perubahan data siri masa. .

Untuk mengaktifkan sepenuhnya keupayaan LLM pada tugas pemasaan tertentu, kerja ini mencadangkan paradigma awalan segera.

Ringkasnya, beberapa maklumat terdahulu set data siri masa disalurkan kepada LLM dalam bentuk bahasa semula jadi sebagai gesaan awalan, dan ciri siri masa yang diselaraskan disambungkan bersama. Bolehkah kesan ramalan dipertingkatkan?

Dalam amalan, pengarang mengenal pasti tiga komponen utama untuk membina gesaan yang berkesan:

konteks set data; (2) arahan tugas, membolehkan LLM menyesuaikan diri dengan tugasan hiliran yang berbeza, seperti arah aliran , kelewatan , dsb., membolehkan LLM memahami dengan lebih baik ciri-ciri data siri masa.

Pasukan menjalankan ujian komprehensif ke atas 8 set data awam klasik untuk ramalan jarak jauh.

Hasilnya ialah Time-LLM dengan ketara melebihi keputusan terbaik sebelumnya dalam bidang dalam perbandingan penanda aras Contohnya, berbanding dengan GPT4TS yang secara langsung menggunakan GPT-2, Time-LLM mempunyai peningkatan yang ketara, menunjukkan keberkesanan kaedah ini. .

Selain itu, ia juga menunjukkan keupayaan ramalan yang kuat dalam senario sifar pukulan.

Projek ini disokong oleh NextEvo, jabatan R&D inovasi AI bagi Bahagian Enjin Pintar Kumpulan Ant.

Rakan-rakan yang berminat boleh klik pada pautan di bawah untuk mengetahui lebih lanjut tentang kertas kerja~

Pautan kertashttps://arxiv.org/abs/2310.01728.