Pembelajaran kontrastif sedar graf meningkatkan kesan klasifikasi siri masa berbilang variasi

Kertas kerja dalam AAAI 2024 ini diterbitkan bersama oleh Agensi Sains, Teknologi dan Penyelidikan Singapura (A*STAR) dan Universiti Teknologi Nanyang, Singapura Ia mencadangkan kaedah untuk menggunakan pembelajaran kontrastif sedar graf untuk meningkatkan klasifikasi siri masa multivariate. Keputusan eksperimen menunjukkan bahawa kaedah ini telah mencapai keputusan yang luar biasa dalam meningkatkan prestasi pengelasan siri masa.

Gambar

Tajuk kertas: Graph-Aware Contrasting for Multivariate Time-Siri Klasifikasi

Alamat muat turun: https://arxiv.org/pdf/2309.05202.pdf

source code . com/Frank-Wang-oss/TS-GAC

1 Pengenalan keseluruhan

Berdasarkan kaedah pembelajaran kontrastif yang sedia ada, penulis mencadangkan kaedah yang dipanggil graph-aware contrast (TS-GAC) Kaedah ini direka untuk menyelesaikan masalah ketekalan ruang bagi pelbagai sensor dalam data MTS. TS-GAC terdiri daripada dua komponen utama: peningkatan graf dan perbandingan graf. Peningkatan graf meningkatkan ketekalan ruang melalui peningkatan nod dan tepi untuk mengekalkan kestabilan dan perkaitan penderia. Perbandingan graf memperkenalkan perbandingan masa berbilang tetingkap untuk mengekalkan ketekalan masa. Melalui pengesahan percubaan yang meluas, kaedah ini mencapai prestasi optimum pada pelbagai tugas pengelasan MTS. Penemuan ini menyerlahkan kepentingan untuk mempertimbangkan konsistensi ruang dalam pembelajaran kontrastif data MTS dan menyediakan penyelesaian komprehensif yang meningkatkan prestasi klasifikasi dengan ketara. Penyelidikan ini sangat penting untuk menambah baik lagi kesan pembelajaran kontrastif dan menyediakan alat yang berkuasa untuk memproses data MTS.

Gambar

2. Struktur model

Kaedah yang dicadangkan dalam artikel ini terutamanya merangkumi dua bahagian: peningkatan imej dan perbandingan imej.

Untuk meningkatkan data MTS dengan berkesan, kami memperkenalkan peningkatan nod dan tepi untuk menjana pandangan yang lemah dan pandangan yang kuat. Peningkatan nod termasuk peningkatan domain kekerapan dan domain masa untuk meningkatkan sepenuhnya nod graf. Mula-mula, kami menggunakan peningkatan domain frekuensi untuk meningkatkan nod, dan kemudian membahagikan sampel yang dipertingkatkan kepada berbilang tetingkap mengikut corak tempatan dinamik dalam data MTS (seperti ditunjukkan dalam Rajah 2). Dalam setiap tetingkap, kami menggunakan pembesaran temporal nod dan melakukan pengekstrakan ciri pada tetingkap melalui rangkaian neural convolutional satu dimensi. Selepas itu, kami membina graf untuk setiap tetingkap dan meningkatkan lagi graf melalui peningkatan tepi. Akhir sekali, kami menggunakan pengekod berasaskan rangkaian saraf graf untuk pemprosesan graf dan pembelajaran ciri.

Gambar

Perbandingan graf: termasuk perbandingan peringkat nod dan perbandingan peringkat graf untuk mencapai ketekalan ruang. Perbandingan tahap nod memastikan keteguhan ciri nod dengan menarik penderia sepadan lebih dekat dalam pandangan berbeza dan menolak penderia berbeza lebih jauh dalam pandangan berbeza. Perbandingan peringkat graf seterusnya memastikan keteguhan ciri global dengan membandingkan sampel dalam pandangan yang berbeza.

Seni bina bertujuan untuk mencapai konsistensi ruang dalam pembelajaran kontras, menyediakan teknik peningkatan dan kontras khusus untuk klasifikasi MTS. Dengan terlebih dahulu menggunakan peningkatan nod, kemudian menggunakan peningkatan temporal dalam nod, dan akhirnya peningkatan tepi yang diproses oleh GNN, kaedah ini mampu menjana pandangan yang lemah dan kuat dengan sifat spatial dan temporal yang berbeza untuk setiap sampel. Inovasi kaedah ini ialah ia bukan sahaja mempertimbangkan ketekalan temporal, tetapi juga meningkatkan ketekalan ruang melalui struktur graf, memberikan perspektif baharu untuk analisis dan pemprosesan data MTS yang mendalam.

3. Modul peningkatan graf

Memandangkan ciri-ciri data MTS, iaitu, sebagai data yang dikumpul oleh berbilang penderia, penulis mencadangkan dua kaedah utama peningkatan nod dan tepi:

Peningkatan nod: dibahagikan kepada peningkatan domain frekuensi dan peningkatan domain masa. Peningkatan domain frekuensi menukar isyarat setiap penderia kepada domain frekuensi, meningkatkan ciri frekuensi yang diekstrak, dan kemudian menukar ciri frekuensi yang dipertingkatkan kembali ke domain masa untuk mendapatkan isyarat yang dipertingkatkan. Secara khusus, transformasi wavelet diskret digunakan untuk menguraikan isyarat melalui penapis laluan tinggi dan laluan rendah untuk mewakili aliran makro dan aliran mikro dalam isyarat. Peningkatan domain masa mengambil kira ciri dinamik data MTS dengan membahagikan setiap sampel MTS kepada berbilang tetingkap dan melaksanakan peningkatan domain masa dalam setiap tetingkap.

Peningkatan tepi: bertujuan untuk meningkatkan korelasi antara penderia, iaitu, tepi dalam graf yang dibina. Nod (sensor) dan tepi (korelasi antara sensor) mula-mula ditakrifkan melalui proses pembinaan graf. Kemudian, korelasi antara penderia dipertingkatkan dengan berkesan melalui kaedah peningkatan tepi. Dalam langkah ini, memandangkan korelasi kuat adalah lebih penting daripada korelasi lemah dalam perambatan ciri GNN, apabila melakukan peningkatan kelebihan, korelasi s terkuat dikekalkan untuk memastikan kestabilan maklumat topologi, dan korelasi yang selebihnya digantikan dengan nilai rawak ​untuk meningkatkan sambungan tepi.

Melalui strategi peningkatan ini, penulis menyasarkan untuk menjana pandangan yang lemah dan pandangan yang kuat supaya proses pembelajaran kontrastif seterusnya dapat mempelajari ciri sensor yang mantap dan hubungan antara sensor. Reka bentuk strategi peningkatan ini mengambil kira sifat pelbagai sumber dan dinamik data MTS, dan meningkatkan keupayaan CL dengan menyediakan paparan data dari sudut yang berbeza, supaya perwakilan yang lebih mantap dan umum boleh dipelajari. Modul perbandingan graf Ia terutamanya merangkumi tiga peringkat perbandingan: perbandingan masa berbilang tetingkap, perbandingan peringkat nod dan perbandingan peringkat graf.

Multi-Window Temporal Contrasting (MWTC): Kaedah ini memastikan ketekalan temporal setiap sensor pada tahap sensor dan mengekalkan keteguhan pergantungan temporal dalam data MTS melalui pengekodan ramalan. MWTC mengekalkan keteguhan corak temporal dengan meringkaskan maklumat tetingkap lalu dalam satu paparan dan membandingkannya dengan tetingkap masa hadapan dalam paparan lain.

Kontras tahap nod (NC): NC mempelajari ciri tahap sensor yang mantap dengan membandingkan penderia dalam pandangan berbeza dalam setiap sampel MTS. Ini melibatkan memaksimumkan persamaan antara penderia yang sepadan dalam dua pandangan sambil meminimumkan persamaan antara penderia yang berbeza dalam pandangan tersebut.

Pebezaan Tahap Grafik (GC): GC menggalakkan pembelajaran ciri peringkat global yang mantap dengan membandingkan sampel dalam setiap kumpulan latihan. Strategi ini berfungsi dengan memaksimumkan persamaan antara sampel yang sepadan dalam dua pandangan sambil meminimumkan persamaan antara sampel yang berbeza dalam pandangan tersebut.

Strategi pembelajaran kontrastif ini bekerjasama untuk meningkatkan pembelajaran perwakilan data MTS melalui struktur graf, dengan itu meningkatkan ketepatan pengelasan. Artikel ini juga menyerlahkan kepentingan perbandingan temporal untuk mengekalkan ketekalan temporal bagi setiap penderia, serta peranan perbandingan graf dalam mempelajari ciri teguh pada penderia dan peringkat global. Dengan menggabungkan perbandingan aras nod dan aras graf, kaedah ini boleh mempelajari corak spatial dan temporal yang kompleks dalam data MTS dengan berkesan dan mencapai peningkatan yang ketara dalam prestasi klasifikasi MTS.

5. Keputusan eksperimen

Dalam bahagian percubaan, kertas kerja membandingkan prestasi pada sepuluh set data siri masa multivariate awam dan membandingkannya dengan kaedah terkini yang sedia ada. Set data ini termasuk Human Activity Recognition (HAR), klasifikasi peringkat tidur ISRUC dan sub-dataset dalam set data UEA seperti pergerakan jari, angka Arab yang dituturkan, dsb. Untuk perbandingan yang saksama, semua kaedah menggunakan pengekod yang sama. Keputusan eksperimen menunjukkan bahawa TS-GAC mencapai prestasi terbaik pada lapan set data, terutamanya pada set data HAR dan ISRUC Berbanding dengan kaedah lain, ketepatan masing-masing meningkat sebanyak 1.44% dan 3.13%.

Pictures

Pada masa yang sama, pengarang juga memvisualisasikan ciri model Hasil visualisasi menunjukkan bahawa TS-GAC boleh mengekstrak ciri tahap sensor yang lebih jelas. Pada masa yang sama, berbanding dengan kaedah lain, TS-GAC boleh memperoleh ciri tahap sensor yang lebih konsisten untuk data dari sudut tontonan yang berbeza.

Gambar

Pengarang juga menjalankan kajian ablasi untuk menilai kesan teknik peningkatan dan kontras yang direka pada prestasi model. Kajian ablasi menguji variasi yang berbeza, termasuk yang mengalih keluar peningkatan nod, mengalihkan peningkatan tepi, mengalih keluar kontras peringkat graf, mengalih keluar kontras peringkat nod dan mengalih keluar kontras temporal berbilang tetingkap. Keputusan menunjukkan bahawa peningkatan graf dan teknik kontras graf sangat berkesan dalam meningkatkan ketekalan ruang data MTS, dan TS-GAC yang lengkap menunjukkan prestasi yang lebih baik daripada mana-mana varian yang mengurangkan kehilangan kontras.

Picture

Selain itu, penulis juga menganalisis sensitiviti model, termasuk kesan hiperparameter (seperti λMWTC, λGC, λNC) dan kesan bilangan tepi yang dikekalkan. Analisis ini mengesahkan lagi keberkesanan dan keteguhan kaedah yang dicadangkan. Secara keseluruhannya, keputusan eksperimen menyerlahkan keupayaan TS-GAC untuk mencapai prestasi optimum pada pelbagai tugas pengelasan MTS, menunjukkan kepentingan teknik peningkatan graf dan perbandingan graf yang dicadangkan dalam meningkatkan ketekalan spatial model pada data MTS dan keberkesanan.