Penyelesaian bijak untuk masalah 'kekurangan data'! GPD sumber terbuka Tsinghua: menggunakan model resapan untuk menjana parameter rangkaian saraf

Model ramalan spatiotemporal tradisional biasanya memerlukan sejumlah besar sokongan data untuk mencapai hasil yang baik.

Walau bagaimanapun, data spatiotemporal (seperti data trafik dan aliran orang ramai) di banyak kawasan adalah terhad disebabkan oleh perbezaan dalam tahap pembangunan bandar yang berbeza dan dasar pengumpulan data yang tidak konsisten. Oleh itu, kebolehpindahan model menjadi sangat penting apabila data adalah terhad.

Penyelidikan semasa bergantung terutamanya pada data dari bandar sumber untuk melatih model dan menggunakannya pada data dari bandar sasaran, tetapi pendekatan ini selalunya memerlukan reka bentuk padanan yang kompleks. Cara untuk mencapai pemindahan pengetahuan yang lebih luas antara bandar sumber dan sasaran kekal sebagai isu yang mencabar.

Baru-baru ini, model pra-latihan telah mencapai kemajuan yang ketara dalam bidang pemprosesan bahasa semula jadi dan penglihatan komputer. Pengenalan teknologi segera mengecilkan jurang antara penalaan halus dan pra-latihan, membolehkan model pra-latihan lanjutan menyesuaikan diri dengan tugas baharu dengan lebih cepat. Kelebihan kaedah ini ialah ia mengurangkan pergantungan pada penalaan halus yang membosankan dan meningkatkan kecekapan dan fleksibiliti model. Melalui teknologi segera, model boleh lebih memahami keperluan pengguna dan menghasilkan output yang lebih tepat, sekali gus memberikan pengalaman dan perkhidmatan yang lebih baik kepada orang ramai. Pendekatan inovatif ini memacu pembangunan teknologi kecerdasan buatan, membawa lebih banyak kemungkinan dan peluang kepada pelbagai industri.

Gambar

Pautan kertas: https://openreview.net/forum?id=QyFm3D3Tzi

Kod sumber terbuka dan data: //m.sbmmt.com/link/6644cb034d30b308d

Penerbitan terkini di ICLR2024 Hasil "Pembelajaran Sedikit Tangkapan Spatio-Temporal melalui Penjanaan Rangkaian Neural Diffusive" Pusat Penyelidikan Sains Bandar dan Pengkomputeran Jabatan Kejuruteraan Elektronik Universiti Tsinghua memperkenalkan model GPD (Generative Pre-Trained Diffusion) dan berjaya merealisasikan spatio- pembelajaran temporal dalam kajian senario data yang jarang.

Kaedah ini menggunakan parameter rangkaian neural generatif untuk mengubah pembelajaran data jarang spatiotemporal kepada masalah pra-latihan generatif model resapan. Tidak seperti kaedah tradisional, kaedah ini tidak lagi memerlukan pengekstrakan ciri yang boleh dipindah milik atau mereka bentuk strategi padanan corak yang kompleks, dan juga tidak perlu mempelajari permulaan model yang baik untuk senario beberapa pukulan.

Sebaliknya, kaedah ini mempelajari pengetahuan tentang pengoptimuman parameter rangkaian saraf dengan pra-latihan pada data daripada bandar sumber, dan kemudian menjana model rangkaian saraf yang sesuai untuk bandar sasaran berdasarkan gesaan.

Inovasi kaedah ini ialah ia boleh menjana rangkaian neural tersuai berdasarkan "prompt", secara berkesan menyesuaikan diri dengan perbezaan dalam pengedaran data dan ciri-ciri antara bandar yang berbeza, dan mencapai pemindahan pengetahuan spatio-temporal yang bijak.

Penyelidikan ini memberikan idea baharu untuk menyelesaikan masalah kekurangan data dalam pengkomputeran bandar. Data dan kod kertas adalah sumber terbuka.

Daripada pengedaran data kepada pengedaran parameter rangkaian saraf

Rajah 1: Pemindahan pengetahuan tahap corak data berbanding pemindahan pengetahuan peringkat rangkaian saraf

Seperti yang ditunjukkan dalam Rajah 1(a), kaedah pemindahan pengetahuan tradisional biasanya pada sumber Latih model pada data bandar dan kemudian gunakannya pada bandar sasaran. Walau bagaimanapun, mungkin terdapat perbezaan yang ketara dalam pengedaran data antara bandar yang berbeza, yang mengakibatkan penghijrahan langsung model bandar sumber yang mungkin tidak sesuai dengan pengedaran data bandar sasaran.

Oleh itu, kita perlu menyingkirkan pergantungan kita pada pengedaran data yang tidak kemas dan mencari cara perkongsian pengetahuan yang lebih penting dan boleh dipindahkan. Berbanding dengan pengedaran data, pengedaran parameter rangkaian saraf mempunyai lebih banyak ciri "perintah tinggi".

Rajah 1 menunjukkan proses transformasi daripada tahap corak data kepada pemindahan pengetahuan tahap rangkaian neural. Dengan melatih rangkaian saraf mengenai data dari bandar sumber dan menukarkannya kepada proses penjanaan parameter rangkaian saraf yang disesuaikan dengan bandar sasaran, pengedaran data dan ciri-ciri bandar sasaran boleh disesuaikan dengan lebih baik.

Pra-latihan + penalaan halus segera: mencapai pembelajaran beberapa pukulan spatio-temporal

Rajah 2 Gambaran keseluruhan model GPD

Seperti yang ditunjukkan dalam Rajah 2, GPD yang dicadangkan dalam rangka kerja ini adalah bersyarat dalam kajian ini. direka untuk menjana data secara langsung daripada bandar sumber Belajar daripada parameter model dan menjana parameter model baharu untuk bandar sasaran Kaedah ini merangkumi tiga peringkat utama:

1 Peringkat penyediaan rangkaian saraf: Pertama, untuk setiap kawasan bandar sumber, kajian melatih a model ramalan spatiotemporal yang berasingan, Dan simpan parameter rangkaian yang dioptimumkan. Parameter model untuk setiap rantau dioptimumkan secara bebas tanpa perkongsian parameter untuk memastikan model boleh menyesuaikan diri dengan ciri-ciri wilayah masing-masing.

2. Pra-latihan model resapan: Rangka kerja ini menggunakan parameter model pra-latihan yang dikumpul sebagai data latihan untuk melatih model resapan untuk mempelajari proses penjanaan parameter model. Model resapan menjana parameter melalui denoising berperingkat, satu proses yang serupa dengan proses pengoptimuman parameter bermula daripada pemulaan rawak, dan oleh itu lebih mampu menyesuaikan diri dengan pengedaran data bandar sasaran.

3. Penjanaan parameter rangkaian saraf: Selepas pra-latihan, parameter boleh dijana dengan menggunakan isyarat serantau bandar sasaran. Pendekatan ini memanfaatkan petunjuk untuk memudahkan pemindahan pengetahuan dan padanan parameter yang tepat, memanfaatkan sepenuhnya persamaan antara wilayah antara bandar.

Perlu diingat bahawa dalam rangka penalaan halus pra-latihan-kiu, pemilihan isyarat adalah sangat fleksibel, selagi ia dapat menangkap ciri-ciri wilayah tertentu. Sebagai contoh, pelbagai ciri statik seperti populasi, kawasan wilayah, fungsi dan pengedaran tempat menarik (POI) boleh digunakan untuk mencapai tujuan ini.

Kerja ini menggunakan isyarat serantau dari kedua-dua aspek spatial dan temporal: isyarat spatial datang daripada perwakilan nod dalam graf pengetahuan bandar [1,2], yang hanya menggunakan perhubungan seperti kedekatan wilayah dan persamaan fungsi, yang biasa di semua bandar dengan mudah boleh diakses; isyarat temporal datang daripada pengekod model pembelajaran yang diselia sendiri. Lihat artikel asal untuk mendapatkan butiran lanjut tentang reka bentuk segera.

Selain itu, kajian ini juga meneroka kaedah pengenalan kiu yang berbeza, dan eksperimen mengesahkan bahawa pengenalan kiu berdasarkan pengetahuan sedia ada mempunyai prestasi optimum: menggunakan isyarat spatial untuk membimbing penjanaan parameter rangkaian saraf untuk memodelkan korelasi spatial, dan menggunakan isyarat masa untuk panduan rangkaian neural temporal Penjanaan parameter rangkaian.

Hasil eksperimen

Pasukan menerangkan tetapan percubaan secara terperinci dalam kertas untuk membantu penyelidik lain menghasilkan semula keputusan mereka. Mereka juga menyediakan kertas asal dan kod data sumber terbuka, yang keputusan percubaannya kami fokuskan di sini.

Untuk menilai keberkesanan rangka kerja yang dicadangkan, kajian ini menjalankan eksperimen ke atas dua jenis tugas ramalan spatiotemporal klasik: ramalan aliran orang ramai dan ramalan kelajuan trafik, meliputi beberapa set data bandar.

Gambar

Jadual 1 menunjukkan hasil perbandingan terhadap kaedah garis dasar terkini pada empat set data. Berdasarkan keputusan ini, pemerhatian berikut boleh dibuat:

1) GPD menunjukkan kelebihan prestasi yang ketara berbanding model garis dasar dan secara konsisten mengatasi prestasi dalam senario data yang berbeza, yang menunjukkan bahawa GPD mencapai pemindahan pengetahuan yang berkesan pada tahap parameter rangkaian saraf.

2) GPD berprestasi baik dalam senario ramalan jangka panjang ini boleh dikaitkan dengan rangka kerja melombong pengetahuan yang lebih penting, yang membantu memindahkan pengetahuan corak spatiotemporal jangka panjang ke bandar sasaran.

Rajah 3 Perbandingan prestasi model ramalan spatiotemporal berbeza

Selain itu, kajian ini juga mengesahkan fleksibiliti rangka kerja GPD untuk menyesuaikan model ramalan spatiotemporal yang berbeza. Sebagai tambahan kepada kaedah graf spatiotemporal klasik STGCN, kajian ini juga memperkenalkan GWN dan STID sebagai model ramalan spatiotemporal dan menggunakan model resapan untuk menjana parameter rangkaiannya.

Hasil eksperimen menunjukkan bahawa keunggulan rangka kerja tidak akan terjejas oleh pemilihan model, jadi ia boleh disesuaikan dengan pelbagai model lanjutan.

Selanjutnya, kajian menjalankan analisis kes dengan memanipulasi persamaan corak pada dua set data sintetik.

Rajah 4 menunjukkan bahawa kawasan A dan B mempunyai corak siri masa yang sangat serupa, manakala wilayah C mempamerkan corak yang jauh berbeza. Manakala, Rajah 5 menunjukkan bahawa nod A dan B mempunyai kedudukan spatial simetri.

Oleh itu, kita boleh membuat kesimpulan bahawa kawasan A dan B mempunyai corak spatiotemporal yang hampir sama, sementara terdapat perbezaan yang jelas daripada C. Keputusan taburan parameter rangkaian saraf yang dijana oleh model menunjukkan bahawa taburan parameter A dan B adalah serupa, tetapi jauh berbeza daripada taburan parameter C. Ini seterusnya mengesahkan keupayaan rangka kerja GPD untuk menjana parameter rangkaian saraf dengan berkesan dengan corak spatiotemporal yang pelbagai. . / link/6644cb08d30b2ca55c284344a9750c2e

[1] Liu, Yu, et al. "Urbankg: Sistem graf pengetahuan bandar." Zhilun , et al. "Pembelajaran graf pengetahuan hierarki membolehkan ramalan penunjuk sosioekonomi dalam rangkaian sosial berasaskan lokasi."