Bagaimanakah ML membuat penemuan saintifik? Tesis kedoktoran 268 halaman Oxford University memperincikan konotasi pembelajaran mesin saintifik

Pembelajaran mesin (ML) telah menyebabkan perubahan asas dalam cara kita mengamalkan sains, dengan ramai yang kini menjadikan pembelajaran daripada data sebagai fokus penyelidikan mereka. Memandangkan kerumitan soalan saintifik yang ingin kami kaji semakin meningkat dan apabila jumlah data yang dijana oleh percubaan saintifik hari ini meningkat, ML membantu mengautomasikan, mempercepatkan dan meningkatkan aliran kerja tradisional. Di barisan hadapan revolusi ini ialah bidang yang dipanggil Pembelajaran Mesin Saintifik (SciML). Matlamat utama SciML adalah untuk mengintegrasikan pemahaman saintifik sedia ada dengan lebih rapat dengan ML, menghasilkan algoritma ML yang berkuasa yang dimaklumkan oleh pengetahuan sedia ada kami.

Alamat kertas: https://ora.ox.ac.uk/objects/uuid:b790477c-771f- 4926-99c6-d2f9d248cb23

Terdapat sejumlah besar kaedah untuk memasukkan prinsip saintifik ke dalam ML, dan jangkaan semakin meningkat untuk SciML menyelesaikan beberapa cabaran terbesar dalam sains. Walau bagaimanapun, bidang itu berkembang pesat dan banyak persoalan masih timbul. Soalan utama ialah sama ada kaedah SciML boleh diperluaskan kepada masalah dunia sebenar yang lebih kompleks. Banyak penyelidikan SciML berada dalam peringkat pembuktian konsep, di mana teknologi diuji pada masalah yang dikurangkan dan mudah. Walau bagaimanapun, memahami kebolehskalaan mereka kepada masalah yang lebih kompleks adalah penting untuk aplikasinya yang meluas. Soalan ini adalah yang utama dalam artikel ini.

Pertama, pelbagai mesin pengetahuan fizik yang berbeza direka untuk tiga kajian kes khusus domain yang kompleks, dunia sebenar, dalam kaedah pembelajaran sains lunar dan geofizik dan menilai prestasi dan skalabiliti mereka. Kedua, skalabiliti rangkaian saraf bermaklumat fizikal (kaedah SciML tujuan umum yang popular) untuk menyelesaikan persamaan pembezaan dengan kawasan besar dan penyelesaian frekuensi tinggi dinilai dan dipertingkatkan. Pemerhatian biasa daripada kajian ini dibincangkan dan kelebihan ketara serta had potensi dikenal pasti, menonjolkan kepentingan mereka bentuk teknik SciML berskala.

Pengenalan

Pembelajaran mesin (ML) telah menyebabkan revolusi dalam bidang sains. Secara tradisinya, penyelidikan saintifik berkisar pada teori dan eksperimen: seseorang mencadangkan teori buatan tangan dan ditakrifkan dengan baik, kemudian terus memperhalusinya menggunakan data eksperimen, dan menganalisisnya untuk membuat ramalan baharu. Tetapi hari ini, ramai orang menjadikan pembelajaran daripada data sebagai fokus penyelidikan mereka. Di sini, model dunia dipelajari daripada data melalui algoritma ML, dan teori sedia ada tidak diperlukan. Peralihan ini berlaku atas pelbagai sebab.

Pertama, bidang ML telah mengalami pertumbuhan eksponen sepanjang dekad yang lalu, dengan pemacu utama di sebalik lonjakan ini sering dikaitkan dengan kejayaan pembelajaran mendalam [Goodfellow et al., 2016]. Penemuan penting seperti penggunaan reka bentuk rangkaian yang lebih mendalam dan algoritma latihan yang lebih baik, serta ketersediaan seni bina pengkomputeran yang lebih berkuasa, telah membawa kepada peningkatan pesat dalam prestasi teknik pembelajaran mendalam pada pelbagai masalah [Dally et al., 2021] . Algoritma ML moden kini mampu mempelajari dan menyelesaikan tugas yang sangat kompleks, daripada kereta pandu sendiri [Schwarting et al., 2018] kepada mengalahkan pemain Go bertaraf dunia [Silver et al., 2018].

Seiring dengan kemajuan ini, eksperimen saintifik hari ini menjana lebih banyak data dan mengkaji fenomena yang semakin kompleks [Baker et al., 2019 , Hey et al., 2020 ]. Menganalisis dan membuat teori tentang semua data ini menjadi mustahil untuk manusia dan aliran kerja tradisional kami, dan tidak lama lagi eksperimen saintifik mungkin dihadkan oleh keupayaan mereka untuk mengekstrak cerapan daripada data yang telah mereka miliki, dan bukannya data apa yang boleh mereka kumpulkan [Baker et al., 2019]. Memandangkan alat berkuasa yang boleh disediakan oleh ML, ramai penyelidik beralih kepada ML untuk membantu mengautomasikan, mempercepatkan dan meningkatkan aliran kerja tradisional. Sepanjang dekad yang lalu, gabungan algoritma ML baharu dan ketersediaan data telah membawa kepada beberapa kemajuan saintifik yang besar. Sebagai contoh, ML telah digunakan untuk meramalkan struktur protein dengan lebih tepat berbanding sebelum ini [Jumper et al., 2021], mensintesis pertuturan daripada aktiviti saraf [anummanchipalli et al., 2019], dan meningkatkan simulasi sistem banyak badan kuantum [Carleo dan Troyer, 2017]. Malah, algoritma ML moden kini digunakan untuk hampir setiap aspek sains, dan salah satu persoalan penyelidikan yang menentukan era ini telah menjadi: "Selesaikan masalah X dan gunakan ML padanya", diikuti dengan hasil yang Menarik dan sering mengujakan.

Namun, di sebalik kemajuan ini, pelbagai kelemahan ML, terutamanya algoritma pembelajaran mendalam, telah menjadi kenyataan dalam bidang ML. Sebagai contoh, walaupun keupayaan mereka untuk mempelajari fenomena yang sangat kompleks, rangkaian saraf dalam sering dilihat sebagai "kotak hitam" dengan kekurangan pemahaman tentang cara ia mewakili dan membuat alasan tentang dunia. Ketidaktafsiran ini merupakan isu kritikal, terutamanya untuk aplikasi kritikal keselamatan yang memerlukan demonstrasi ramalan rangkaian [Gilpin et al., 2019, Castelvecchi, 2016]. Tambahan pula, terdapat sedikit panduan teori tentang cara mereka bentuk algoritma pembelajaran mendalam yang sesuai untuk tugasan tertentu. Pilihan seni bina rangkaian saraf dalam sebahagian besarnya adalah empirikal, walaupun bidang pembelajaran meta dan pencarian seni bina saraf mula menyediakan pendekatan yang lebih automatik [Elsken et al., 2019, Hospedales et al., 2021]. Akhir sekali, walaupun rangkaian saraf dalam sangat ekspresif, ia dihadkan oleh data latihan dan sering berprestasi buruk di luar pengedaran latihan. Mempelajari model dunia yang boleh digeneralisasikan yang berfungsi dengan baik pada tugas baharu ialah ciri utama sistem kecerdasan buatan (AI) yang lebih umum dan cabaran cemerlang utama dalam bidang ML [Bengio et al., 2021].

Penyelidik mula menghadapi batasan ini apabila menggunakan ML dalam masalah saintifik [Ourmazd, 2020, Forde dan Paganini, 2019]. Memandangkan keupayaan generalisasi yang lemah bagi rangkaian saraf dalam, persoalan utama ialah sama ada mereka benar-benar "mempelajari" prinsip saintifik. Teori saintifik yang baik dijangka membuat ramalan baru dan tepat di luar data eksperimen, tetapi rangkaian saraf dalam menghadapi kesukaran membuat ramalan tepat di luar data latihan. Walaupun rangkaian boleh membuat ramalan yang boleh dipercayai, mengekstrak sebarang cerapan saintifik yang bermakna daripadanya boleh mencabar memandangkan ketidakbolehtafsirannya.

Satu lagi masalah utama ialah banyak aliran kerja pembelajaran mesin semasa menggantikan sepenuhnya model saintifik tradisional dengan model yang dipelajari. Walaupun ini boleh berguna, kaedah yang dipacu data semata-mata ini "membuang" sejumlah besar pengetahuan saintifik kami yang terdahulu.

Perkara penting ialah untuk banyak masalah terdapat teori sedia ada untuk dibina dan bukannya bermula dari awal. Dalam bidang yang secara tradisinya didasarkan pada interaksi yang ketat antara teori eksplisit dan eksperimen, sesetengah pihak berpendapat bahawa pengehadan di atas menjadikan kaedah ML semasa tidak boleh diterima. Kebimbangan ini telah mendorong pembentukan bidang baharu yang berkembang pesat dipanggil Pembelajaran Mesin Saintifik (SciML) [Baker et al., 2019, Karniadakis et al., 2021, Willard et al., 2020, Cuomo et al., 2022, Arridge et al. al., 2019, Karpatne et al., 2017a]. Matlamat SciML adalah untuk menggabungkan pengetahuan saintifik sedia ada dan ML untuk menghasilkan algoritma ML yang lebih bernuansa yang dimaklumkan oleh pengetahuan sedia ada kami, seperti yang ditunjukkan dalam Rajah 1.1. Hujah utama dalam bidang ini ialah dengan melakukan ini kita akhirnya akan mencapai kaedah yang lebih mantap untuk melakukan penyelidikan saintifik. Kaedah tradisional dan kaedah ML masing-masing mempunyai kelebihan dan kekurangan, dan gabungan kedua-duanya mungkin lebih berkesan daripada mana-mana satu. Contohnya, apabila melakukan asimilasi data (seperti dalam model iklim), model fizikal tradisional boleh digunakan untuk memberikan pengetahuan terdahulu, manakala ML boleh digunakan untuk mengambil kira kebergantungan data dan fizik lain yang tidak diketahui.

Rajah 1.1: Gambaran Keseluruhan Pembelajaran Mesin Saintifik (SciML). SciML menyasarkan untuk menyepadukan ML dengan pengetahuan saintifik untuk menjana kaedah ML yang lebih berkuasa, teguh dan boleh ditafsir untuk penyelidikan saintifik.

Jangkaan dalam bidang ini berkembang pesat, dan sejumlah besar kaedah serta banyak strategi inovatif sedang dicadangkan dan dikaji untuk menggabungkan pengetahuan saintifik ke dalam ML. Kaedah ini terdiri daripada tugas saintifik yang dimaksudkan (seperti simulasi, penyongsangan dan penemuan persamaan yang mengawal), kepada cara yang berbeza untuk menggabungkan prinsip saintifik (seperti melalui seni bina rangkaian neural dalam, fungsi kehilangannya dan penggunaan model hibrid), dan saintifik. Sejauh mana prinsip dikenakan (cth., melalui kekangan keras atau lembut). Kami akan menyemak kaedah ini secara terperinci dalam Bab 2. Banyak kaedah menggunakan idea daripada fizik untuk memaklumkan algoritma ML mereka dalam subbidang SciML yang dipanggil pembelajaran mesin bermaklumat fizikal (PIML) [Karniadakis et al., 2021].

Setakat ini, SciML telah mencapai beberapa kejayaan awal. Ia membantu kami melakukan simulasi yang berkuasa [Raissi al., 2019], menemui persamaan yang mengawal sistem fizikal kompleks [Kutz dan Brunton, 2022], dan menyongsangkan parameter asas dengan tepat dalam masalah penyongsangan [Arridge et al., 2019], dan menyepadukan dengan lancar aliran kerja tradisional dengan komponen yang dipelajari merentas pelbagai domain [Rackauckas et al., 2020, Thuerey et al., 2021]. Walaupun dijanjikan awal, bidang SciML masih di peringkat awal dan banyak persoalan penting yang timbul, seperti; Adakah terdapat teknologi SciML menyeluruh yang boleh digunakan merentas disiplin saintifik. Bolehkah SciML memberikan perspektif dan idea baharu untuk bidang ML Sejauh manakah teknologi SciML untuk masalah dunia sebenar yang kompleks? seperti berikut.

Dalam kertas kerja ini, kami menggunakan dua kaedah untuk mengkaji sub-masalah di atas. Pertama, untuk tiga sub-masalah pertama, kajian kes yang kompleks, kehidupan sebenar, khusus domain digunakan untuk mengkaji prestasi dan kebolehskalaan pelbagai kaedah PIML yang berbeza. Untuk setiap submasalah, kami membentangkan kajian kes, mencadangkan teknik PIML (atau pelbagai teknik PIML) untuk menyelesaikannya dan menilai cara teknik itu boleh diperluaskan kepada tetapan ini. Kedua, untuk sub-masalah terakhir, kami menumpukan pada satu teknologi PIML tujuan umum dan menilai serta meningkatkan kebolehskalaannya. Tiga sub-masalah pertama dikaji dalam bab berasingan tesis ini (masing-masing Bab 3 ~ 5), dan kajian kes mereka semuanya dari bidang sains lunar dan geofizik. Sub-masalah terakhir akan dikaji dalam Bab 6. Akhir sekali, kami membincangkan dan meringkaskan implikasi setiap bab untuk soalan kajian utama kami dalam Bab 7.

Salasilah kaedah SciML. Graf ini menunjukkan betapa "kuat" pelbagai jenis kaedah SciML yang diperkenalkan dalam bab ini adalah untuk pengetahuan saintifik. Ambil perhatian bahawa kekuatan kekangan saintifik ialah konsep yang agak samar-samar dalam rajah ini, kami mentakrifkannya sebagai seberapa dekat pendekatan SciML dengan aliran kerja tradisional. Pendekatan perantaraan juga menggabungkan ML dengan aspek tertentu aliran kerja tradisional, seperti dalam kaedah gelung yang menjalin penyelesai lelaran tradisional dengan model ML. Selain itu, tugasan kami agak subjektif, jadi nombor ini hanya untuk menyatakan trend umum.

Atas ialah kandungan terperinci Bagaimanakah ML membuat penemuan saintifik? Tesis kedoktoran 268 halaman Oxford University memperincikan konotasi pembelajaran mesin saintifik. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!