2022 Top10 model pembelajaran seliaan sendiri dikeluarkan! Lapan pencapaian Amerika Syarikat dan China mendominasi senarai itu

Pembelajaran penyeliaan kendiri membolehkan komputer memerhati dunia dan memahaminya dengan mempelajari struktur imej, pertuturan atau teks. Ini telah mendorong banyak kemajuan besar baru-baru ini dalam kecerdasan buatan.

Walaupun penyelidik di seluruh dunia melaburkan banyak usaha dalam bidang ini, pada masa ini terdapat perbezaan besar dalam cara algoritma pembelajaran penyeliaan sendiri belajar daripada imej, pertuturan, teks dan modaliti lain. Oleh itu, forum kecerdasan buatan Analytics India Magazine melancarkan sepuluh model pembelajaran penyeliaan sendiri teratas pada tahun 2022 untuk pembaca. ​

Data2vec

Pautan kertas: https://arxiv.org/pdf/2202.03555.pdf

Kod sumber terbuka: https://t.co/3x8VCwGI2x pic.twitter.com/Q9TNDg1paj

Meta AI mengeluarkan algoritma data2vec pada bulan Januari untuk penglihatan komputer berkaitan pertuturan, imej dan teks model. Menurut pasukan AI, model ini sangat kompetitif dalam tugas NLP.

Ia tidak menggunakan pembelajaran kontrastif atau pembinaan semula yang bergantung pada contoh input. Pasukan Meta AI menyatakan bahawa kaedah latihan data2vec adalah untuk mewakili model ramalan dengan memberikan pandangan separa data input.

Pasukan berkata: "Kami mula-mula mengekod sampel latihan bertopeng dalam model pelajar. Selepas itu, dalam model yang sama, kami mengekod sampel input yang tidak bertopeng untuk membina sasaran latihan. Model ini (model guru) dan model pelajar hanya berbeza dalam parameter 》

Model ini meramalkan perwakilan model sampel latihan tidak bertopeng berdasarkan sampel latihan bertopeng. Ini menghapuskan pergantungan pada objektif khusus modaliti dalam tugas pembelajaran.

ConvNext

Pautan kertas: https://arxiv.org/pdf/2201.03545.pdf

Kod sumber terbuka: https://t.co/nWx2KFtl7X

ConvNext, juga dipanggil model ConvNet untuk tahun 2020-an, ialah model yang dikeluarkan oleh pasukan Meta AI dalam Model Mac. Ia berdasarkan sepenuhnya pada modul ConvNet dan oleh itu tepat, mudah dalam reka bentuk dan berskala.

VICReg

Pautan kertas: https:// t.co/H7crDPHCHV

Kod sumber terbuka: https://t.co/oadSBT61P3

Penyaturan kovarian invarian varians (VICReg) menggabungkan istilah varians dan Decorrelation mekanisme berdasarkan pengurangan redundansi dan regularisasi kovarians untuk mengelakkan keruntuhan pengekod yang menghasilkan vektor malar atau tidak bermaklumat.

VICReg tidak memerlukan teknik seperti perkongsian berat antara cawangan, penormalan kelompok, penormalan ciri, pengkuantitian keluaran, kecerunan berhenti, bank memori, dll., dan berfungsi dengan baik pada beberapa tugas hiliran Hasil yang dicapai adalah setanding dengan keadaan seni. Tambahan pula, telah ditunjukkan secara eksperimen bahawa istilah penyesuaian varians boleh menstabilkan latihan kaedah lain dan menggalakkan peningkatan prestasi.

STEGO

Pautan kertas: https://arxiv.org/abs/2203.08414

Makmal Sains Komputer dan Kecerdasan Buatan MIT bekerjasama dengan Microsoft dan Cornell University untuk membangunkan Transformer Penyeliaan Sendiri untuk Pengoptimuman Graf Berasaskan Tenaga (STEGO) untuk menyelesaikan salah satu tugas paling sukar dalam penglihatan komputer : Berikan label kepada setiap piksel imej tanpa pengawasan manusia.

STEGO mempelajari "segmentasi semantik" - secara ringkas, memberikan label kepada setiap piksel dalam imej.

Segmentasi semantik ialah kemahiran penting untuk sistem penglihatan komputer hari ini kerana imej mungkin diganggu oleh objek. Untuk menyukarkan lagi perkara, objek ini tidak selalunya muat dalam kotak teks. Algoritma selalunya lebih sesuai untuk "benda" diskret seperti orang dan kereta daripada perkara yang sukar diukur seperti tumbuh-tumbuhan, langit dan kentang tumbuk.

Ambil adegan anjing bermain di taman sebagai contoh Sistem sebelumnya mungkin hanya dapat mengenal pasti anjing, tetapi dengan memberikan label pada setiap piksel imej, STEGO boleh menguraikan imej kepada beberapa komponen utama. : Anjing , langit, rumput dan pemiliknya.

Mesin yang boleh "melihat dunia" adalah penting kepada pelbagai teknologi baru muncul, seperti kereta pandu sendiri dan model ramalan untuk diagnosis perubatan. Memandangkan STEGO boleh belajar tanpa label, ia boleh mengesan objek dalam domain yang berbeza, malah objek yang manusia belum faham sepenuhnya.

CoBERT

Pautan kertas: https://arxiv.org/pdf/2210.04062.pdf

Untuk pembelajaran perwakilan pertuturan yang diselia sendiri, penyelidik dari Universiti China Hong Kong (Shenzhen) mencadangkan Kod BERT (CoBERT). Tidak seperti kaedah penyulingan diri yang lain, model mereka meramalkan perwakilan daripada modaliti yang berbeza. Model ini menukar pertuturan kepada urutan kod diskret untuk pembelajaran perwakilan.

Pertama, pasukan penyelidik menggunakan model kod pra-latihan HuBERT untuk melatih dalam ruang diskret. Mereka kemudiannya memperhalusi model kod menjadi model pertuturan, bertujuan untuk melaksanakan pembelajaran yang lebih baik merentas modaliti. Peningkatan ketara pada tugas ST menunjukkan bahawa perwakilan CoBERT mungkin membawa lebih banyak maklumat linguistik daripada kerja sebelumnya.

CoBERT mengatasi prestasi algoritma semasa terbaik pada tugas ASR dan membawa peningkatan ketara dalam tugas SUPERB Speech Translation (ST).

FedX

Pautan kertas: https://arxiv.org/abs/2207.09158

FedX ialah rangka kerja pembelajaran bersekutu tanpa pengawasan yang dilancarkan oleh Microsoft dengan kerjasama Universiti Tsinghua dan Institut Sains dan Teknologi Termaju Korea. Melalui pengekstrakan pengetahuan tempatan dan global serta pembelajaran perbandingan, algoritma mempelajari perwakilan tidak berat sebelah daripada data tempatan yang diskret dan heterogen. Tambahan pula, ia adalah algoritma yang boleh disesuaikan yang boleh digunakan sebagai modul tambahan kepada pelbagai algoritma penyeliaan kendiri sedia ada dalam senario pembelajaran bersekutu.

TriBYOL

Pautan kertas: https://arxiv.org/pdf/2206.03012.pdf

Universiti Hokkaido di Jepun mencadangkan TriBYOL untuk pembelajaran perwakilan penyeliaan kendiri kumpulan kecil. Di bawah model ini, penyelidik tidak memerlukan sejumlah besar sumber pengkomputeran untuk mempelajari perwakilan yang baik. Model ini mempunyai struktur rangkaian tiga kali ganda dan menggabungkan kehilangan tiga paparan, dengan itu meningkatkan kecekapan dan mengatasi beberapa algoritma penyeliaan sendiri pada berbilang set data.

ColloSSL

Pautan kertas: https://arxiv.org/pdf/ 2202.00758.pdf

Penyelidik di Nokia Bell Labs, dengan kerjasama Georgia Institute of Technology dan University of Cambridge, telah membangunkan ColloSSL, algoritma penyeliaan kendiri kolaboratif untuk pengecaman aktiviti manusia.

Set data sensor tidak berlabel yang ditangkap serentak oleh berbilang peranti boleh dilihat sebagai transformasi semula jadi antara satu sama lain, yang kemudian menjana isyarat untuk pembelajaran perwakilan. Kertas kerja ini mencadangkan tiga kaedah - pemilihan peranti, pensampelan kontras dan kehilangan kontrastif berbilang paparan.

LoRot

Pautan kertas: https://arxiv.org/pdf/2207.10023.pdf

Sungkyunkwan A universiti pasukan penyelidik mencadangkan tugas tambahan mudah diselia sendiri yang meramalkan putaran setempat (LoRot) dengan tiga atribut untuk membantu dalam menyelia sasaran.

Model ini mempunyai tiga ciri utama. Pertama, pasukan penyelidik membimbing model untuk mempelajari ciri yang kaya. Kedua, latihan yang diedarkan tidak berubah dengan ketara semasa peralihan penyeliaan kendiri berlaku. Ketiga, model ini ringan dan serba boleh serta mempunyai kebolehsuaian yang tinggi kepada teknologi terdahulu.

TS2Vec

Pautan kertas: https:// arxiv.org/pdf/2106.10466.pdf

Microsoft dan Universiti Peking mencadangkan rangka kerja pembelajaran am TS2Vec untuk pembelajaran perwakilan siri masa pada mana-mana peringkat semantik. Model ini melaksanakan pembelajaran kontrastif dalam teknik hierarki dalam paparan konteks yang dipertingkatkan, memberikan perwakilan konteks yang kukuh untuk cap masa individu.

Keputusan menunjukkan bahawa model TS2Vec mencapai peningkatan yang ketara dalam prestasi berbanding pembelajaran perwakilan siri masa tanpa pengawasan yang canggih.

Pada tahun 2022, akan terdapat inovasi besar dalam dua bidang pembelajaran penyeliaan kendiri dan pembelajaran pengukuhan. Walaupun penyelidik telah membahaskan mana yang lebih penting, seperti yang dikatakan oleh guru pembelajaran penyeliaan sendiri Yann LeCun: "Pembelajaran pengukuhan adalah seperti ceri pada kek, pembelajaran yang diselia adalah aising pada kek, dan pembelajaran penyeliaan sendiri adalah kek itu sendiri. 》

Rujukan:

https://analyticsindiamag.com/top-10-self-supervised-learning-models-in-2022/

Atas ialah kandungan terperinci 2022 Top10 model pembelajaran seliaan sendiri dikeluarkan! Lapan pencapaian Amerika Syarikat dan China mendominasi senarai itu. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!