Untuk menyelesaikan kesukaran menghasilkan semula model besar dan bekerjasama, pasukan pelajar pasca 95-an ini mencipta komuniti sumber terbuka AI domestik

Dalam dekad yang lalu, teknologi AI telah mengalami lonjakan besar Sama ada dalam pemprosesan bahasa semula jadi, pengecaman imej atau bidang yang lebih inovatif, kesan AI telah wujud di mana-mana.

Dengan pertumbuhan pesat dalam bilangan penyelidikan, akademia dan industri juga menghadapi beberapa cabaran, termasuk masalah "pembiakan kertas" dan "kerjasama antara disiplin". Terutama apabila kita sampai ke era model besar, menghadapi penyelidikan model dengan berpuluh bilion parameter, sumber terbuka, pembiakan dan kerjasama menjadi lebih penting, tetapi kesukaran menjadi lebih tinggi.

Penghasilan semula kertas pertama sekali merupakan faktor rujukan penting untuk menilai nilai sesuatu hasil. Pada masa yang sama, dalam bidang AI yang berkembang pesat, memastikan kebolehulangan penyelidikan akan lebih menggalakkan pengumpulan pengetahuan dan mempopularkan teknologi Ia juga merupakan kunci untuk mengekalkan integriti akademik dan mempromosikan inovasi berterusan. Menghadapi masalah ini, amat penting untuk menyokong sains terbuka dan penyelidikan yang telus. Dengan kod sumber terbuka, data dan butiran percubaan, menyediakan platform pengkomputeran berkos rendah untuk keperluan replikasi, dan menyediakan program interaktif untuk menyokong replikasi pantas, kami mungkin dapat membina cara yang lebih mantap dan cekap untuk memajukan penyelidikan saintifik .

Jika kita bercakap tentang masalah "kesukaran untuk menghasilkan semula", ia seperti menambah tembok tinggi kepada "dialog" antara penyelidik. Masalah "kesukaran dalam kerjasama" juga mewujudkan halangan yang tidak dapat dilihat untuk kerjasama antara disiplin.

Dalam era model besar, cara membina platform mudah yang boleh menurunkan ambang untuk komunikasi dan kerjasama telah menjadi satu cabaran besar. Kaedah kerjasama pembangunan perisian tradisional yang biasa kami gunakan, seperti pengurusan kod berasaskan Git dan kawalan versi, mungkin tidak lagi digunakan dalam senario seperti R&D AI yang lebih bergantung pada eksperimen berbanding proses deterministik pengurusan versi eksperimen yang kompleks dan agak kompleks Ambang penggunaan dan penggunaan yang tinggi sering menghalang komunikasi dan kerjasama antara pakar dalam bidang yang berbeza. Bidang AI semasa memerlukan model dan alatan kerjasama baharu, termasuk kawalan versi dan platform kolaborasi yang lebih intuitif dan mudah digunakan, supaya pakar dengan latar belakang bukan teknikal boleh mengambil bahagian dengan mudah dalam proses pembangunan, penilaian dan demonstrasi model.

Dalam erti kata lain, kedua-dua penyelidik saintifik dan pengamal berharap untuk mencapai kerjasama yang lebih cekap dan mendalam berdasarkan perkongsian pengetahuan dan teknologi, dan menggalakkan pembangunan selanjutnya dalam bidang AI.

Dalam konteks ini, platform komuniti sumber terbuka AI "SwanHub" baharu telah dilahirkan.

Alamat pengalaman: https://swanhub.co/

Perlu diambil perhatian bahawa SwanHub berasal daripada pasukan pelajar siswazah dan mahasiswa dari Universiti Sains dan Teknologi Elektronik Xi'an China. Empat ahli pasukan itu semuanya dilahirkan selepas 1995. Mereka bukan sahaja mempunyai pengalaman yang kaya dalam penyelidikan AI, tetapi juga mempunyai minat terhadap sumber terbuka. Di bawah kepimpinan pengajar mereka Profesor Wu Jiaji dan Profesor Tan Mingzhou, mereka membina pembangunan kolaboratif sehenti, perkongsian sumber terbuka dan platform paparan visual untuk model AI dari awal, bertujuan untuk menyelesaikan kesukaran semasa dalam menghasilkan semula, menggunakan dan mengurus Model AI.

Apakah masalah yang SwanHub selesaikan?

Dalam platform SwanHub, penyelidik dan pengamal AI bukan sahaja mempunyai akses kepada pelbagai model sumber terbuka dan sumber alat, tetapi juga menikmati kemudahan dan kecekapan pembangunan kolaboratif. Pada masa ini, SwanHub telah melancarkan beberapa fungsi teras, termasuk pengehosan model AI, paparan visual, dsb.

Pertama sekali, penyelidik AI boleh mengehoskan kod mereka sendiri di SwanHub untuk pengurusan versi, sama seperti menggunakan platform pengehosan Github. Walau bagaimanapun, berbanding dengan GitHub, SwanHub menyokong pengehosan fail besar berkapasiti lebih tinggi, dan penyelidik boleh mengehos dan versi mengurus fail berat model sehingga berdozen GB.

"Paparan visual" juga merupakan sorotan SwanHub. Banyak artikel penyelidikan yang diterbitkan dalam persidangan dan jurnal teratas akan menunjukkan kesan yang indah dan teknologi inovatif. Tetapi dalam amalan, jurutera dan penyelidik yang cuba meniru penemuan ini sering menghadapi kesukaran. Atas sebab ini, dalam beberapa tahun kebelakangan ini, banyak persidangan akademik memerlukan pengarang untuk menyerahkan bukan sahaja kod, tetapi juga beberapa demo untuk menyediakan maklumat penyelidikan yang lebih mencukupi, dan SwanHub hanya menyediakan platform sedemikian untuk memaparkan hasil secara terbuka dan mendapatkan lebih banyak penyelidikan saintifik lalu lintas.

Seperti yang ditunjukkan dalam rajah di bawah, platform SwanHub menyediakan aliran kerja penggunaan tunjuk cara model yang ringkas, membolehkan pengguna menggunakan kod dan pemberat model ke dalam demo halaman web visual dan interaktif dengan mengklik beberapa butang Mencapai ujian dalam talian masa nyata keputusan inferens model AI, dan perkongsian sokongan dengan kolaborator, penyemak, rakan sebaya, atau menjadikannya awam di Internet. SwanHub juga menyokong rangka kerja visualisasi arus perdana seperti Gradio, StreamLit, dsb.

SwanHub bukan sahaja menyediakan platform untuk penyelidik yang ingin berkongsi hasil mereka untuk memaparkan model sumber terbuka mereka, tetapi penyelidik lain juga boleh mengakses hasil sumber terbuka, pengalaman Demo dan forum Perbincangan penyelidik lain dengan mudah untuk akademik. perbincangan.

Selain itu, pasukan itu berkata bahawa SwanHub akan melancarkan dua fungsi tidak lama lagi: Fungsi pertama ialah perkhidmatan penggunaan kod sehenti, membolehkan pengguna menggunakan model pembelajaran mesin dengan mudah sebagai API perkhidmatan awan (Antara Muka Pengaturcaraan Aplikasi), dan juga Sokongan terbuka kepada seluruh komuniti atau kegunaan persendirian. Bagi penyelidik yang membuka API model mereka sendiri, hasil penyelidikan mereka boleh disepadukan dengan lebih cepat ke dalam pelbagai senario aplikasi dan kesan penyelidikan mereka boleh dipertingkatkan pada masa yang sama, bagi pengguna, hasil penyelidikan mereka juga boleh disediakan dengan lebih banyak; Aplikasi ini mempunyai akses kepada pelbagai keupayaan AI sumber terbuka yang berkuasa. Fungsi kedua ialah alat pengurusan percubaan model SwanLab Pengguna boleh menyambungkan program pengelogan percubaan mereka sendiri kepada SwanLab untuk merealisasikan fungsi rakaman dan pengurusan log percubaan dalam talian. Platform ini bukan sahaja dapat membantu merekodkan log latihan dan menjadi tuan rumah model perantaraan, tetapi juga menyediakan hasil latihan visual, tolakan mesej penyiapan latihan, rakaman dan pengesyoran hiperparameter, perbandingan versi silang model dan fungsi lain, yang memudahkan penyelidik mencuba dan membuat kesilapan dengan cepat dan membangunkan. , serta meningkatkan banyak aspek Kecekapan latihan kerjasama antara orang.

                                                                                                                                     ^… Apa yang diketahui oleh segelintir orang ialah platform komuniti sumber terbuka SwanHub Di belakang tabir terdapat empat orang muda " "Siaran -95" ahli.

Lin Zeyi, Chen Shaohong, Han Xiangyu, dan Lei Qingyang bertemu di kampus Universiti Sains dan Teknologi Elektronik Xi'an Mereka membentuk sebuah kelab yang dipanggil "Studio Teknologi Lightyear" daripada minat mereka dalam teknologi. Kemudian, beberapa orang muda yang berfikiran sama bersama-sama mengasaskan "Studio Ji Chuang" dan memulakan perjalanan keusahawanan teknologi.

Inspirasi untuk membina SwanHub bukan sahaja datang daripada pandangan pasukan tentang keperluan komuniti sumber terbuka berdasarkan medan AI semasa, tetapi ia juga berkaitan dengan pengalaman penyelidikan mereka sendiri.

Dalam proses melibatkan diri dalam penyelidikan AI, mereka sering merasakan keperluan dan cabaran daripada kerjasama dalaman dan pembentangan projek. Walaupun beberapa platform sumber terbuka yang biasa digunakan boleh menyediakan fungsi pengehosan asas, mereka sering kekurangan bahagian kolaborasi visual berasaskan model, menjadikannya sukar untuk menyatukan usaha di kalangan ahli makmal.

Bagi kebanyakan penyelidik, soalan seperti ini sangat biasa. Di satu pihak, kesukaran yang disebabkan oleh versi eksperimen yang kompleks dan kerjasama berbilang orang akan mengehadkan pembangunan projek penyelidikan Sebaliknya, kesukaran menggunakan model dan kesukaran menghasilkan semula proses latihan juga menghalang komunikasi dalaman pasukan. dan pengumpulan pengetahuan. Dalam aktiviti pertukaran akademik harian, mereka juga kekurangan platform untuk memaparkan keputusan dan pengumpulan mereka secara intuitif.

"Faktor-faktor ini mengukuhkan lagi keinginan kami untuk membina kerjasama dan platform paparan kami sendiri." "Kami berharap dapat menyediakan komuniti sumber terbuka untuk bidang AI untuk membantu lebih ramai penyelidik dan pengamal saintifik dalam aspek seperti pengeluaran semula kertas, pemilihan teknologi, dan perkongsian teknologi. Di samping itu, kami berharap agar berasaskan model ini kelihatan dan interaktif. model kolaboratif boleh meningkatkan kelajuan lelaran projek AI dan kecekapan komunikasi antara ahli pasukan, mengurangkan kos menunggu dan komunikasi yang tidak perlu "

Oleh itu, idea asal projek SwanHub adalah untuk menyediakan aliran kerja AI yang lengkap, daripada kertas. untuk memproyeksikan kod sumber terbuka kepada penggunaan dan persembahan visual. Melalui set aliran kerja ini, orang ramai boleh membina demonstrasi visual dengan mudah semasa menjalankan eksperimen dan menyerahkan kertas kerja untuk pembiakan dan ujian pantas oleh rakan sebaya. Sebaliknya, projek akademik yang menyediakan demo interaktif lebih berkemungkinan mendapat penyebaran yang lebih tinggi dan reputasi yang lebih baik, seterusnya memperoleh pengaruh akademik yang lebih tinggi.

Pada masa yang sama, pasukan itu juga mempertimbangkan keperluan pembangun dalam industri. Berbeza daripada pembangunan perisian tradisional, pembangunan AI adalah sains eksperimen Terutama dalam era model besar, idea pembangunan dan ujian teknologi juga telah mengalami perubahan besar: dalam aplikasi praktikal, walaupun model mungkin tidak berfungsi dengan baik pada beberapa penunjuk objektif. Mereka berprestasi baik, tetapi cara menggunakan "kepintaran" mereka dalam senario sebenar dan cara menyepadukannya ke dalam aliran kerja profesional selalunya memerlukan pakar dalam bidang berkaitan untuk menjalankan ujian kesan sebenar yang mendalam, dan proses ini juga penuh dengan cabaran.

Chen Shaohong, ahli projek SwanHub, mempunyai pemahaman yang mendalam tentang perkara ini. Pasukan penyelidik AInya pernah mengambil bahagian dalam projek untuk membangunkan algoritma pemprosesan video untuk pengeluar telefon pintar Pada masa itu, ahli pasukan penyelidikan tersebar di beberapa bandar di seluruh negara, dan kebanyakan kerja memerlukan kerjasama dalam talian. Walau bagaimanapun, berdasarkan keseluruhan proses dalam talian kemas kini algoritma, pengesahan, penggunaan sisi klien dan maklum balas, setiap lelaran model mengambil masa "1.5 minggu" sebagai satu unit, yang jelas tidak dapat mengikuti rentak pelaksanaan yang dirancang pada asalnya. projek.

Untuk mempercepatkan kecekapan kemas kini algoritma, Chen Shaohong mengesyorkan pasukan penyelidik menggunakan SwanHub Selepas melatih versi model, demo boleh dikemas kini dengan pantas pada platform dari pelbagai jabatan pengilang, termasuk PM , pengurus produk, ujian, pasaran dan lain-lain Penyelidik boleh menguji kesan dalam talian dan memberikan maklum balas penambahbaikan yang pelbagai, yang meningkatkan kecekapan komunikasi dan kerjasama antara kedua-dua pihak, dan juga meningkatkan kelajuan lelaran model.

Kolaborasi antara disiplin seperti ini sukar dicapai dalam kerjasama berpusatkan kod sebelumnya - contohnya, meminta ahli projek daripada jabatan pemasaran untuk memasang persekitaran dan menjalankan projek adalah amat sukar, dan Platform dengan Demo sebagai teras membolehkan kerjasama merentas lapangan.

Nilai sumber terbuka: kuasa penggerak perubahan teknologi AI

Dua puluh tahun yang lalu, sebuah buku yang dipanggil "Sumber Terbuka: Suara Revolusi" menjadi popular dalam kalangan teknologi. Buku ini secara mendalam meneroka dan merekodkan pemahaman dan penghuraian budaya sumber terbuka oleh lebih daripada sedozen perintis sumber terbuka, termasuk tokoh legenda seperti Linus Torvalds, bapa Linux, dan Richard Stallman, pengasas pergerakan perisian percuma.

Sebagai contoh, Linus Torvalds sentiasa menjadi penyokong setia sumber terbuka dan pernah menyatakan secara terbuka: "Masa depan adalah sumber terbuka segala-galanya Selama lebih daripada 30 tahun, dia tidak berusaha untuk menyuntik usahanya ke dalam komuniti Linux." , membolehkan Linux berkembang secara beransur-ansur daripada sistem pengendalian percuma dengan hanya beberapa ratus pengguna menjadi komuniti yang hebat dan kreatif.

Keghairahan ahli pasukan SwanHub untuk sumber terbuka berasal daripada buku ini, malah mereka cuba menterjemah manuskrip, yang hanya mempunyai versi bahasa Inggeris yang asli, ke dalam bahasa Cina Proses terjemahan memberi mereka pemahaman yang lebih mendalam tentang peranan sumber terbuka dalam akademik pertukaran dan pembangunan teknologi boleh memainkan peranan yang besar dalam mempromosikan.

Ini juga merupakan nilai mendalam untuk membina komuniti sumber terbuka SwanHub. Melihat kepada bidang AI hari ini, kebanyakan kemajuan yang memberi impak berakar umbi dalam prinsip sains terbuka dan sumber terbuka. Prinsip-prinsip ini bukan sahaja menyokong penyebaran dan perkongsian ilmu secara percuma, tetapi juga menggalakkan kerjasama penyelidikan saintifik dan inovasi pada skala global.

"Perpustakaan Transformers" komuniti Hugging Face ialah contoh klasik: syarikat ini, yang diasaskan pada 2016, dengan cepat mendapat pengiktirafan luas dan sambutan hangat daripada komuniti AI dengan antara muka yang mudah digunakan dan sejumlah besar pra -model terlatih. Ia bukan sahaja menyediakan platform untuk penerbitan, perkongsian dan kerjasama, tetapi juga membuka model kerjasama yang inovatif, yang sangat merendahkan ambang untuk menggunakan model pembelajaran mendalam, membolehkan lebih ramai pembangun dan penyelidik menggunakan model ini ke dalam projek dan penyelidikan sebenar.

Paling penting, komuniti Hugging Face menggalakkan dan memudahkan kerjasama pada skala global. Pembangun dan penyelidik berkongsi model mereka sendiri yang dibangunkan, menyumbang kod, bertanya soalan dan bekerjasama untuk mencari penyelesaian pada platform ini. Pendekatan kolaboratif untuk sumbang saran ini telah banyak menggalakkan pembangunan teknologi AI dan juga telah membuka beberapa teknologi canggih yang mungkin penyelidikan tertutup kepada orang ramai.

Kejayaan Memeluk Wajah bukanlah kebetulan. Ia mendedahkan bahawa komuniti teknologi yang terbuka dan bekerjasama telah memainkan peranan penting dalam mempromosikan kemajuan teknologi. Apabila penyelidik saintifik mempunyai saluran untuk berkongsi hasil penyelidikan secara terbuka seperti data, metodologi, model dan alatan, sumbangan mereka boleh menjadi kekayaan bersama komuniti penyelidikan.

Amalan perkongsian terbuka ini membolehkan penyelidik lain berdiri di atas bahu "gergasi" dan bukan sahaja melihat lebih jauh, malah terus meneroka dan berinovasi. Dalam persekitaran sedemikian, pembangunan teknologi AI boleh berkembang pesat dalam kitaran positif.

Pada ketika ini, matlamat SwanHub dan Hugging Face pada asasnya adalah sama. Mengenai masa depan SwanHub, pasukan berharap untuk terus meningkatkan keupayaan dan pengalaman SwanHub dalam kerjasama, penempatan, komuniti, dll., dan akan membina matriks alat di sekitar SwanHub, termasuk alat pengaturcaraan modular model besar SwanChain, alat pengurusan eksperimen model SwanLab, dsb., meliputi AI keseluruhan kitaran hayat penyelidikan dan terus mengambil laluan sumber terbuka.

Kini, model besar berkembang pesat dan hasil baharu muncul Syarikat seperti Google dan OpenAI mungkin tidak mempunyai "parit", tetapi kuasa sumber terbuka sentiasa meningkat dan mengejar antara faktor yang membentuk situasi ini juga termasuk usaha bersama penyokong sumber terbuka yang tidak terkira banyaknya.

Atas ialah kandungan terperinci Untuk menyelesaikan kesukaran menghasilkan semula model besar dan bekerjasama, pasukan pelajar pasca 95-an ini mencipta komuniti sumber terbuka AI domestik. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!