Sebab teknikal di sebalik kejayaan ChatGPT dan inspirasinya untuk bidang sains hayat

Seawal tahun 1950-an, beberapa sarjana mencadangkan konsep kecerdasan buatan (Artificial Intelligence), yang tujuannya adalah untuk menjadikan komputer memiliki kecerdasan manusia (atau sebahagian daripada kecerdasan manusia). Selepas bertahun-tahun pembangunan dalam bidang ini, masih tiada kejayaan sehingga kemunculan teknologi pembelajaran mendalam pada tahun 2012. Pembelajaran mendalam terutamanya menyelesaikan kesesakan keupayaan perwakilan model. Masalah pemodelan yang kami hadapi, seperti pemahaman imej, terjemahan bahasa, pengecaman pertuturan, ramalan konformasi pengikatan molekul-protein dan teknologi lain, semuanya adalah masalah bukan linear yang sangat kompleks Sebelum kemunculan pembelajaran mendalam, keupayaan perwakilan model adalah sangat lemah dan ia adalah mustahil untuk Perwakilan yang tepat bagi masalah kompleks ini. Teknologi pembelajaran mendalam secara teorinya boleh membina model dari mana-mana kedalaman dengan menyusun model, menerobos kesesakan keupayaan perwakilan model, dengan itu membuat kemajuan terobosan dalam bidang seperti pengecaman pertuturan, penglihatan komputer dan pemahaman bahasa semula jadi.

Kemunculan teknologi pembelajaran mendalam menandakan peringkat baharu kecerdasan buatan. generasi era kecerdasan buatan (Malah, penerapan pembelajaran mendalam dalam bidang pengecaman pertuturan boleh dikesan seawal-awalnya, tetapi memandangkan banyak kemajuan seterusnya dalam pembelajaran mendalam datang daripada bidang penglihatan komputer, kami menggunakan AlexNet 2012 muncul sebagai titik permulaan). Tempoh ini boleh dianggap sebagai peringkat pertama generasi baharu kecerdasan buatan yang didorong oleh pembelajaran mendalam, iaitu model pembelajaran mendalam dipacu data anotasi , yang telah meningkatkan keupayaan perwakilan model dengan ketara, sekali gus mempromosikan Artificial teknologi kecerdasan telah meningkat dengan ketara dan telah mencapai kejayaan produk dan komersial dalam bidang penglihatan komputer dan pengecaman pertuturan. Had utama peringkat ini ialah ia sangat bergantung pada jumlah data berlabel. Apabila bilangan parameter model bertambah, sejumlah besar data latihan diperlukan sebagai kekangan untuk menyelesaikan begitu banyak parameter model. Sangat mahal untuk mendapatkan sejumlah besar data beranotasi, dan sukar untuk diperbaiki selepas mencapai tahap 100 juta, dan saiz model berkesan yang disokong oleh data itu juga terhad. Dalam tempoh dari 2012 hingga 2015, visi komputer adalah bidang yang paling aktif, dengan pelbagai model rangkaian dalam termasuk ResNet muncul. Pada tahun 2017, kerja asas yang penting, Transformer, muncul. Pada tahun 2019, dalam bidang pemprosesan bahasa semula jadi (NLP), yang belum dapat membuat penemuan besar, sebuah karya yang dipanggil BERT menonjol dan mencapai hasil terbaik dalam lebih daripada sedozen tugas pemprosesan bahasa semula jadi (NLP). perbezaan antara tugas-tugas ini sangat besar, jadi selepas kerja BERT diterbitkan, ia segera menarik perhatian seluruh bidang. BERT menerima pakai idea yang dipanggil

Pralatihan kendiri

Ia boleh melatih model tanpa melabelkan data dan hanya menggunakan kekangan korpus teks itu sendiri (contohnya, hanya yang tertentu. kedudukan ayat tertentu boleh dilatih Perkataan layak tertentu boleh digunakan), supaya korpus berkualiti tinggi yang sedia ada di Internet boleh digunakan untuk latihan tanpa penentukuran manual, yang secara tiba-tiba meningkatkan jumlah data latihan yang tersedia, dan ditambah dengan besar. model, ia menjadikan Model BERT jauh lebih berkesan daripada model terdahulu dan mempunyai fleksibiliti yang baik merentasi tugas yang berbeza, menjadikannya salah satu pencapaian dalam bidang NLP. Sebenarnya, sebelum BERT muncul pada tahun 2018, terdapat karya yang dipanggil GPT (iaitu GPT1.0), yang sebelum ini menggunakan idea pra-latihan yang diselia sendiri untuk penjanaan teks, iaitu teks sebelumnya adalah input, dan model meramalkan dan mengeluarkan teks berikut yang berkualiti tinggi dalam medan boleh dilatih tanpa anotasi. Kedua-dua BERT dan GPT telah dibangunkan berdasarkan Transformer, dan Transformer telah berkembang secara beransur-ansur menjadi model umum dalam bidang AI. Kesan GPT1.0 tidak menakjubkan. Tidak lama selepas kemunculan BERT, GPT dengan cepat mengeluarkan GPT2.0 Saiz model dan volum data latihan telah dipertingkatkan dengan ketara Sebagai model umum (iaitu, tanpa tugas hiliran untuk latihan dan keputusan ujian langsung), hasilnya lebih baik daripada yang terkini pada kebanyakan tugasan Terdapat model. Walau bagaimanapun, memandangkan model BERT mempunyai lebih banyak kelebihan berbanding model GPT2.0 dalam perwakilan ciri dan lebih mudah untuk dilatih, kerja yang paling prihatin dalam bidang pada peringkat ini masih BERT. Tetapi pada Julai 2020, GPT3.0 telah dilahirkan, menakjubkan semua orang dengan 170 bilion parameter Lebih penting lagi, dari segi kesan, GPT3.0 berfungsi sebagai model bahasa universal Anda hanya perlu memberikannya penerangan ringkas untuk menggambarkan generasi anda ingin menjana berdasarkan kandungan, anda boleh menjana kod boleh laku, menjana halaman web atau ikon, melengkapkan artikel atau berita, dan menulis puisi dan muzik mengikut gesaan tanpa latihan semula. Selepas kemunculan GPT3.0, ia telah mendapat perhatian meluas daripada industri Banyak pembangun telah membuat banyak aplikasi menarik berdasarkan GPT3.0. GPT3.0 telah menjadi model penjanaan teks terbaik dan paling popular.

Selepas kemunculan teknologi pra-latihan yang diselia sendiri, kita boleh berfikir bahawa kecerdasan buatan generasi baharu telah berkembang ke peringkat kedua, iaitu pra-latihan yang diselia sendiri. teknologi telah meningkatkan bilangan data latihan yang tersedia dengan beberapa urutan magnitud Dengan peningkatan data latihan, saiz model juga telah dipertingkatkan dengan beberapa susunan magnitud (model berkesan telah mencapai skala ratusan bilion), dan dari segi kesan model, model ini tidak lagi bergantung kepada data medan tugas hiliran, oleh itu, bidang itu telah memasuki era model besar umum berdasarkan pra-latihan yang diselia sendiri .

Selepas itu, GPT3.0, bersama-sama dengan kerja lain di lapangan, mencetuskan gelombang perlumbaan senjata bersaiz model, tetapi beberapa teknologi yang benar-benar terobosan muncul. Semua orang menyedari bahawa hanya meningkatkan saiz model tidak menyelesaikan masalah secara asasnya. Hanya apabila semua orang menantikan kemunculan kerja susulan seperti GPT4.0, GPT tidak dikemas kini selama dua tahun penuh. Dalam tempoh ini, kerja paling aktif dalam bidang kecerdasan buatan tertumpu terutamanya pada dua aspek, model bersatu pelbagai mod dan penjanaan kandungan. Model bersatu multimodal, dengan harapan untuk membina model bersatu multimodal atau cross-modal, cuba untuk mewakili data modal yang berbeza secara seragam seperti teks, imej dan suara dalam satu model, termasuk model perwakilan silang mod yang terawal CLIP, dan siri A berikutnya model perwakilan bersatu multimodal. Dalam bidang penjanaan kandungan, di satu pihak, pada peringkat teknikal, model asas seperti Model Difusi telah muncul Perkembangan Model Difusi dan beberapa model varian telah menjadikan bidang Kandungan Dihasilkan AI (AIGC). menjadi Ia sangat panas dan telah berkembang daripada bidang penjanaan imej kepada bidang pemprosesan bahasa semula jadi dan sains hayat Sebaliknya, di peringkat aplikasi, banyak kemajuan besar telah dicapai dalam bidang penjanaan imej berasaskan. Pada teks. Antaranya, kerja yang paling representatif ialah DALLE2 Model boleh mengikut teks input Penerangan menghasilkan imej yang kelihatan realistik, walaupun huraian teks melebihi realiti, ia masih boleh menghasilkan imej yang sesuai penerangan teks, seperti yang ditunjukkan dalam rajah di bawah. Kejayaan satu siri karya seperti DALLE2 adalah disebabkan oleh jumlah besar data persuratan teks-imej (kira-kira ratusan juta pasangan), yang memodelkan korespondensi antara teks dan semantik imej, dan sebaliknya. kepada model resapan yang mengatasi GAN, VAE dan model lain mempunyai kekurangan seperti kesukaran dalam latihan dan pengekalan butiran yang tidak mencukupi bagi kesan yang dijana. Kesan penjanaan imej sangat menakjubkan sehingga ramai orang percaya bahawa AI sudah boleh mencipta kandungan.

Rajah kesan generasi DALLE2

Pada penghujung November 2022, OpenAI mengeluarkan ChatGPT. Selepas keluaran ChatGPT, semua orang mendapati bahawa chatbot ini sangat luar biasa dan sering memberikan jawapan yang menakjubkan. Terdapat banyak robot perbualan dalam bidang robot perbualan, seperti Apple Siri, Microsoft Xiaobing Xiaona, dsb. Pengalaman sistem perbualan umum ini tidak begitu ideal digunakan oleh orang untuk mengusik mereka dan kemudian membuangnya ke tepi. Rangka kerja sistem robot soal jawab pelaksanaan perintah yang digunakan dalam produk seperti pembesar suara pintar adalah berdasarkan sistem pengurusan dialog dipacu peraturan Terdapat sejumlah besar peraturan manual, yang menjadikan sistem ini tidak dapat diperluaskan kepada bidang umum dan hanya boleh memberikan jawapan yang ringkas dan bergaya , sebaliknya, tidak dapat mengendalikan maklumat semantik persekitaran (Konteks) beberapa pusingan dialog. Dari perspektif teknikal, ChatGPT adalah berbeza sama sekali daripada sistem dialog arus perdana Keseluruhan sistem adalah berdasarkan model besar generasi dalam Untuk input yang diberikan, ia diproses oleh model mendalam dan secara langsung mengeluarkan jawapan ringkasan abstrak. Dari segi pengalaman produk, ChatGPT juga jauh mengatasi sistem sembang yang lalu. Sebagai bot sembang umum, ia boleh menjawab soalan dalam hampir semua bidang, dan ketepatannya telah mencapai tahap yang manusia sanggup untuk terus menggunakannya. Ia masih boleh mengekalkan pengalaman yang sangat baik dalam beberapa pusingan senario dialog.

Sudah tentu, ChatGPT tidak sempurna Sebagai model pembelajaran mendalam, ChatGPT mempunyai kelemahan yang tidak boleh 100% tepat untuk beberapa soalan yang memerlukan jawapan yang tepat (seperti pengiraan matematik, logik penaakulan, atau nama, dsb.) ), akan terdapat beberapa ralat yang jelas yang boleh dilihat. Terdapat beberapa penambahbaikan kemudian. Contohnya, beberapa kerja akan menyediakan pautan web rujukan untuk maklumat Dalam karya terbaru Facebook ToolFormer , ia cuba memasukkan tugasan tertentu dalam model penjanaan meninggalkan pengiraan kepada API tertentu dan bukannya menggunakan model umum, ini dijangka dapat mengatasi masalah bahawa model tidak boleh 100% tepat. Jika laluan ini diteruskan, model generatif yang mendalam dijangka menjadi rangka kerja teras AGI, dan sangat mengujakan untuk memikirkan tentang menyepadukan API kemahiran lain melalui pemalam.

Secara komersil, di satu pihak, ChatGPT telah mencetuskan imaginasi tentang cabaran enjin carian seperti Google, dan sebaliknya, semua orang telah melihat pelbagai peluang aplikasi produk menegak yang berkaitan dengan pemahaman bahasa semula jadi. Tidak syak lagi bahawa ChatGPT mencipta peluang perniagaan baharu dalam bidang pemahaman bahasa semula jadi yang mungkin menyaingi pengesyoran carian.

Mengapa ChatGPT mempunyai kesan yang menakjubkan? Salah satu sebab utama ialah ChatGPT dibina berdasarkan model generatif besar GPT3.5 , yang sepatutnya menjadi model terbaik untuk penjanaan teks dalam bidang pemahaman bahasa semula jadi semasa ( GPT3.5 digunakan lebih daripada GPT3.0 Dengan lebih banyak data dan model yang lebih besar, hasil yang lebih baik).

Sebab teras kedua ialah teknologi pembelajaran pengukuhan berdasarkan maklum balas manusia iaitu, Pembelajaran Pengukuhan daripada Maklum Balas Manusia (disingkatkan RLHF) . Memandangkan OpenAI tidak menerbitkan makalah mengenai ChatGPT dan tidak mendedahkan kod tersebut kepada umum, umumnya dipercayai bahawa ia adalah paling serupa dengan teknologi yang didedahkan dalam artikel sebelumnya, InstructGPT (https://arxiv.org/pdf/2203.02155.pdf ). Seperti yang ditunjukkan dalam rajah di bawah, mengikut huraian dalam InstructGPT, langkah pertama adalah untuk mengumpul data keutamaan pengguna untuk jawapan yang berbeza kepada soalan yang sama langkah kedua ialah menggunakan data keutamaan ini untuk melatih semula model GPT mengenai penyelarasan maklumat Langkah ketiga adalah untuk melatih fungsi pemarkahan mengikut keutamaan pengguna untuk jawapan yang berbeza Skor akan diberikan untuk jawapan ChatGPT Langkahnya ialah menggunakan fungsi pemarkahan ini sebagai kaedah pembelajaran pengukuhan (Reward) melatih model pembelajaran pengukuhan, menjadikan jawapan akhir yang dikeluarkan oleh ChatGPT lebih berat sebelah kepada jawapan yang disukai pengguna. Melalui proses di atas, ChatGPT mengeluarkan jawapan yang lebih mesra pengguna kepada input pengguna berdasarkan GPT3.5.

ChatGPT Peringkat pertama latihan model generasi GPT menggunakan banyak data latihan, kira-kira Dengan berpuluh-puluh terabait, kos berpuluh-puluh juta dolar untuk melatih model sekali, manakala pada peringkat kedua, sejumlah kecil maklum balas data berkualiti tinggi berdasarkan pembelajaran pengukuhan hanya memerlukan puluhan ribu data berkualiti tinggi. Kita dapat melihat bahawa teknologi ChatGPT adalah berdasarkan model besar pra-latihan yang diselia sendiri digabungkan dengan teknologi pembelajaran pengukuhan berdasarkan maklum balas manusia, dan telah mencapai kemajuan yang sangat ketara. Paradigma baharu ini mungkin menjadi teknologi pemacu teras peringkat ketiga kecerdasan buatan, iaitu, pertama berdasarkan model besar pra-latihan penyeliaan kendiri, dan kemudian digabungkan dengan teknologi pembelajaran pengukuhan berdasarkan kecil. jumlah maklum balas data berkualiti tinggi untuk membentuk model dan maklum balas gelung tertutup data untuk mencapai kejayaan teknologi selanjutnya.

Berkenaan ChatGPT, pandangan kami adalah seperti berikut:

(1) ChatGPT sememangnya karya terbesar ini era Pertama, mari kita lihat kesan menakjubkan AI berdasarkan pra-latihan yang diselia sendiri untuk menjana model besar dan keputusan strategi maklum balas pembelajaran pengukuhan berdasarkan sejumlah kecil data berkualiti tinggi, yang dalam erti kata lain telah mengubah persepsi kita.

(2) Teknologi berkaitan ChatGPT mempunyai nilai komersial yang sangat hebat, menyebabkan banyak produk termasuk enjin carian menghadapi peluang untuk dibina semula atau ditumbangkan, yang sudah pasti akan membawa banyak peluang perniagaan baharu, dan keseluruhan medan NLP akan mendapat manfaat.

(3) Model besar generatif berdasarkan paradigma pra-latihan dan pembelajaran yang diselia sendiri berdasarkan strategi maklum balas pembelajaran pengukuhan berdasarkan sejumlah kecil data berkualiti tinggi dijangka menjadi tenaga penggerak untuk kemajuan pelbagai bidang pada masa hadapan, kecuali bidang NLP Selain itu, ia dijangka mencetuskan pusingan baharu ledakan kecerdasan buatan dalam pelbagai bidang seperti sains hayat, robotik, dan pemanduan autonomi.

(4) ChatGPT tidak membuktikan bahawa kecerdasan buatan mempunyai minda manusia Sebahagian daripada kreativiti dan kecerdasan yang ditunjukkan oleh ChatGPT adalah kerana korpus pemahaman bahasa semula jadi mengandungi semantik dan logik, berdasarkan. Model generatif yang dilatih pada korpus bahasa semula jadi telah mempelajari korespondensi ini dalam erti kata statistik dan nampaknya mempunyai kecerdasan, tetapi ia tidak benar-benar mempunyai fikiran manusia. ChatGPT hebat, tetapi ia tidak cukup tegas untuk mengatakan bahawa kecerdasannya adalah sama dengan kecerdasan kanak-kanak berumur beberapa tahun. Kerana secara asasnya, AI belum lagi mempunyai keupayaan untuk orang ramai mempelajari pengetahuan baharu, melakukan penaakulan logik, imaginasi dan maklum balas gerakan. Gembar-gembur yang berlebihan mengenai kecerdasan dan keupayaan ChatGPT akan menghalau syiling yang baik dan membahayakan seluruh industri.

(5) Dalam bidang ini, masih terdapat jurang dalam teknologi China Dalam tempoh dua tahun yang lalu, kami tidak melihat model penjanaan teks yang benar-benar boleh meniru kesan GPT3.0. 0 dan 3.5, ia akan menjadi Tiada ChatGPT. Kerja seperti GPT3, GPT3.5 dan ChatGPT bukan sumber terbuka, malah API disekat di China Ini adalah kesukaran praktikal untuk menyalin kerja. Secara pesimis, kebanyakan pasukan yang ingin meniru kesan ChatGPT tidak akan berjaya.

(6) ChatGPT bukanlah satu kejayaan algoritma yang dibuat oleh satu atau dua penyelidik, tetapi hasil daripada sistem kejuruteraan algoritma yang sangat kompleks berpandukan konsep lanjutan Ia perlu bersifat Pasukan dan organisasi padanan (bersamaan dengan OpenAI dan DeepMind). Pasukan yang berorientasikan penyelidikan semata-mata mungkin tidak berjaya, begitu juga pasukan yang tidak cukup memahami pembelajaran mendalam dan terlalu berorientasikan kejuruteraan. Pasukan ini memerlukan: pertama, sokongan sumber yang mencukupi untuk menyokong latihan pembelajaran mendalam yang mahal dan pengambilan bakat kedua, pemimpin pakar yang benar-benar mengetuai pasukan model besar kejuruteraan dalam industri ChatGPT bukan sahaja mempunyai inovasi algoritma, tetapi juga Ia adalah inovasi sistem kejuruteraan; ketiga, dan mungkin yang paling penting, ia memerlukan organisasi yang bersatu, bekerjasama, mempunyai kepimpinan yang bersatu, dan tidak mengejar penerbitan kertas kerja (organisasi yang longgar adalah kondusif untuk inovasi algoritma, tetapi tidak kondusif untuk penyelidikan algoritma kejuruteraan), dan cukup Dilengkapi.

(7) Kami bukan sahaja mengejar untuk menjadi ChatGPT, tetapi juga terus mengejar inovasi teknologi di belakangnya, iaitu, membangunkan pra-latihan yang diselia sendiri secara bersungguh-sungguh untuk menjana model besar dan pembelajaran pengukuhan berdasarkan sejumlah kecil data berkualiti tinggi Teknologi strategi maklum balas bukan sahaja teknologi teras ChatGPT generasi akan datang, tetapi juga teknologi yang menggalakkan kemajuan keseluruhan dalam bidang kecerdasan buatan. Kebimbangan terbesar ialah banyak sumber akan dibazirkan disebabkan oleh penyebaran kuasa akibat spekulasi dan mengejar trend, atau publisiti ChatGPT yang berlebihan akan merosakkan industri.

(8) ChatGPT masih mempunyai ruang untuk penambahbaikan, dan ia bukan satu-satunya teknologi yang patut diberi perhatian dan jangkaan. Salah faham yang paling biasa tentang AI ialah menilai terlalu tinggi prestasi jangka pendeknya dan meremehkan prestasi jangka panjangnya. Ini adalah era yang hebat di mana AI telah menjadi teras penggerak, tetapi AI tidak akan berkuasa dengan begitu cepat dan memerlukan usaha jangka panjang kami.

Di sini, kami merumuskan secara ringkas evolusi teknologi utama dalam gelombang kecerdasan buatan generasi baharu yang disebabkan oleh pembelajaran mendalam sejak 2012:

(1 ) Pada peringkat pertama, kemajuan utama ialah model pembelajaran mendalam terkawal dipacu data berlabel , yang meningkatkan keupayaan perwakilan model, sekali gus menggalakkan kemajuan ketara dalam teknologi kecerdasan buatan ini peringkat adalah yang paling aktif Dalam bidang penglihatan komputer dan pengecaman pertuturan, had utama ialah data berlabel adalah agak mahal, yang mengehadkan jumlah data yang boleh diperolehi, dengan itu mengehadkan saiz model berkesan yang boleh disokong oleh data.

(2) Pada peringkat kedua, kemajuan utama ialah pra-latihan diselia sendiri bagi model besar am yang didorong oleh data besar , latihan pra-latihan sendiri Teknologi latihan telah menambah baik data latihan yang ada dengan beberapa urutan magnitud, sekali gus menyokong peningkatan saiz model dengan beberapa susunan magnitud, menjadi model universal yang tidak perlu bergantung pada data dalam bidang tugas hiliran untuk latihan semula Pada peringkat ini, kemajuan terbesar dan yang paling aktif adalah model semula jadi dalam bidang pemahaman bahasa adalah bahawa ia memerlukan latihan data yang besar mahal untuk dilatih dan digunakan, dan juga sangat menyusahkan untuk melatih semula model adegan menegak.

(3) Peringkat ketiga, walaupun belum dapat disimpulkan lagi, ia menunjukkan trend tertentu. Kunci teknikal yang sangat penting pada masa hadapan ialah sama ada pembelajaran pengukuhan, dorongan dan kaedah lain boleh digunakan berdasarkan model besar untuk memberi kesan ketara kepada hasil keluaran model besar dengan hanya sejumlah kecil kualiti tinggi data. Jika teknologi ini bermula, bidang seperti pemanduan autonomi, robotik dan sains hayat, di mana pemerolehan data mahal, akan mendapat manfaat yang ketara. Pada masa lalu, jika anda ingin memperbaiki masalah model AI, anda perlu mengumpul sejumlah besar data dan melatih semula model tersebut. Jika, dalam bidang robot yang memerlukan interaksi luar talian, berdasarkan model besar yang telah dilatih sebelumnya, pembuatan keputusan robot boleh dipengaruhi hanya dengan memaklumkan robot beberapa pilihan tindakan yang betul dan salah dalam adegan sebenar, maka teknologi dalam bidang pemanduan tanpa pemandu dan robotik akan Lelaran akan menjadi lebih cekap. Dalam bidang sains hayat, jika hanya sedikit maklum balas data eksperimen boleh menjejaskan keputusan ramalan model dengan ketara, revolusi dalam penyepaduan seluruh bidang sains hayat dengan pengkomputeran akan datang dengan lebih pantas. Pada ketika ini, ChatGPT adalah peristiwa penting yang sangat penting, dan saya percaya akan ada banyak kerja yang akan datang.

Mari kita kembali ke bidang sains hayat yang lebih kita ambil berat.

Memandangkan kemajuan teknologi yang dibawa oleh ChatGPT telah menambah baik kebanyakan bidang berkaitan NLP, teknologi dan produk yang berkaitan dengan pertanyaan maklumat, pencarian dan pengekstrakan dalam bidang sains hayat akan mendapat manfaat terlebih dahulu. Sebagai contoh, adakah mungkin pada masa hadapan akan ada enjin carian menegak perbualan dalam bidang sains hayat. Pakar boleh bertanya kepadanya apa-apa soalan (seperti soalan tentang penyakit, sasaran, protein, dll.). , ia boleh memberikan trend yang komprehensif (mungkin tidak begitu tepat, tetapi mungkin betul, membantu kita memahami sesuatu bidang dengan cepat), sebaliknya, ia boleh memberikan maklumat yang relevan dan berharga tentang topik tertentu, yang sudah pasti akan meningkatkan maklumat dengan ketara. kecekapan pemprosesan pakar. Contoh lain ialah sama ada anda boleh membina doktor AI supaya pesakit boleh berunding tentang pengetahuan penyakit dan kaedah rawatan (terhad oleh batasan teknikal, AI tidak dapat memberikan jawapan yang tepat, apatah lagi menggantikan doktor), tetapi ia boleh memberi banyak maklumat untuk rujukan dan rawatan susulan Untuk cadangan tentang perkara yang perlu dilakukan, pengalaman itu pasti akan jauh lebih baik daripada enjin carian hari ini.

Masih terdapat banyak tugas penting yang belum diselesaikan dalam bidang sains hayat, seperti konformasi mengikat molekul-protein kecil dan ramalan pertalian, ramalan interaksi protein-protein, perwakilan molekul kecil dan ramalan sifat , ramalan sifat protein, penjanaan molekul kecil, reka bentuk protein, reka bentuk laluan retrosintetik dan tugas lain. Pada masa ini, masalah ini tidak dapat diselesaikan dengan sempurna Jika kejayaan dibuat dalam tugas-tugas ini, penemuan dadah dan juga seluruh bidang sains hayat akan membawa perubahan besar.

Bidang AIGC berdasarkan model besar dan bidang RLHF berdasarkan maklum balas pakar atau eksperimen akan mendapat manfaat daripada promosi ChatGPT dan pasti akan membawa kepada pusingan baharu kemajuan teknologi. Antaranya, teknologi AIGC (penjanaan kandungan kecerdasan buatan) telah mencapai kemajuan yang baik dalam bidang penjanaan molekul kecil dan reka bentuk protein pada tahun lalu. Kami meramalkan bahawa dalam masa terdekat, tugas berikut akan mendapat manfaat yang ketara daripada pembangunan teknologi penjanaan AIGC dan menjana langkah teknologi:

(1) Penjanaan molekul kecil dan teknologi pengoptimuman, iaitu Bagaimana untuk menghasilkan molekul ligan kecil berdasarkan maklumat struktur poket protein dan bukannya bergantung pada maklumat ligan aktif, dengan mengambil kira pelbagai kekangan seperti aktiviti, kebolehgunaan dadah, dan kebolehsintesisan Bahagian teknologi ini akan mendapat manfaat yang ketara daripada pembangunan bidang AIGC 🎜 >

(2) Ramalan konformasi boleh dianggap sebagai masalah penjanaan dalam erti kata lain, dan tugas ramalan konformasi mengikat molekul kecil dan protein juga akan mendapat manfaat daripada pembangunan teknologi berkaitan AIGC; >

(3) Protein, peptida, AAV dan bidang reka bentuk jujukan lain juga pasti akan mendapat manfaat daripada pembangunan teknologi AIGC.

Tugas berkaitan AIGC yang disebutkan di atas, serta hampir semua tugasan yang memerlukan maklum balas pengesahan percubaan, termasuk tetapi tidak terhad kepada ramalan aktiviti, ramalan harta benda, reka bentuk laluan sintetik, dsb. , akan berpeluang mendapat manfaat daripada teknologi RLHF membawa dividen.

Sudah tentu banyak cabarannya. Terhad oleh jumlah data yang tersedia, model generasi semasa yang digunakan dalam bidang sains hayat masih agak cetek, dan model pembelajaran mendalam cetek seperti GNN digunakan terutamanya (GNN dihadkan oleh kelancaran penghantaran mesej, dan bilangan lapisan hanya boleh digunakan untuk kira-kira 3 lapisan ), walaupun kesan penjanaan menunjukkan potensi yang baik, ia masih tidak menakjubkan seperti ChatGPT. Teknologi pembelajaran pengukuhan berdasarkan maklum balas pakar atau eksperimen dihadkan oleh kelajuan penjanaan data eksperimen dan keupayaan perwakilan yang tidak mencukupi bagi model yang dihasilkan Ia juga akan mengambil masa tertentu untuk mempersembahkan kesan yang menakjubkan. Walau bagaimanapun, jika dilihat dari trend evolusi teknologi ChatGPT, jika kita dapat melatih model generatif yang besar yang cukup dalam dan mempunyai keupayaan perwakilan yang cukup kuat, dan menggunakan pembelajaran pengukuhan untuk meningkatkan lagi kesan model besar berdasarkan jumlah yang tinggi. -data eksperimen berkualiti atau maklum balas pakar, kita boleh menjangkakan bahawa bidang AIDD pasti akan ada revolusi.

Ringkasnya, ChatGPT bukan sahaja kemajuan teknologi dalam bidang pemahaman bahasa semula jadi, ia akan mencetuskan pusingan baharu arah aliran perniagaan dalam bidang perkhidmatan maklumat dan penjanaan kandungan At pada masa yang sama, ia berdasarkan teknologi penjanaan mendalam data besar-besaran dan teknologi pembelajaran pengukuhan berdasarkan maklum balas manusia adalah daya penggerak jangka panjang untuk kemajuan dan akan membawa kepada pembangunan pesat dalam sains hayat dan bidang lain. Kami akan menyambut satu lagi gelombang kemajuan teknologi AI dan pelaksanaan perindustrian.

Atas ialah kandungan terperinci Sebab teknikal di sebalik kejayaan ChatGPT dan inspirasinya untuk bidang sains hayat. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!