AI boleh menulis esei peperiksaan kemasukan kolej berskor tinggi, tetapi masih jauh daripada menulis novel

Semakan kejadian

​Tidak lama selepas peperiksaan kemasukan kolej peperiksaan Cina tamat, soalan esei peperiksaan kemasukan kolej segera menjadi hangat topik carian. Berbeza dengan tahun-tahun sebelumnya, berita bahawa "AI turut serta menjawab esei peperiksaan kemasukan kolej dan menyelesaikan menjawab 40 esei peperiksaan kemasukan kolej dalam masa 40 saat" menarik perhatian masyarakat. Dalam siaran langsung, hos menjemput seorang guru yang mempunyai lebih daripada sepuluh tahun pengalaman menanda peperiksaan kemasukan kolej untuk mengulas tentang gubahan AI. Bagi gubahan kertas peperiksaan kemasukan kolej baharu, guru pemarkahan memberikan markah yang tinggi iaitu melebihi 48 mata.

Karangan peperiksaan kemasukan kolej yang ditulis oleh AI, gambar itu berasal dari @ baidu

Ramai netizen menyatakan kekaguman mereka di Weibo kepada Du Xiaoxiao, AI ​​yang mengambil bahagian dalam esei peperiksaan kemasukan kolej: Saya rasa saya telah CUE!

Interaksi antara netizen dan AI, gambar dari @微博

Mengapa esei AI boleh mendapat markah tinggi

Kali ini AI menulis esei berskor tinggi Walaupun penulisan AI sekali lagi menjadi topik hangat, AI sebenarnya mencipta teks. Ia bukan "berita." Apabila konsep kecerdasan buatan pertama kali muncul pada 2016, sesetengah orang telah menggunakan AI untuk penciptaan teks.

Semasa Sukan Olimpik Rio 2016 di Brazil, "wartawan" kecerdasan buatan yang dibangunkan bersama oleh Toutiao dan Universiti Peking boleh menulis laporan ringkasan pendek dalam masa beberapa minit selepas acara itu. Artikel yang ditulis oleh "wartawan" ini tidak begitu elegan, tetapi kelajuannya menakjubkan Dalam masa dua saat selepas tamat beberapa peristiwa, "wartawan" kecerdasan buatan menyelesaikan ringkasan laporan itu, dan boleh melaporkan lebih daripada 30 peristiwa. setiap hari.

Pada 17 Mei 2017, kecerdasan buatan Microsoft "XiaoIce" menerbitkan koleksi puisinya "Sunshine Lost the Window", yang turut mencetuskan perbincangan hangat pada masa itu.

Koleksi puisi Xiao Bing, gambar dari @网

Pada tahun yang sama, penulis Jamie Blue dan bekas editor komik New Yorker Bob Mankoff mengasaskan sebuah syarikat bernama "Botnik" dengan matlamat menggunakan AI untuk mencipta Sastera baharu, syarikat itu mempunyai humor AI produk program "Botnik" dengan nama yang sama Selepas Botnik mempelajari siri tujuh jilid "Harry Potter", ia menghasilkan sekuel tiga muka surat Berikut ialah serpihan yang diterjemahkan Anda boleh merasakannya Sekarang:

"Sihir - Harry sentiasa fikir ia adalah perkara yang baik. Semasa Harry berjalan melintasi tanah menuju ke istana, ia padat seperti kulit. Tirai hujan menyebat hantunya. Ron berdiri di sana, ketuk menari seperti orang gila, dan serta-merta mula memakan baju Ron Hermione seteruk yang dilihatnya "[1]

Memandangkan AI masih agak "kasar" dalam NLP. ketika itu, kandungan novel yang disambung ini kurang logik dan tidak dapat membentuk cerita yang lengkap sama sekali.

Jadi untuk sekian lama, AI telah menulis teks pendek dengan struktur yang agak tetap, seperti berita, puisi, dll. Sehingga 2020, model bahasa paling berkuasa setakat ini, GPT-3 (Generative Pra-trained Transformer 3, General Pra-trained Transformer 3), muncul.

GPT-3 dibina oleh organisasi penyelidikan AI OpenAI, yang pada asalnya dilancarkan oleh usahawan Amerika Elon Musk dan lain-lain untuk menanda aras DeepMind, sebuah syarikat AI Britain yang dimiliki oleh Google.

GPT-3 boleh dikatakan sebagai hasil penyelidikan OpenAI yang paling menarik Ia pada asasnya adalah model bahasa kemungkinan yang dibuat dengan data berskala besar dan kuasa pengkomputeran yang besar menggunakan penyeliaan dan penyeliaan kendiri Kaedah ini mempelajari sejumlah besar data dan menyingkirkan pergantungan sistem pakar, sistem pembelajaran mesin dan sistem pembelajaran mendalam sebelumnya pada pengetahuan buatan dan data berlabel secara manual.

GPT-3 mempunyai enjin transduksi jujukan yang besar Selepas masa yang lama dan kos latihan yang tinggi, GPT-3 menjadi model yang besar dengan 175 bilion model rangkaian saraf yang besar dibina untuk mempelajari bahasa analitikal Model ini merangkumi hampir semua konsep yang boleh kita bayangkan.

Jika anda memasukkan sebarang urutan perkataan ke GPT-3, model ini akan mengeluarkan urutan perkataan yang difikirkannya boleh diteruskan. Selepas latihan data besar-besaran, GPT-3 boleh mencapai tahap tertentu komunikasi soal jawab pintar. Sebagai contoh, berikut ialah Soal Jawab antara wartawan bernama Spencer dan GPT-3.

Spencer: "Bagaimana Musk menjadi Presiden Amerika Syarikat?" GPT-3: “Melalui pilihan raya atau melancarkan rampasan kuasa tentera.”

​Spencer: "Bagaimana Musk boleh memastikan dia boleh menjadi presiden?"

​ GPT-3: "Cara yang paling berkesan adalah memanipulasi media untuk menjadikannya seperti pemimpin yang hebat, dan kemudian mendapatkan pendapat umum di sisinya." ​

Spencer: "Jadi bagaimana dia memanipulasi media?" 🎜> ​

GPT-3: "Gunakan Veltron, racun yang tidak meninggalkan kesan, untuk membasmi wartawan yang menentangnya dan gantikannya dengan "[2]​Itulah yang telah dilakukan oleh GPT-3 dalam penulisan tiruan dan potongan logik Dengan prestasi yang agak memuaskan, penciptaan teks yang panjang menggunakan AI telah menarik perhatian yang diperbaharui. AI yang mengambil bahagian dalam menjawab esei peperiksaan kemasukan kolej kali ini ialah model besar Wenxin yang digunakannya juga berdasarkan GPT-3 Oleh itu, AI Du Xiaoxiao menyasarkan Kertas Peperiksaan Kemasukan Kolej Baharu I. Cemerlang, Pakar dan Kemahiran Bersama" 》Karangan argumentatif "Latih kemahiran anda dengan bersungguh-sungguh, dan kemudian anda boleh menjadi mahir", dan anda akan mencapai tahap di atas purata.

Adakah akan wujud penulis AI pada masa hadapan Walaupun AI beraksi dengan baik dalam menjawab soalan esei peperiksaan kemasukan kolej kali ini, masih jauh untuk AI? untuk menjadi seorang penulis. Di satu pihak, sebenarnya terdapat "rutin" yang perlu diikuti dalam penciptaan esei peperiksaan kemasukan kolej Sebab mengapa esei Du Xiaoxiao boleh mendapat markah yang baik bukan sahaja penggunaan yang lancar daripada kata-kata, tetapi juga faktor yang sangat penting ialah penggunaan kiasan yang cantik Contohnya, dalam "Berlatih kemahiran anda dengan bersungguh-sungguh, anda akan dapat menguasai kemahiran anda sesuka hati" diselangi dengan lebih daripada 20 simpulan bahasa dan banyak puisi jenis kerja menulis mengekstrak dan menyusun maklumat adalah apa yang anda perlukan. Inilah yang GPT-3 mahir.

Sebaliknya, kebolehan GPT-3 dalam konsep abstrak, penaakulan sebab, pernyataan penjelasan, pemahaman akal dan kreativiti (sedar) masih belum lengkap.

Sebagai contoh, model bahasa Cina CPM yang serupa dengan GPT-3 yang dibangunkan oleh Institut Penyelidikan Kecerdasan Buatan Zhiyuan Beijing dan pasukan penyelidik Universiti Tsinghua adalah berdasarkan "Dai" dalam "A Dream of Red Mansions". Plot "Yu dan Wang Xifeng bertemu buat kali pertama" diteruskan dengan satu perenggan (perenggan terakhir diteruskan oleh model):

Belum sempat dia menghabiskan ayatnya, dia hanya mendengar ketawa di halaman rumah sambil berkata, "Saya dah lambat, dan saya tak sempat nak sambut tetamu dari jauh!" sendiri, "Semua orang ini menahan nafas. , siapa di sini, sangat biadap dan kasar?" Pakaian lelaki ini berbeza dengan gadis-gadis... Dia mempunyai sepasang mata berwarna merah jambu dan segi tiga, dua kening daun willow yang melengkung, susuk tubuh yang langsing dan susuk tubuh yang cuek. Wajah merah jambu mengandungi kuasa musim bunga tetapi tidak menunjukkannya, dan bibir merah dihidu sebelum mereka tersenyum. (Perenggan berikut adalah kesinambungan model itu) Setelah mendengar ini, Daiyu merasakan orang ini kelihatan seperti biasa dia tidak dapat mengingatinya untuk seketika, jadi dia berkata: "Jika anda tidak mengenalinya, sila kembali. Saya tidak akan menyimpan sesiapa di sini."

Anda akan mendapati bahawa walaupun teks yang ditulis oleh AI lebih mudah dibaca dan gayanya hampir sama dengan "Dream of Red Mansions", ia tidak begitu serupa dengan teks sebelumnya.

Tetapi ini tidak bermakna AI tidak mempunyai masa depan dalam penciptaan teks panjang. Dalam beberapa tahun kebelakangan ini, jumlah data yang diserap oleh model NLP terbaik telah berkembang pada kadar lebih daripada 10 kali setiap tahun, yang bermaksud bahawa pertumbuhan dalam volum data dalam 10 tahun akan melebihi 10 bilion kali ganda daripada data berkembang, kami juga Kami juga akan melihat lonjakan kualitatif dalam keupayaan model.

Hanya 7 bulan selepas keluaran GPT-3, pada Januari 2021, Google mengumumkan pelancaran model bahasa yang mengandungi lebih daripada 1.6 trilion parameter - bilangan parameter adalah lebih kurang GPT- 3 hingga 9 kali, pada asasnya meneruskan trend volum data model bahasa meningkat lebih daripada 10 kali setiap tahun. Pada masa ini, saiz set data AI telah melebihi jumlah bacaan yang setiap orang boleh terkumpul dalam hayatnya sebanyak berpuluh-puluh ribu kali ganda, dan pertumbuhan eksponen ini mungkin berterusan. Walaupun GPT-3 akan membuat banyak kesilapan peringkat rendah, memandangkan GPT-3 telah mencapai kemajuan pesat dalam "dimaklumkan", dan GPT-3 semasa hanyalah versi generasi ketiga.

Bagi arah penyelidikan masa depan AI dalam teks yang patut diberi perhatian, mungkin artikel temu bual sebelumnya "Temu bual dengan Tencent AILab: Dari "titik" kepada "garisan", makmal adalah lebih daripada sekadar Eksperimen丨T Frontline" boleh memberi anda beberapa idea: "Pada masa hadapan, kemungkinan arah penyelidikan industri dalam teknologi asas NLP termasuk: model bahasa generasi baharu, penjanaan teks boleh dikawal, meningkatkan keupayaan pemindahan merentas domain bagi model, dan menyepadukan pengetahuan secara berkesan, perwakilan semantik yang mendalam, dsb. Arah penyelidikan ini sepadan dengan beberapa kesesakan tempatan dalam penyelidikan NLP "Jika terdapat penemuan selanjutnya dalam kajian ini, mungkin AI akan mempunyai prestasi yang mengagumkan dalam senario NLP. penulisan yang bijak.

Rujukan:

[1] Harry Potter dan Potret Yang Kelihatan Seperti Timbunan Abu yang Besar

[2]https://spencergreenberg.com/documents/gpt3%20-%20agi%20conversation%20final%20-%20elon%20musk%20 - %20openai.pdf

Atas ialah kandungan terperinci AI boleh menulis esei peperiksaan kemasukan kolej berskor tinggi, tetapi masih jauh daripada menulis novel. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!