Pemenang Anugerah Turing Geoffrey Hinton: Kerjaya pembelajaran mendalam saya selama lima puluh tahun dan kaedah penyelidikan

Dia tidak pernah mengikuti kursus komputer secara formal sebagai sarjana di Universiti Cambridge, tetapi akhirnya dia mendapat ijazah ijazah dalam bidang psikologi; dia pernah bekerja sebagai tukang kayu kerana dia penat belajar, tetapi selepas kecewa, dia kembali ke Universiti Edinburgh dan memperoleh ijazah kedoktoran dalam bidang kecerdasan buatan, "jurusan matematik yang tidak popular" membuatnya berasa terdesak ketika membuat kajian Selepas menjadi profesor, dia selalu meminta nasihat tentang sains saraf dan pengkomputeran kepada pelajar siswazah yang tidak difahaminya.

Jalan akademik nampaknya memeranjatkan, tetapi Geoffrey Hinton telah menjadi orang yang ketawa terakhir Dia dikenali sebagai "Godfather of Deep Learning" dan telah memenangi penghormatan tertinggi dalam bidang sains komputer "Turing Award".

Hinton dilahirkan dalam keluarga saintifik yang kaya di UK, tetapi kerjaya akademik dan jatuh bangun yang dia alami sepanjang hidupnya adalah kaya dan pelik .

Bapanya, Howard Everest Hinton, seorang ahli entomologi British, dan ibunya, Margaret, adalah seorang guru. Bapa saudaranya ialah ahli ekonomi terkenal Colin Clark, yang mencipta istilah ekonomi "Keluaran Negara Kasar", dan moyangnya ialah ahli logik terkenal George Boole Ciptaannya tentang algebra Boolean meletakkan asas untuk sains komputer moden.

Dipengaruhi oleh latar belakang keluarga saintis yang kaya, Hinton mempunyai kebolehan berfikir dan kecekalan bebas sejak kecil, dan telah memikul tanggungjawab mewarisi kehormatan keluarga. Ibunya memberinya dua pilihan, "sama ada untuk menjadi seorang ulama atau menjadi seorang yang kalah."

Pada tahun 1973, beliau belajar untuk PhD dalam kecerdasan buatan di bawah Langer Higgins di Universiti Edinburgh di UK Tetapi pada masa itu, hampir tiada siapa yang percaya pada rangkaian saraf, dan beliau mentor memujuknya untuk berhenti meneliti teknologi ini. Keraguan di sekelilingnya tidak cukup untuk menggoyahkan kepercayaan teguhnya dalam rangkaian saraf Dalam sepuluh tahun berikutnya, dia secara berturut-turut mencadangkan algoritma perambatan balik dan mesin Boltzmann, tetapi dia perlu menunggu beberapa dekad lagi untuk pembelajaran yang mendalam. penyelidikannya akan diketahui secara meluas pada masa itu.

Selepas menamatkan pengajian dalam Ph.D., Hinton juga mengalami kepayahan dalam hidup. Dia dan isteri pertamanya Ros (seorang ahli biologi molekul) pergi ke Amerika Syarikat dan mendapat jawatan mengajar di Universiti Carnegie Mellon Walau bagaimanapun, disebabkan ketidakpuasan hati dengan pentadbiran Reagan dan fakta bahawa penyelidikan kecerdasan buatan pada asasnya disokong oleh Jabatan A.S. Pertahanan , mereka pergi ke Kanada pada tahun 1987, dan Hinton mula mengajar di Sekolah Sains Komputer di Universiti Toronto dan menjalankan penyelidikan mengenai projek pembelajaran mesin dan otak di Institut Penyelidikan Lanjutan Kanada di CIFAR.

Malangnya, pada tahun 1994, isterinya Ros meninggal dunia akibat kanser ovari, meninggalkan Hinton sendirian untuk membesarkan dua anak mereka yang masih kecil, salah seorang daripada mereka juga mengalami ADHD dan masalah pembelajaran yang lain. Kemudian, dia berkahwin semula dengan isterinya sekarang, Jackie (seorang ahli sejarah seni), tetapi tamparan serupa menghampiri lagi Jackie juga mengalami kanser beberapa tahun lalu.

Dia sendiri juga menghidap penyakit tulang belakang lumbar yang teruk, yang menghalangnya daripada duduk seperti orang biasa dia terpaksa berdiri dan bekerja pada kebanyakan masa, dan dia juga enggan terbang. , kerana dia dikehendaki duduk tegak semasa berlepas dan mendarat, yang juga menyekatnya daripada membuat laporan akademik di tempat lain.

Dari kiri ke kanan, Ilya Sutskever, Alex Krizhevsky dan Geoffrey Hinton

Selepas hampir setengah abad ketekunan teknikal dan latihan kehidupan, akhirnya, fajar tahun 2012 yang dicadangkan olehnya dan pelajarnya Alex Krizhevsky dan Ilya Sutskever mengejutkan industri, sekali gus membentuk semula bidang visi komputer dan melancarkan pusingan baharu. daripada Zaman keemasan pembelajaran mendalam.

Juga pada penghujung tahun 2012, dia dan dua pelajar itu menubuhkan syarikat trio DNN-research dan menjualnya kepada Google untuk "harga tinggi" sebanyak AS$44 juta juga berubah daripada seorang sarjana kepada naib presiden Google dan Fellow Kejuruteraan.

Pada 2019, Hinton, seorang profesor AI dengan latar belakang bukan sains komputer, memenangi Anugerah Turing bersama Yoshua Bengio dan Yann LeCun.

Setelah melalui banyak kepayahan, "godfather of deep learning" berusia 74 tahun itu masih berjuang di barisan hadapan penyelidikan AI. Dia tidak takut dengan keraguan yang ditimbulkan ulama lain dan akan terus terang mengakui yang belum direalisasikan. Walau apa pun, dia masih percaya bahawa sepuluh tahun selepas kebangkitan pembelajaran mendalam, teknologi ini akan terus melepaskan tenaganya, dan dia juga sedang berfikir dan mencari titik kejayaan seterusnya.

Jadi dari mana datangnya kepercayaan teguhnya terhadap rangkaian saraf? Di tengah-tengah keraguan semasa bahawa pembelajaran mendalam telah "menghancurkan dinding," bagaimana dia melihat peringkat seterusnya pembangunan AI? Apakah mesej yang dia ada untuk generasi muda penyelidik AI?

Baru-baru ini, dalam The Robot Brains Podcast yang dihoskan oleh Pieter Abbeel, Hinton dengan jujur ​​berkongsi kerjaya akademiknya, masa depan pembelajaran mendalam dan pengalaman penyelidikan, serta lelongan DNN-research Cerita dalaman. Inilah yang dia katakan.

Hinton yang berusia 8 tahun

Apa yang paling berkesan impak yang mendalam kepada saya ialah pendidikan yang diterima pada zaman kanak-kanak. Keluarga saya tidak mempunyai pegangan agama, dan bapa saya seorang komunis, tetapi memandangkan pendidikan sains di sekolah swasta adalah lebih baik, ketika saya berumur 7 tahun, dia berkeras untuk menghantar saya ke sekolah swasta Kristian yang mahal Semua orang di sana kecuali saya Anak-anak percaya dalam Tuhan.

Sesampai sahaja di rumah, keluarga saya mengatakan agama itu mengarut Sudah tentu, mungkin kerana saya mempunyai kesedaran diri yang kuat, saya sendiri tidak percaya, dan saya menyedari bahawa kepercayaan kepada Tuhan adalah salah, dan Membangunkan tabiat menyoal orang lain. Sudah tentu, bertahun-tahun kemudian, mereka mendapati bahawa kepercayaan asal mereka adalah salah dan menyedari bahawa Tuhan mungkin tidak benar-benar wujud.

Namun, jika saya memberitahu anda sekarang untuk mempunyai iman, iman adalah penting, ia mungkin terdengar ironis, tetapi kita perlu mempunyai kepercayaan dalam penyelidikan saintifik, supaya walaupun orang lain mengatakan anda adalah Walaupun anda salah, anda masih boleh terus berjalan di jalan yang betul.

1 Pada tahun 1970-an, saya mempelajari rangkaian saraf sebagai "pejuang tunggal"

Latar belakang pendidikan saya sangat kaya. Pada tahun pertama saya di Universiti Cambridge, saya adalah satu-satunya pelajar yang mengambil jurusan fizik dan fisiologi pada masa yang sama, yang meletakkan asas tertentu dalam sains dan kejuruteraan untuk kerjaya penyelidikan saintifik saya yang seterusnya.

Namun, saya tidak begitu mahir dalam matematik, jadi saya terpaksa berhenti belajar fizik Namun, saya sangat ingin tahu tentang erti kehidupan, jadi saya beralih kepada belajar falsafah. Selepas mencapai keputusan tertentu, saya mula belajar semula membaca psikologi.

Pada tahun terakhir saya di Cambridge, saya mengalami masa yang sangat sukar dan tidak gembira, jadi saya berhenti sekolah sebaik sahaja saya menamatkan peperiksaan saya dan menjadi seorang tukang kayu. Malah, saya lebih suka menjadi tukang kayu daripada melakukan perkara lain.

Semasa saya di sekolah menengah, selepas kelas pada siang hari, saya akan pulang ke rumah dan melakukan kerja-kerja pertukangan kayu Itulah saat paling gembira saya. Perlahan-lahan, saya menjadi seorang tukang kayu, tetapi selepas kira-kira enam bulan bekerja, saya mendapati bahawa wang yang diperoleh seorang tukang kayu adalah terlalu sedikit untuk mencari rezeki, walaupun ada lebih banyak untuk seorang tukang kayu daripada yang dilihat mata. Hiasan lebih mudah dan duit cepat sampai, jadi sambil bekerja sebagai tukang kayu, saya juga buat kerja hiasan sambilan. Melainkan anda seorang tukang kayu senior, wang yang anda hasilkan sebagai tukang kayu pastinya tidaklah sehebat berhias.

Saya tidak sedar saya tidak pandai untuk ini sehinggalah suatu hari saya bertemu dengan seorang tukang kayu yang sangat hebat. Sebuah syarikat arang batu meminta tukang kayu ini membuat pintu untuk ruang bawah tanah yang gelap dan lembap Memandangkan persekitaran yang istimewa, dia menyusun kayu itu ke arah yang bertentangan untuk mengimbangi ubah bentuk kayu akibat pengembangan lembapan difikirkan sebelum ini. Dia juga boleh memotong sekeping kayu menjadi segi empat sama dengan gergaji tangan. Dia menjelaskan kepada saya: Jika anda ingin memotong kayu menjadi empat segi, anda perlu menyelaraskan gergaji dan kayu dengan bilik.

Masa tu saya rasa saya terlalu jauh di belakangnya, jadi saya fikir mungkin saya perlu kembali ke sekolah untuk belajar kecerdasan buatan.

Kemudian, saya pergi ke Universiti Edinburgh untuk belajar PhD dalam rangkaian saraf, dan penyelia saya ialah Profesor Christopher Longute-Higgins yang terkenal. Apabila dia berumur 30-an, dia mengetahui struktur borohidrida dan hampir memenangi Hadiah Nobel untuknya. Sehingga kini, saya masih tidak tahu apa yang dia belajar, saya hanya tahu bahawa ia berkaitan dengan mekanik kuantum.

Dia dulunya sangat berminat dengan hubungan antara rangkaian saraf dan hologram, tetapi selepas saya pergi ke Universiti Edinburgh, dia tiba-tiba hilang minat dalam rangkaian saraf, terutamanya kerana dia sedang belajar. Selepas membaca kertas oleh Winograd (seorang saintis komputer Amerika), dia benar-benar yakin bahawa rangkaian saraf tidak mempunyai prospek pembangunan dan harus ditukar kepada kecerdasan buatan simbolik Kertas itu mempunyai pengaruh yang besar kepadanya.

Malah, dia tidak bersetuju dengan hala tuju kajian saya dan mahu saya membuat kajian yang lebih mudah untuk memenangi anugerah tidak pernah menghalang saya daripada melakukannya.

Marvin Minsky dan Seymour Papert

Pada awal 1970-an, sekitar Semua orang bertanya kepada saya, Marvin Minsky dan Seymour Papert kedua-duanya berkata bahawa rangkaian saraf mempunyai masa depan yang suram, jadi mengapa mereka terus berbuat demikian? Sejujurnya, saya rasa sunyi.

Pada tahun 1973, saya memberikan ucapan kepada kumpulan buat kali pertama, dan kandungannya adalah mengenai cara menggunakan rangkaian saraf untuk melakukan rekursi sebenar. Dalam projek pertama, saya mendapati bahawa jika anda mahu rangkaian saraf melukis graf, bahagikan graf kepada beberapa bahagian, dan bahagian graf ini boleh dilukis oleh perkakasan saraf yang serupa, maka pusat saraf yang menyimpan keseluruhan graf ialah Kedudukan, orientasi dan saiz grafik keseluruhan perlu diingat.

Jika rangkaian saraf yang sedang melukis graf tiba-tiba berhenti berjalan, dan anda ingin menggunakan rangkaian saraf lain untuk terus melukis graf, maka anda memerlukan tempat untuk menyimpan graf dan kemajuan kerja, dan kemudian Anda boleh meneruskan kerja melukis. Kesukarannya sekarang ialah bagaimana membuat rangkaian saraf merealisasikan fungsi-fungsi ini. Jelas sekali, hanya menyalin neuron tidak mencukupi, jadi saya ingin mereka bentuk sistem untuk menyesuaikan diri dalam masa nyata dan merekodkan kemajuan kerja melalui berat yang pantas. Dengan cara ini, dengan memulihkan keadaan yang berkaitan, anda boleh terus menyelesaikan tugas.

Jadi saya mencipta satu set rangkaian saraf untuk melakukan perkara sebenar dengan menggunakan semula neuron dan pemberat yang sama untuk melakukan rekursif panggilan rekursif (sama seperti untuk panggilan peringkat tinggi). Namun, saya tidak pandai bercakap, jadi saya rasa seperti tiada siapa yang faham apa yang saya katakan.

Mereka berkata, mengapa rekursi perlu dilakukan dalam rangkaian saraf sedangkan Lisp rekursi boleh digunakan. Apa yang mereka tidak tahu ialah terdapat banyak perkara yang tidak boleh diselesaikan melainkan rangkaian saraf boleh melaksanakan perkara seperti rekursi. Sekarang, ini telah menjadi masalah yang menarik sekali lagi, jadi saya akan menunggu setahun lagi sehingga masalah ini menjadi curio berusia 50 tahun, dan kemudian saya menulis kertas penyelidikan mengenai pemberat pantas.

Pada masa itu, tidak semua orang menentang rangkaian saraf. Jika kita kembali ke tahun 1950-an, penyelidik seperti von Neumann dan Turing masih percaya pada rangkaian saraf Mereka berdua sangat berminat dengan cara kerja otak Turing, khususnya, percaya pada peningkatan rangkaian saraf memberi saya keyakinan terhadap hala tuju penyelidikan saya.

Sayangnya mereka mati muda kalau boleh hidup beberapa tahun lagi, kebijaksanaan mereka sudah cukup untuk mempengaruhi pembangunan sesuatu bidang dalam hal ini, dan mungkin kecerdasan buatan Keadaan semasa akan menjadi sangat berbeza.

2 Daripada ahli akademik tulen kepada pekerja Google

Sebab utama bekerja di Google ialah anak saya kurang upaya dan saya perlu mendapatkan wang untuknya.

Pada tahun 2012, saya fikir saya boleh membuat banyak wang dengan memberi kuliah di Coursera, jadi saya membuka kursus berkaitan rangkaian saraf. Perisian Coursera awal tidak mudah digunakan, dan saya tidak begitu mahir dalam mengendalikan perisian, jadi saya sering berasa jengkel.

Pada mulanya saya mencapai persetujuan dengan Universiti Toronto Jika kursus-kursus ini boleh menghasilkan wang, maka pihak universiti akan memberikan sebahagian daripada wang tersebut kepada pensyarah. Walaupun mereka tidak menyatakan dengan jelas nisbah bahagian tertentu, sesetengah orang berkata ia akan menjadi separuh dan separuh, jadi saya dengan senang hati menerimanya.

Semasa proses rakaman kursus, saya meminta pihak sekolah merakam video untuk saya, tetapi mereka bertanya kepada saya, "Adakah anda tahu betapa mahalnya untuk membuat video?" Saya tahu, kerana saya telah membuat video sendiri, tetapi pihak sekolah masih tidak memberikan sebarang sokongan. Walau bagaimanapun, selepas saya memulakan kelas (saya sudah terikat), provost memutuskan secara unilateral, tanpa berunding dengan saya atau orang lain, bahawa sekolah akan mengambil semua wang, dan saya tidak akan mendapat satu sen pun perjanjian asal.

Mereka meminta saya merekod kelas dan mengatakan bahawa ia adalah sebahagian daripada kerja pengajaran saya, tetapi ia sebenarnya bukan dalam skop pengajaran saya, tetapi hanya kursus berdasarkan kuliah berkaitan yang pernah saya berikan sebelum ini. Oleh itu, saya tidak pernah menggunakan Coursera lagi dalam kerja pengajaran saya yang seterusnya. Peristiwa itu menyebabkan saya sangat marah sehingga saya mula mempertimbangkan untuk meneruskan kerjaya lain.

Pada masa ini, banyak syarikat tiba-tiba memanjangkan cawangan zaitun kepada kami dan sanggup menaja sejumlah besar dana atau menyokong kami dalam menubuhkan syarikat ini syarikat yang berminat dengan kami. Saya sangat berminat dengan kandungan penyelidikan.

Memandangkan kerajaan negeri sudah memberikan geran penyelidikan kepada kami, kami tidak lagi mahu membuat wang tambahan dan menumpukan kepada penyelidikan kami sendiri. Tetapi pengalaman sekolah menipu wang saya membuatkan saya ingin menjana lebih banyak wang, jadi saya kemudiannya melelong penyelidikan DNN yang baru ditubuhkan.

Jualan ini berlaku semasa NIPS (Neural Information Processing Systems Conference) pada Disember 2012. Persidangan itu diadakan di tempat hiburan di Lake Tahoe sekumpulan orang Penjudi yang tidak berbaju itu menjerit di dalam bilik yang dipenuhi asap, "Kamu menang 25,000, ini semua milik kamu"... Sementara itu, sebuah syarikat sedang dilelong di tingkat atas.

Ia seperti berlakon dalam filem, persis seperti yang saya lihat di media sosial, ia sangat hebat. Sebab mengapa kami melelong syarikat itu adalah kerana kami tidak tahu nilainya sendiri, jadi saya berunding dengan peguam harta intelek Dia berkata bahawa terdapat dua cara: satu ialah mengupah secara langsung perunding profesional untuk berunding dengan syarikat tersebut. Syarikat-syarikat besar berunding, tetapi ini mungkin menghadapi ketidaksenangan; yang kedua ialah melancarkan lelongan.

Setahu saya, ini adalah kali pertama dalam sejarah syarikat kecil seperti kami mengadakan lelongan. Saya akhirnya membida melalui Gmail kerana saya telah bekerja di Google pada musim panas itu dan saya tahu mereka tidak akan hanya mencuri e-mel orang, dan saya masih fikir begitu sehingga kini. Tetapi Microsoft menyatakan rasa tidak puas hati dengan keputusan kami.

Proses lelongan adalah seperti berikut: Syarikat yang mengambil bahagian dalam lelongan mesti menghantar bida mereka kepada kami melalui Gmail, dan kami akan menghantarnya kepada peserta lain bersama-sama dengan cap masa Gmail. Bidaan permulaan ialah $500,000, kemudian seseorang membida $1 juta, dan kami sangat gembira melihat bidaan meningkat dan menyedari bahawa kami bernilai lebih daripada yang kami sangka. Apabila pembidaan mencapai tahap tertentu (yang kami fikir adalah astronomi pada masa itu), kami lebih cenderung untuk bekerja di Google dan menghentikan lelongan.

Bekerja di Google ialah pilihan yang tepat saya telah bekerja di sini selama sembilan tahun sekarang. Apabila saya telah bekerja di sini selama sepuluh tahun, mereka harus memberi saya anugerah Lagipun, hanya ada segelintir orang yang bekerja di sini selama itu.

Orang lebih suka bekerja di Google berbanding syarikat lain dan saya juga begitu. Sebab utama saya suka syarikat ini ialah pasukan Google Brain hebat. Saya lebih fokus untuk mengkaji cara membina sistem pembelajaran berskala besar dan mengkaji mekanisme kerja otak Google Brain bukan sahaja mempunyai sumber yang kaya yang diperlukan untuk mengkaji sistem berskala besar, tetapi juga boleh berkomunikasi dan belajar dengan ramai bakat cemerlang.

Saya seorang yang lurus hati, dan Jeff Dean ialah seorang yang bijak, dan saya gembira dapat bergaul dengannya. Dia mahu saya melakukan beberapa penyelidikan asas dan cuba menghasilkan algoritma baharu, iaitu perkara yang saya suka lakukan. Saya tidak pandai menguruskan pasukan besar Sebaliknya, saya lebih bersedia untuk meningkatkan ketepatan pengecaman bahasa dengan satu mata peratusan.

3 Perkara besar seterusnya dalam pembelajaran mendalam

Pembangunan pembelajaran mendalam bergantung pada melakukan penurunan kecerunan stokastik dalam rangkaian besar dengan data besar dan kuasa pengkomputeran yang berkuasa ini, beberapa idea telah mengambil akar yang lebih baik, seperti penyahaktifan rawak (keciciran) dan banyak kajian semasa, tetapi semua ini tidak dapat dipisahkan daripada kuasa pengkomputeran yang berkuasa, data besar-besaran dan keturunan kecerunan stokastik.

Sering kali dikatakan bahawa pembelajaran mendalam telah menghadapi halangan, tetapi sebenarnya ia telah bergerak ke hadapan, saya harap orang yang ragu-ragu akan menulis perkara yang tidak dapat dilakukan oleh pembelajaran mendalam sekarang. Lima tahun dari sekarang, kami akan membuktikan bahawa pembelajaran mendalam boleh melakukan perkara ini.

Sudah tentu, tugasan ini mesti ditakrifkan dengan ketat. Sebagai contoh, Hector Levesque (Profesor Sains Komputer di Universiti Toronto) adalah orang AI biasa, dan dia sendiri sangat baik. Hector menetapkan standard, ayat Winograd, salah satu contohnya ialah, "Trofi tidak muat dalam beg pakaian kerana ia terlalu kecil; trofi tidak muat dalam beg pakaian kerana ia terlalu besar." >

Jika anda ingin menterjemah dua ayat ini ke dalam bahasa Perancis, anda mesti faham bahawa dalam kes pertama, "ia" merujuk kepada beg pakaian, dan dalam kes kedua, "ia" merujuk kepada trofi kerana mereka adalah jantina yang berbeza dalam bahasa Perancis, dan terjemahan mesin rangkaian saraf awal adalah rawak, jadi apabila mesin menterjemah ayat di atas ke dalam bahasa Perancis, mesin itu tidak dapat mengenal pasti jantina dengan betul. Tetapi keadaan ini telah bertambah baik Sekurang-kurangnya Hector memberikan definisi yang sangat jelas tentang neuron dan menunjukkan apa yang boleh mereka lakukan. Ia tidak sempurna, tetapi ia sekurang-kurangnya lebih baik daripada terjemahan rawak. Saya harap orang yang ragu-ragu akan menimbulkan lebih banyak soalan seperti ini.

Saya berpendapat bahawa paradigma pembelajaran mendalam yang sangat berjaya akan terus berkembang maju: melaraskan sejumlah besar parameter bernilai sebenar berdasarkan kecerunan beberapa fungsi objektif, tetapi kami mungkin akan berjaya' t menggunakan Mekanisme perambatan belakang digunakan untuk mendapatkan kecerunan, manakala fungsi objektif mungkin lebih setempat dan meresap.

Tekaan peribadi saya ialah acara AI besar seterusnya pastinya akan menjadi algoritma pembelajaran rangkaian neural spiking. Ia boleh menyelesaikan keputusan diskret sama ada untuk melakukan nadi dan keputusan berterusan bila melakukan nadi, supaya masa nadi boleh digunakan untuk melakukan pengiraan yang menarik, yang sebenarnya sukar dilakukan dalam rangkaian saraf bukan impulsif. Ia adalah penyesalan besar dalam kerjaya penyelidikan saya kerana saya tidak dapat mengkaji algoritma pembelajaran rangkaian neural spiking secara mendalam sebelum ini.

Saya tidak berhasrat untuk mengkaji AGI, dan saya cuba mengelak daripada menentukan apa itu AGI, kerana terdapat pelbagai masalah di sebalik penglihatan AGI, tetapi hanya dengan mengembangkan bilangan neuron dengan parameter atau neuron Ketersambungan belum lagi mendayakan kecerdasan buatan am.

AGI membayangkan robot pintar seperti manusia yang pintar seperti manusia. Saya tidak fikir kecerdasan semestinya akan berkembang dengan cara ini, tetapi saya harap ia berkembang lebih banyak secara simbiotik. Saya fikir mungkin kita akan mereka bentuk komputer pintar, tetapi mereka tidak akan autonomi seperti manusia. Jika tujuan mereka adalah untuk membunuh orang lain, maka mereka mungkin perlu berautonomi, tetapi diharapkan kita tidak akan pergi ke arah itu.

4 Percaya pada intuisi penyelidikan dan didorong oleh rasa ingin tahu

Setiap orang berfikir secara berbeza, dan kita mungkin tidak semestinya memahami proses pemikiran kita sendiri. Saya suka pergi dengan usus saya, dan saya lebih suka menggunakan analogi apabila melakukan penyelidikan Saya percaya bahawa cara asas penaakulan manusia adalah berdasarkan menggunakan ciri yang betul dalam vektor besar untuk membuat analogi, yang saya lakukan sendiri.

Saya sering mencuba kajian berulang kali pada komputer saya untuk melihat apa yang berkesan dan apa yang tidak. Memang penting untuk memahami logik matematik yang mendasari sesuatu dan menjalankan penyelidikan asas, dan ia juga perlu untuk membuat beberapa hujah, tetapi ini bukan yang saya mahu lakukan.

Mari kita buat sedikit ujian: Jika terdapat dua kuliah di persidangan NIPS sekarang, satu adalah tentang menggunakan kaedah baharu, pintar dan elegan untuk membuktikan kesimpulan yang diketahui; tentang algoritma pembelajaran yang baharu dan berkuasa, tetapi logik di sebalik algoritma itu pada masa ini tidak diketahui.

Jika anda terpaksa memilih salah satu daripada dua kuliah ini untuk dihadiri, apakah yang anda akan pilih? Berbanding dengan kuliah kedua, kuliah pertama mungkin lebih mudah diterima Orang ramai kelihatan lebih ingin tahu tentang cara baru untuk membuktikan perkara yang diketahui, tetapi saya akan pergi ke kuliah kedua Lagipun, dalam bidang rangkaian saraf, hampir semua kemajuan telah dicapai. Ia datang daripada gerak hati serta-merta orang semasa membuat potongan matematik, bukannya penaakulan konvensional.

Jadi adakah anda perlu mempercayai usus anda? Saya mempunyai kriteria - sama ada anda mempunyai intuisi yang hebat atau anda tidak. Jika anda tidak mempunyai intuisi yang tajam, tidak kira apa yang anda lakukan; tetapi jika anda mempunyai intuisi yang tajam, anda harus mempercayai gerak hati anda dan melakukan apa yang anda fikir betul.

Sudah tentu, intuisi yang mendalam datang daripada pemahaman anda tentang dunia dan banyak kerja keras. Apabila anda mengumpul banyak pengalaman dengan perkara yang sama, anda akan mengembangkan intuisi.

Saya mengalami kemurungan manik ringan, jadi saya biasanya menghadapi dua keadaan: kritikan diri yang sederhana menjadikan saya sangat kreatif, manakala kritikan diri yang melampau membuatkan saya agak tertekan. Tetapi saya fikir ini lebih cekap daripada hanya satu emosi. Apabila anda berasa jengkel, abaikan sahaja yang jelas dan teruskan, yakin bahawa sesuatu yang menarik dan menarik sedang menunggu untuk anda temui. Apabila anda berasa tidak berjaga-jaga apabila berhadapan dengan masalah, anda mesti tabah, menjelaskan pemikiran anda, dan berhati-hati mempertimbangkan kualiti idea anda.

Disebabkan pertukaran emosi ini, saya sering memberitahu semua orang bahawa saya telah mengetahui mekanisme kerja otak, tetapi selepas beberapa ketika, saya kecewa apabila mendapati kesimpulan saya sebelum ini adalah salah. , tetapi ini adalah bagaimana keadaan harus berkembang, sama seperti dua baris puisi William Blake, "menjalin kegembiraan dan kesedihan di atas hatiku yang suci."

Saya rasa perkara yang sama berlaku dalam kerja penyelidikan saintifik Jika anda tidak teruja dengan kejayaan dan tidak kecewa dengan kegagalan, anda bukanlah seorang penyelidik dalam erti kata sebenar.

Sepanjang kerjaya penyelidikan saya, walaupun kadangkala saya merasakan bahawa saya tidak dapat memahami beberapa algoritma, saya tidak pernah benar-benar berasa kehilangan atau putus asa. Pada pendapat saya, tidak kira apa keputusan akhirnya, sentiasa ada sesuatu yang berbaloi untuk dilakukan. Penyelidik yang cemerlang sentiasa mempunyai banyak perkara yang ingin mereka lakukan, tetapi mereka tidak mempunyai masa yang cukup.

Semasa saya mengajar di Universiti Toronto, saya mendapati bahawa pelajar sarjana sains komputer sangat baik, dan ramai pelajar sains kognitif yang minor dalam sains komputer juga menunjukkan prestasi yang agak baik tidak pandai dalam teknologi, tetapi mereka masih melakukan kerja yang baik dalam penyelidikan Mereka suka sains komputer dan benar-benar ingin memahami bagaimana kognisi manusia terbentuk.

Para saintis seperti Blake Richards (Penolong Profesor di Institut Neurologi Montreal) tahu dengan tepat masalah yang ingin mereka selesaikan, dan kemudian hanya bergerak ke arah itu. Hari ini, ramai saintis tidak tahu apa yang mereka mahu lakukan.

Mengimbas kembali, saya rasa golongan muda harus mencari arah yang mereka minati dan bukannya hanya mempelajari beberapa kemahiran. Didorong oleh minat anda sendiri, anda akan mengambil inisiatif untuk menguasai beberapa pengetahuan yang diperlukan untuk mencari jawapan yang anda inginkan, yang lebih penting daripada mempelajari teknologi secara membuta tuli.

Sekarang saya memikirkannya, saya sepatutnya mempelajari lebih banyak matematik semasa saya masih muda.

Matematik sering membuat saya berasa putus asa, yang menyebabkan sukar untuk memahami beberapa kertas, terutamanya memahami banyak simbol Ia benar-benar satu cabaran yang besar, jadi saya tidak membaca terlalu banyak . Mengenai isu neurosains, saya biasanya meminta nasihat Terry Sejnowski (Profesor Neurologi Pengiraan) Untuk isu sains komputer, saya meminta pelajar siswazah menerangkannya kepada saya. Apabila saya perlu menggunakan matematik untuk membuktikan sama ada sesuatu kajian itu boleh dilaksanakan, saya sentiasa mencari kaedah yang sesuai.

Idea untuk menjadikan dunia tempat yang lebih baik dengan melakukan penyelidikan adalah hebat, tetapi saya lebih suka menerokai batas atas kreativiti manusia, saya benar-benar ingin memahami bagaimana otak berfungsi, saya percaya kita memerlukan beberapa idea baharu, seperti mempelajari algoritma untuk meningkatkan rangkaian saraf untuk memahami cara otak berfungsi.

Saya percaya bahawa kerja penyelidikan terbaik harus dilakukan oleh sekumpulan besar pelajar siswazah dan dibekalkan dengan sumber yang kaya. Kerja penyelidikan saintifik memerlukan daya hidup muda, motivasi yang tidak berkesudahan, dan minat yang kuat dalam penyelidikan.

Anda mesti didorong oleh rasa ingin tahu untuk melakukan penyelidikan asas yang terbaik. Hanya dengan itu anda akan terdorong untuk mengabaikan halangan yang jelas dan menganggarkan hasil yang akan anda capai. Kalau kajian am, kreativiti bukanlah perkara yang paling penting.

Adalah idea yang baik untuk mengetahui perkara yang sedang diusahakan oleh sekumpulan orang pintar, dan kemudian anda boleh melakukan penyelidikan yang berbeza. Jika anda telah membuat sedikit kemajuan dalam bidang tertentu, anda tidak memerlukan idea baharu yang lain, anda hanya perlu mendalami penyelidikan sedia ada untuk berjaya. Tetapi jika anda ingin mengusahakan beberapa idea baharu, seperti membina perkakasan besar, itu juga bagus, walaupun jalan di hadapan mungkin agak sukar.

Atas ialah kandungan terperinci Pemenang Anugerah Turing Geoffrey Hinton: Kerjaya pembelajaran mendalam saya selama lima puluh tahun dan kaedah penyelidikan. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!