Turing Award 수상자 Geoffrey Hinton: 나의 50년 딥러닝 경력과 연구 방법

그는 정식으로 컴퓨터 과정을 수강한 적이 없습니다. 그는 케임브리지 대학교에서 학부 때 생리학과 물리학을 공부했지만, 결국 그는 심리학 학사 학위를 받았습니다. 그는 목수 일을 시작했지만 좌절을 겪은 후 에든버러 대학으로 돌아와 '인기 없는 전공'인 인공 지능 박사 학위를 취득했고, 그의 열악한 수학 실력으로 인해 연구를 할 때 절망감을 느꼈다. 교수가 되면서 그는 자신이 이해하지 못하는 것에 점점 더 집착하게 되었습니다. 그는 항상 대학원생들에게 신경과학과 전산과학 지식에 관해 상담합니다.

학문의 길은 험난할 것 같지만, 마지막에 웃는 사람이 된 사람은 제프리 힌튼입니다. 그는 '딥 러닝의 대부'로 불리며 컴퓨터 분야 최고의 영예인 '튜링상'을 수상했습니다. ".

힌튼은 영국의 부유한 과학자 가문에서 태어났지만 그가 평생 겪은 학문적 경력과 우여곡절은 풍부하고 기이했습니다.

그의 아버지 하워드 에베레스트 힌튼은 영국인 곤충학자이고, 그의 어머니 마가렛은 교사입니다. 둘 다 공산주의자입니다. 그의 삼촌은 경제 용어 "국민 총생산"을 창안한 유명한 경제학자 Colin Clark이고, 그의 증조부는 유명한 논리학자인 George Boole입니다. 그의 부울 대수학 발명은 현대 컴퓨터 과학의 기초를 마련했습니다.

과학자라는 부유한 가문의 영향을 받아 어려서부터 독립적인 사고 능력과 강인함을 지닌 힌튼은 가문의 명예를 이어받아야 할 책임을 짊어져 왔습니다. 그의 어머니는 그에게 "학자가 되느냐 아니면 낙오자가 되느냐"라는 두 가지 선택권을 주었습니다. 그는 대학에서 많은 어려움을 겪었지만 여전히 학업을 마쳤습니다.

1973년 영국 에딘버러 대학교에서 랭거 히긴스 밑에서 인공 지능 박사 학위를 취득했습니다. 하지만 당시에는 신경망을 믿는 사람이 거의 없었고 그의 멘토는 그를 설득하여 이 연구를 포기했습니다. 기술. 주변의 의구심도 신경망에 대한 그의 확고한 믿음을 흔들기에 충분하지 않았습니다. 이후 10년 동안 그는 역전파 알고리즘과 볼츠만 머신을 잇달아 제안했지만 딥러닝이 대폭발하기까지는 수십 년을 더 기다려야 했습니다. 그때쯤이면 그의 연구는 널리 알려질 것이다.

힌튼도 박사학위를 취득한 후 인생에서 고난을 겪었습니다. 첫 부인 로스(분자생물학자)와 함께 미국으로 건너가 카네기멜론대학교에서 교수직을 맡았지만 레이건 정부에 대한 불만과 인공지능 연구는 기본적으로 미 국무부의 지원을 받는 상황이었다. Defense, 그들은 1987년에 캐나다로 갔고, Hinton은 토론토 대학의 컴퓨터 공학부에서 가르치고 CIFAR의 캐나다 고등 연구 연구소에서 기계 및 두뇌 학습 프로젝트에 대한 연구를 수행하기 시작했습니다.

안타깝게도 그의 아내 Ros는 난소암으로 사망했고, Hinton은 입양한 어린 두 자녀만 혼자 키울 수 있었습니다. 그중 그의 아들도 주의력 결핍 과잉 행동 장애(ADHD) 및 기타 학습 장애를 앓고 있었습니다. . 이후 현재의 아내인 재키(미술사학자)와 재혼했지만 몇 년 전 재키에게도 비슷한 타격이 찾아왔다.

그 자신도 심각한 요추 질환을 앓고 있어서 보통 사람들처럼 앉아서 일해야 하기 때문에 대부분의 시간을 서서 일해야 하기 때문에 비행을 거부합니다. 그래서 이륙과 착륙 중에 똑바로 앉아 있으면 학업 보고서를 작성하기 위해 다른 곳으로 가는 것도 제한되었습니다.

왼쪽부터 Ilya Sutskever, Alex Krizhevsky, Geoffrey Hinton

거의 반세기 동안 기술을 고집하고 삶을 단련한 끝에 마침내 2012년의 새벽이 밝았습니다. 그리고 그의 학생들 Alex Krizhevsky와 Ilya Sutskever가 제안한 AlexNet은 업계에 충격을 주고 컴퓨터 비전 분야를 재편하며 딥 러닝의 새로운 황금 시대를 열었습니다.

또한 2012년 말에는 이 두 학생과 함께 3인조 회사인 DNN-research를 설립하여 4,400만 달러라는 '고가'에 Google에 매각하기도 했습니다. 그는 또한 학자에서 Google로 전환했습니다. 부회장, 엔지니어링 펠로우.

2019년에는 컴퓨터 과학이 아닌 AI 교수인 Hinton이 Yoshua Bengio, Yann LeCun과 함께 Turing Award를 수상했습니다.

많은 시련을 겪은 뒤에도 74세의 '딥러닝의 대부'는 여전히 AI 연구의 최전선에서 싸우고 있습니다. 그는 다른 학자들이 제기하는 의심을 두려워하지 않으며 그러한 판단을 솔직하게 인정할 것입니다. 그리고 실현되지 않은 예측. 어쨌든 그는 딥러닝이 등장한 지 10년 후에도 이 기술이 계속해서 에너지를 발산할 것이라고 믿으며, 다음 돌파구도 고민하고 찾고 있습니다.

그렇다면 신경망에 대한 그의 확고한 믿음은 어디서 나온 걸까요? 딥러닝이 '벽에 부딪혔다'는 현재의 회의적인 가운데, 그는 AI 개발의 다음 단계를 어떻게 보는가? 그는 젊은 세대의 AI 연구자들에게 어떤 메시지를 갖고 있나요?

최근 Pieter Abbeel이 진행하는 The Robot Brains 팟캐스트에서 Hinton은 자신의 학업 경력, 딥 러닝 및 연구 경험의 미래, DNN 연구 경매의 내부 이야기를 매우 솔직하게 공유했습니다. 그가 말한 내용은 다음과 같습니다.

8세 Hinton

저에게 가장 큰 영향을 준 것은 어린 시절 받은 교육이었습니다. 우리 가족은 종교가 없고, 아버지는 공산주의자인데, 사립학교에서 과학 교육을 하는 것이 더 낫다고 하여 내가 7살 때 나를 고집스럽게 값비싼 기독교 사립학교에 보내라고 하셨다. 하나님 안에.

집에 오자마자 가족들은 종교는 다 말도 안 되는 소리라고 했어요. 물론 제가 자의식이 강해서인지 스스로도 믿지 못하지만, 신을 믿는 것이 잘못이라는 걸 깨닫거든요. 그리고 나는 다른 사람들에게 질문하는 습관을 키웠습니다. 물론, 수년이 지난 후에 그들은 원래의 믿음이 틀렸다는 것을 발견하고 하느님이 실제로 존재하지 않을 수도 있다는 것을 깨닫게 됩니다.

그런데 지금 믿음을 가지라고 하면 믿음이 중요하고 아이러니하게 들릴 수도 있지만 과학적 연구에 대한 믿음을 가져야 남들이 틀렸다고 해도 그 자리에 있을 수 있습니다. 계속해서 올바른 길을 걸어가세요.

1 1970년대에 저는 신경망 "Lonely Warriors"를 공부했습니다

학력이 매우 풍부합니다. 케임브리지 대학교 1학년 때 나는 물리학과 생리학을 동시에 전공한 유일한 학생이었는데, 이는 이후의 과학 연구 경력을 위한 과학과 공학의 확실한 기반을 마련했습니다.

하지만 저는 수학을 잘 못해서 물리학 공부를 포기해야 했어요. 하지만 삶의 의미가 너무 궁금해서 어느 정도 성과를 낸 뒤 철학 공부를 시작했어요. 심리학.

캠브리지에서의 마지막 해에는 매우 힘든 시간을 보내고 불행해서 시험이 끝나자마자 학교를 그만두고 목수가 되었습니다. 사실 저는 다른 일을 하는 것보다 목수로 일하는 것을 더 좋아합니다.

고등학교 시절에는 수업이 끝나면 집에 가서 목수일을 하곤 했어요. 그때가 가장 행복했어요. 서서히 목수가 되었지만, 일을 시작한 지 6개월 정도 지나고 보니 목수가 눈에 보이는 것보다 더 많은 돈을 벌었음에도 불구하고 목수가 벌어들이는 돈이 너무 적다는 것을 알게 되었습니다. 리모델링이 훨씬 편하고 돈도 빨리 들어오기 때문에 목수 일을 하면서 동시에 장식 아르바이트도 하고 있어요. 선배 목수가 아닌 이상, 목수로 버는 돈은 확실히 장식만큼 좋지 않습니다.

어느 날 정말 훌륭한 목수를 만나기 전까지는 제가 이 일에 적합하지 않다는 것을 몰랐습니다. 한 석탄 회사에서 이 목수에게 어둡고 습한 지하실에 문을 만들어 달라고 부탁했는데, 습기 팽창으로 인한 나무의 변형을 상쇄하기 위해 나무를 반대 방향으로 배치한 일이 있었습니다. 예전에 생각했던 방법. 그는 또한 톱으로 나무 조각을 사각형으로자를 수도 있습니다. 그는 나에게 설명했습니다. 나무를 사각형으로 자르려면 톱과 나무를 방에 맞춰야 합니다.

그때 제가 그 사람보다 너무 뒤쳐져 있다는 생각이 들어서 학교로 돌아가 인공지능을 공부해야겠다는 생각이 들었습니다.

나중에 저는 신경망 박사 과정을 공부하기 위해 에든버러 대학교에 갔는데, 제 지도교수는 유명한 Christopher Longute-Higgins 교수였습니다. 30대에 보로하이드라이드의 구조를 밝혀내 노벨상을 받을 뻔한 게 정말 놀라운 일이었습니다. 지금까지는 그가 무엇을 연구했는지는 모르지만 양자역학과 관련이 있다는 것만 알고 있다. 이 연구의 사실적 근거는 '항등 연산자의 회전이 360도가 아니라 720도'라는 것이다.

그는 예전에 신경망과 홀로그램의 관계에 관심이 많았는데, 제가 에딘버러 대학교에 입학한 후 갑자기 신경망에 흥미를 잃었습니다. 주로 Winograd(미국 컴퓨터 과학자)의 책을 읽었기 때문입니다. 논문에서 그는 신경망에는 발전 가능성이 없으며 상징적 인공 지능으로 전환되어야 한다고 완전히 확신했습니다. 그 논문은 그에게 큰 영향을 미쳤습니다.

사실 그는 내 연구 방향에 동의하지 않고 더 쉽게 상을 받을 수 있는 연구를 하길 원했습니다. 하지만 그는 좋은 사람이었고 여전히 내 방향을 확고히 하라고 말했고 공부하는 것을 결코 방해하지 않았습니다. 신경망.

Marvin Minsky와 Seymour Papert

1970년대 초반에 내 주변의 모든 사람들이 나에게 물었습니다. Marvin Minsky와 Seymour Papert는 둘 다 신경망의 미래가 암울한데 왜 지속해야 합니까? 솔직히 말하면 외로움을 느낀다.

1973년에 나는 처음으로 한 그룹에서 연설을 했는데 내용은 신경망을 사용하여 실제 재귀를 수행하는 방법에 관한 것이었습니다. 첫 번째 프로젝트에서 저는 신경망이 그래프를 그리길 원하고 그래프를 여러 부분으로 나누고 유사한 신경 하드웨어로 그래프의 이러한 부분을 그릴 수 있다면 전체 그래프를 저장하는 신경 센터는 다음과 같다는 것을 발견했습니다. 전체 그래픽의 위치, 방향, 크기를 기억해야 합니다.

그래프를 그리던 신경망이 갑자기 실행을 멈추고 다른 신경망을 사용하여 그래프를 계속 그리려는 경우 그래프와 작업 진행 상황을 저장할 장소가 필요하고 계속할 수 있습니다. 그림 작업. 이제 어려운 점은 신경망이 이러한 기능을 실현하도록 하는 방법입니다. 당연히 뉴런을 복사하는 것만으로는 충분하지 않기 때문에 빠른 웨이트를 통해 실시간으로 적응하고 작업 진행 상황을 기록할 수 있는 시스템을 설계하고 싶습니다. 이런 방식으로 해당 상태를 복원하면 계속해서 작업을 완료할 수 있습니다.

그래서 저는 동일한 뉴런과 가중치를 재사용하여 재귀 호출을 수행함으로써(고수준 호출과 마찬가지로) 진정한 재귀를 구현하는 신경망 세트를 만들었습니다. 그런데 제가 말을 잘 못해서 제 말을 아무도 알아듣지 못하는 것 같은 느낌이 듭니다.

Lisp 재귀를 사용할 수 있는데 왜 신경망에서 재귀를 수행해야 합니까? 그들이 모르는 것은 신경망이 재귀와 같은 것을 구현할 수 없으면 해결할 수 없는 일이 많다는 것입니다. 이제 이것은 다시 흥미로운 문제가 되었기 때문에 이 문제가 50년 된 골동품이 될 때까지 1년을 더 기다린 다음 빠른 무게에 대한 연구 논문을 쓸 것입니다.

당시에는 모두가 신경망을 반대한 것은 아니었습니다. 1950년대로 돌아가 보면, 폰 노이만(Von Neumann)과 튜링(Turing)과 같은 연구자들은 둘 다 뇌가 작동하는 방식에 매우 관심이 있었고, 특히 튜링은 신경망 훈련의 향상을 믿었습니다. 연구 방향에 대한 자신감을 갖게 되었습니다.

그들이 어려서 죽다니 안타깝습니다. 만약 그들이 몇 년만 더 살 수 있었다면 그들의 지혜는 이미 이 분야의 발전에 영향을 미칠 만큼 충분했을 것입니다. 인공지능의 상황은 매우 다를 것이다.

2 순수 학자에서 구글 직원으로

구글에서 일하는 가장 큰 이유는 아들이 장애가 있어서 내가 그 아이를 위해 돈을 벌어야 하기 때문이다.

2012년에 Coursera 강의를 하면 돈을 많이 벌 수 있겠다는 생각에 신경망 관련 강좌를 열었어요. 초기 Coursera 소프트웨어는 사용하기가 쉽지 않았고, 소프트웨어를 잘 다루지도 않아서 짜증이 날 때가 많았습니다.

처음에는 토론토 대학과 이 강좌로 돈을 벌 수 있다면 대학에서 강사들에게 돈의 일부를 주기로 합의했습니다. 구체적인 지분율을 명확히 밝히지는 않았지만, 반반이 될 것이라고 하는 분도 계셔서 흔쾌히 수락했습니다.

수강녹화 과정에서 학교측에 영상촬영을 부탁했는데, "동영상 만드는데 비용이 얼마나 드는지 아세요?"라고 하더군요. 저도 영상을 만들어왔으니까 당연히 압니다. 나 자신과 학교에서는 여전히 지원이 제공되지 않습니다. 그러나 제가 수업을 시작한 후(이미 궁지에 몰린 상태였습니다) 교무처장은 저나 다른 누구와도 상의 없이 일방적으로 학교가 돈을 모두 가져가기로 결정했고, 저는 한 푼도 받지 않겠다고 했습니다. 원래 계약.

수업 녹화를 해달라고 했더니 강의의 일부라고 하더군요. 하지만 사실 제 강의 범위는 아니고 제가 예전에 했던 관련 강의를 바탕으로 한 강의였을 뿐입니다. 따라서 저는 이후 교육 작업에서 Coursera를 다시는 사용하지 않았습니다. 그 사건으로 나는 너무 화가 나서 다른 직업을 추구하는 것을 고려하기 시작했습니다.

지금 이 순간에도 많은 기업들이 갑자기 우리에게 올리브 가지를 내밀었고, 우리가 회사를 설립하는 데 많은 자금을 지원하거나 기꺼이 지원해 주었습니다. 이는 여전히 많은 기업들이 우리의 연구 콘텐츠에 많은 관심을 갖고 있음을 보여줍니다.

주 정부가 이미 우리에게 연구 보조금을 제공했기 때문에 우리는 더 이상 추가 돈을 벌고 싶지 않으며 자체 연구에 집중하고 싶습니다. 하지만 학교에서 돈을 사취한 경험으로 인해 더 많은 돈을 벌고 싶었고 나중에 최근 설립된 DNN 연구를 경매에 부쳤습니다.

이 판매는 2012년 12월 NIPS(신경 정보 처리 시스템 컨퍼런스) 중에 진행되었습니다. 컨퍼런스는 레이크 타호 가장자리에 있는 유흥 시설에서 열렸으며, 지하에는 불빛이 빛나고 있었고, 셔츠를 입지 않은 한 무리의 사람들이 있었습니다. 도박꾼들이 연기 속에 있었다. 사람들이 붐비는 방에서는 "25,000원, 이거 다 네 거야"라고 큰 소리로 외쳤는데... 그와 동시에 위층에서는 한 회사가 경매에 나왔다.

영화에서 연기하는 것 같았고, SNS에서 본 것과 똑같아서 정말 좋았어요. 우리가 그 회사를 경매에 부친 이유는 그 회사 자체의 가치를 전혀 몰랐기 때문이었기 때문에 지식재산권 변호사와 상담을 해보니 두 가지 방법이 있다고 하더군요. 하나는 전문 협상가를 직접 고용해서 그 회사들과 협상하는 것입니다. 대기업은 협상을 하지만, 두 번째는 경매를 시작하는 것입니다.

제가 아는 한, 저희처럼 작은 회사가 경매를 진행한 것은 역사상 처음입니다. 나는 그해 여름 Google에서 일했고 그들이 사람들의 이메일만 훔치는 것이 아니라는 것을 알았기 때문에 결국 Gmail을 통해 입찰하게 되었고 지금도 여전히 그렇게 생각합니다. 그러나 Microsoft는 우리의 결정에 불만을 표시했습니다.

경매 과정은 다음과 같습니다. 경매에 참여하는 회사는 Gmail을 통해 입찰을 보내야 하며, 그런 다음 Gmail 타임스탬프와 함께 다른 참가자에게 입찰을 보냅니다. 시작 입찰가는 500,000달러였고, 누군가가 100만 달러를 입찰했습니다. 우리는 입찰가가 오르는 것을 보고 우리가 생각했던 것보다 훨씬 더 가치가 있다는 것을 깨닫고 너무 기뻤습니다. 입찰이 특정 수준(당시에는 천문학적이라고 생각함)에 도달했을 때 Google에서 일하고 싶은 마음이 더 생기고 경매를 중단했습니다.

Google에 입사한 것은 올바른 선택이었습니다. 저는 여기서 9년 동안 일하고 있습니다. 여기서 10년을 일했다면 상을 줘야 하는데, 여기서 그렇게 오랫동안 일한 사람은 소수에 불과하다.

사람들은 다른 회사보다 Google에서 일하는 것을 선호하고 나도 그렇습니다. 제가 이 회사를 좋아하는 가장 큰 이유는 Google Brain 팀이 훌륭하기 때문입니다. 저는 대규모 학습 시스템을 구축하는 방법과 뇌의 작동 메커니즘을 연구하는 데 더 집중하고 있습니다. Google Brain은 대규모 시스템을 연구하는 데 필요한 풍부한 리소스를 갖추고 있을 뿐만 아니라 많은 뛰어난 인재들과 소통하고 학습할 수 있습니다.

저는 이성애자이고 Jeff Dean은 똑똑한 사람이고 그와 함께 지내는 것이 즐겁습니다. 그는 내가 몇 가지 기본적인 연구를 하고 새로운 알고리즘을 생각해내기를 원했는데, 나는 그것이 내가 즐겨 하는 일이었습니다. 저는 대규모 팀을 잘 관리하지 못하는 반면, 언어 인식의 정확성을 1%포인트 향상시키는 것이 제가 항상 원했던 일입니다.

3 딥 러닝의 차세대 혁신

딥 러닝의 발전은 대규모 데이터와 강력한 컴퓨팅 성능을 갖춘 대규모 네트워크에서의 확률적 경사하강법에 달려 있습니다. 이를 기반으로 임의의 아이디어가 더 잘 뿌리내릴 수 있습니다. 드롭아웃 및 현재의 많은 연구는 강력한 컴퓨팅 성능, 대규모 데이터 및 확률적 경사하강법과 분리될 수 없습니다.

딥러닝이 병목 현상에 직면했다고 흔히 말하지만 사실은 앞으로 나아가고 있다는 회의론자들이 지금 딥러닝이 할 수 없는 일을 적어주셨으면 좋겠습니다. 지금으로부터 5년 후에 우리는 딥러닝이 이러한 일을 할 수 있다는 것을 증명할 것입니다.

물론 이러한 작업은 엄격하게 정의되어야 합니다. 예를 들어 Hector Levesque(토론토 대학 컴퓨터 과학 교수)는 전형적인 AI 인물이고 그 자신도 매우 훌륭합니다. 헥터는 위노그라드(Winograd) 문장이라는 표준을 세웠는데, 그 한 가지 예는 "트로피가 너무 작아서 가방에 들어가지 않는다. 트로피가 너무 커서 가방에 들어가지 않는다"이다.

If 이 두 문장을 프랑스어로 번역하려면 첫 번째 경우 "it"이 여행 가방을 의미하고 두 번째 경우 "it"이 트로피를 의미한다는 점을 이해해야 합니다. 프랑스어에서는 성별이 다르기 때문입니다. 초기 신경망 기계 번역은 무작위였기 때문에 기계가 위 문장을 프랑스어로 번역했을 때 기계가 성별을 정확하게 식별할 수 없었습니다. 그러나 이러한 상황은 점차 개선되고 있습니다. 적어도 Hector는 뉴런에 대한 매우 명확한 정의를 제시하고 뉴런이 무엇을 할 수 있는지 지적했습니다. 완벽하지는 않지만 적어도 무작위 번역보다 훨씬 낫습니다. 회의론자들이 이런 질문을 더 많이 제기했으면 좋겠습니다.

저는 매우 성공적인 딥 러닝 패러다임이 계속 번성할 것이라고 생각합니다. 즉, 일부 목적 함수의 기울기에 따라 많은 수의 실수 값 매개변수를 조정하지만 역전파 메커니즘을 사용하지 않을 것입니다. 기울기를 얻으면 목적 함수가 더 지역화되고 분산될 수 있습니다.

개인적인 추측으로는 다음 대규모 AI 이벤트는 확실히 급증하는 신경망의 학습 알고리즘이 될 것입니다. 펄스를 수행할지 여부에 대한 이산적 결정과 펄스를 수행할지에 대한 연속 결정을 해결할 수 있으므로 펄스 시간을 사용하여 비충동 신경망에서는 실제로 수행하기 어려운 흥미로운 계산을 수행할 수 있습니다. 이전에 스파이킹 신경망의 학습 알고리즘을 깊이 있게 연구하지 못한 것이 내 연구 경력에 있어 큰 후회였습니다.

저는 AGI를 연구할 생각도 없고, AGI가 무엇인지 정의하지 않으려고 합니다. 왜냐하면 AGI의 비전에는 다양한 문제가 있고, 매개변수나 뉴런의 수를 늘리는 것만으로는 일반적인 인공지능을 이룰 수 없기 때문입니다. 신경 연결.

AGI는 인간만큼 똑똑하고 인간과 유사한 지능형 로봇을 상상합니다. 지능이 반드시 이렇게 발전할 것이라고는 생각하지 않지만, 공생적으로 더욱 발전했으면 좋겠습니다. 아마도 우리가 지능형 컴퓨터를 설계하게 될 것입니다. 하지만 인간처럼 자율적이지는 않을 것입니다. 그들의 목적이 다른 사람을 죽이는 것이라면 아마도 자율적이어야 할 것입니다. 그러나 우리는 그런 방향으로 가지 않기를 바랍니다.

4 연구 직관을 믿고 호기심을 가져보세요

모든 사람의 사고 방식이 다르며, 우리는 자신의 사고 과정을 반드시 이해하지 못할 수도 있습니다. 나는 직감을 갖고 연구를 할 때 유추를 사용하는 것을 선호합니다. 인간 추론의 기본 방법은 유추를 만들기 위해 큰 벡터의 올바른 특징을 사용하는 것인데, 이것이 제가 직접 하는 일이라고 믿습니다.

나는 어떤 것이 효과가 있고 무엇이 효과가 없는지 알아보기 위해 특정 연구를 내 컴퓨터에서 계속해서 테스트하는 경우가 많습니다. 사물의 근본적인 수학적 논리를 이해하고 기초적인 연구를 수행하는 것은 참으로 중요하고, 몇 가지 주장을 하는 것도 필요하지만 이것은 내가 하고 싶은 일이 아닙니다.

약간의 테스트를 해보겠습니다. 지금 NIPS 컨퍼런스에 두 개의 강의가 있다면 하나는 알려진 결론을 증명하기 위해 새롭고 스마트하며 우아한 방법을 사용하는 것에 관한 것입니다. 다른 하나는 새롭고 강력한 학습 알고리즘에 관한 것입니다. 알고리즘의 논리는 현재 알려져 있지 않습니다.

이 두 강의 중 하나를 선택해야 한다면 어떤 선택을 하시겠습니까? 두 번째 강의에 비해 첫 번째 강의는 사람들이 더 쉽게 받아들일 수 있을 것 같습니다. 사람들은 알려진 것을 증명하는 새로운 방법에 대해 더 궁금해하는 것 같지만 저는 결국 신경망 분야에 관한 것입니다. 거의 모든 발전은 전통적인 추론이 아닌 수학적 추론을 할 때 사람들의 순간적인 직관에서 비롯되었습니다.

그럼 직감을 믿어야 하나요? 나는 기준이 있습니다. 직관력이 뛰어나거나 그렇지 않습니다. 예리한 직관이 없다면 무엇을 하든 상관없지만 예리한 직관이 있다면 자신의 직관을 믿고 옳다고 생각하는 일을 해야 합니다.

물론 예리한 직관은 세상에 대한 이해와 많은 노력에서 나옵니다. 같은 일로 많은 경험을 쌓다 보면 직관력이 발달하게 됩니다.

저는 가벼운 조울증을 앓고 있어서 대개 두 가지 상태 사이에서 방황합니다. 적당한 자기비판은 나를 매우 창의적으로 만들 수 있는 반면, 극단적인 자기비판은 나를 약간 우울하게 만듭니다. 하지만 저는 이것이 단순한 감정보다 더 효율적이라고 생각합니다. 짜증이 날 때는 뻔한 사실을 무시하고 흥미롭고 흥미로운 일이 당신을 기다리고 있다는 확신을 갖고 계속 진행하세요. 문제에 직면했을 때 당황스러울 때 인내심을 갖고 생각을 명확하게 하며 아이디어의 질을 신중하게 고려해야 합니다.

이러한 감정의 교대 때문에 뇌의 작동 메커니즘을 알아냈다고 자주 사람들에게 말하지만, 얼마 후 이전 결론이 틀렸다는 사실을 알고 실망했지만 이렇습니다. , 윌리엄 블레이크의 시 "나의 신성한 마음에 기쁨과 슬픔을 엮어내다"의 두 줄처럼 발전하세요.

성공에 흥분하지 않고 실패에 좌절하지 않는다면, 당신은 진정한 의미의 연구자가 아니라고 생각합니다.

연구 경력을 쌓으면서 가끔 일부 알고리즘을 완전히 이해할 수 없다고 느낄 때도 있지만 실제로 길을 잃고 절망감을 느낀 적은 없습니다. 내 생각에는 최종 결과가 어떻든 항상 할 만한 가치가 있는 일이 있는 것 같습니다. 우수한 연구자들은 항상 하고 싶은 것은 많지만 시간이 부족할 뿐입니다.

제가 토론토 대학에서 가르칠 때 컴퓨터 과학을 전공하는 학부생들이 매우 훌륭하다는 것을 알았고, 컴퓨터 과학을 부전공한 인지 과학을 전공하는 많은 학부생들도 꽤 성적이 좋지 않았습니다. 기술 분야에서는 여전히 연구를 잘하고 컴퓨터 과학을 좋아하며 인간의 인지가 어떻게 형성되는지 정말로 이해하고 싶어하며 끊임없는 관심을 가지고 있습니다.

Blake Richards(몬트리올 신경학 연구소의 조교수)와 같은 과학자들은 자신이 해결하고 싶은 문제가 무엇인지 정확히 알고 그 방향으로 움직입니다. 오늘날 많은 과학자들은 자신이 무엇을 하고 싶은지 모릅니다.

돌이켜 보면 젊은 사람들은 단순히 어떤 기술을 배우기보다는 자신이 관심 있는 방향을 찾아야 한다고 생각합니다. 자신의 관심사에 따라 원하는 답을 찾는 데 필요한 지식을 먼저 습득하는 것이 맹목적으로 기술을 배우는 것보다 더 중요합니다.

생각해보면 어렸을 때 수학을 더 많이 배웠더라면 선형대수학이 훨씬 쉬웠을 거에요.

수학은 종종 절망감을 느끼게 해서 일부 논문을 이해하기 어렵게 만들고, 특히 많은 수의 기호를 이해하는 것이 정말 큰 도전이기 때문에 논문을 너무 많이 읽지 않습니다. 신경 과학 문제에 관해서는 저는 주로 Terry Sejnowski(전산 신경학 교수)에게 조언을 구합니다. 컴퓨터 과학 문제에 대해서는 대학원생들에게 설명을 요청합니다. 연구가 실현 가능한지 증명하기 위해 수학을 사용해야 할 때 나는 항상 적합한 방법을 찾습니다.

연구를 통해 세상을 더 나은 곳으로 만든다는 생각도 좋지만, 인간 창의력의 상한선을 탐구하는 것이 훨씬 더 즐겁습니다. 뇌가 어떻게 작동하는지 이해하고 싶고, 좀 더 필요하다고 생각합니다. 스파이크 신경망의 학습 알고리즘을 통해 뇌가 어떻게 작동하는지 이해하는 것과 같은 새로운 아이디어.

저는 최고의 연구 작업이 대규모 대학원생 그룹에 의해 이루어져야 하며 풍부한 자원이 제공되어야 한다고 믿습니다. 과학 연구 활동에는 젊은 활력, 끝없는 동기, 연구에 대한 강한 관심이 필요합니다.

최고의 기초연구를 하려면 호기심이 있어야 합니다. 그래야만 명백한 장애물을 무시하고 달성할 결과를 예측하려는 동기를 갖게 될 것입니다. 일반적인 연구라면 창의성이 가장 중요한 것은 아닙니다.

많은 똑똑한 사람들이 어떤 일을 하고 있는지 파악한 다음 다양한 연구를 수행하는 것은 항상 좋은 생각입니다. 특정 분야에서 이미 어느 정도 진전을 이루었다면 다른 새로운 아이디어는 필요하지 않으며, 성공하려면 기존 연구를 더 깊이 파고들기만 하면 됩니다. 하지만 큰 하드웨어를 만드는 것과 같은 몇 가지 새로운 아이디어를 연구하고 싶다면 앞길이 다소 험난하더라도 그것도 좋습니다.

위 내용은 Turing Award 수상자 Geoffrey Hinton: 나의 50년 딥러닝 경력과 연구 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!