Turing-Preisträger Geoffrey Hinton: Meine fünfzigjährige Deep-Learning-Karriere und meine Forschungsmethoden

Er hat nie offiziell einen Computerkurs belegt. Während seines Studiums wandte er sich der Philosophie zu, aber am Ende war er müde Er begann als Zimmermann zu arbeiten, kehrte jedoch nach Rückschlägen an die Universität von Edinburgh zurück und erlangte einen Doktortitel in künstlicher Intelligenz, einem „unpopulären Hauptfach“, das ihn bei der Forschung verzweifelte Als Professor wurde er immer besessener von dem, was er nicht verstand. Er befragt seine Doktoranden immer zu neurowissenschaftlichen und computerwissenschaftlichen Kenntnissen.

Der akademische Weg scheint atemberaubend zu sein, aber Geoffrey Hinton ist derjenige, der zuletzt lacht. Er ist als „Godfather of Deep Learning“ bekannt und hat die höchste Auszeichnung im Computerbereich gewonnen, den „Turing Award“. ".

Hinton wurde in eine wohlhabende Wissenschaftlerfamilie im Vereinigten Königreich hineingeboren, aber die akademische Karriere und die Höhen und Tiefen, die er im Laufe seines Lebens erlebte, waren reichhaltig und bizarr.

Sein Vater, Howard Everest Hinton, ist ein britischer Entomologe und seine Mutter, Margaret, ist Lehrerin. Sie sind beide Kommunisten. Sein Onkel ist der berühmte Ökonom Colin Clark, der den Wirtschaftsbegriff „Bruttosozialprodukt“ erfunden hat, und sein Ururgroßvater ist der berühmte Logiker George Boole. Seine Erfindung der Booleschen Algebra legte den Grundstein für die moderne Informatik.

Beeinflusst durch einen reichen familiären Hintergrund von Wissenschaftlern verfügt Hinton seit seiner Kindheit über unabhängige Denkfähigkeit und Hartnäckigkeit und trägt die Verantwortung, die Familienehre zu erben. Seine Mutter gab ihm zwei Möglichkeiten: „Entweder ein Gelehrter zu werden oder ein Verlierer zu sein.“ Obwohl er im College viele Schwierigkeiten hatte, schloss er sein Studium ab.

1973 promovierte er bei Langer Higgins an der Universität Edinburgh in Großbritannien. Doch damals glaubte fast niemand an neuronale Netze und sein Mentor überredete ihn, die Erforschung dieses Themas aufzugeben Technologie. Die Zweifel um ihn herum reichten nicht aus, um seinen festen Glauben an neuronale Netze zu erschüttern. In den folgenden zehn Jahren schlug er nacheinander den Backpropagation-Algorithmus und die Boltzmann-Maschine vor, aber er musste noch Jahrzehnte warten, bis eine große Explosion einsetzte. Bis dahin wird seine Forschung weithin bekannt sein.

Nach seinem Doktortitel erlebte Hinton auch Schwierigkeiten im Leben. Er und seine erste Frau Ros (eine Molekularbiologin) gingen in die Vereinigten Staaten und erhielten eine Lehrstelle an der Carnegie Mellon University, jedoch aufgrund der Unzufriedenheit mit der Reagan-Regierung und der Tatsache, dass die Forschung im Bereich der künstlichen Intelligenz grundsätzlich vom US-amerikanischen Ministerium unterstützt wurde Verteidigung gingen sie 1987 nach Kanada, und Hinton begann an der School of Computer Science der University of Toronto zu unterrichten und am Canadian Institute for Advanced Research am CIFAR Forschungen zum Projekt „Maschinen- und Gehirnlernen“ durchzuführen.

Leider verstarb seine Frau Ros 1994 an Eierstockkrebs und Hinton konnte seine beiden kleinen Adoptivkinder nur noch alleine großziehen. Der Sohn litt außerdem an einer Aufmerksamkeitsdefizit-Hyperaktivitätsstörung (ADHS) und anderen Lernproblemen. Hindernis. Später heiratete er erneut seine jetzige Frau Jackie (eine Kunsthistorikerin), doch vor einigen Jahren erlitt auch Jackie erneut einen ähnlichen Schicksalsschlag.

Er selbst leidet auch an einer schweren Lendenwirbelsäulenerkrankung, die ihn daran hindert, wie normale Menschen zu sitzen und zu arbeiten. Deshalb weigert er sich auch, zu fliegen, weil er dazu verpflichtet ist Start und Landung hinderten ihn auch daran, an andere Orte zu gehen, um akademische Berichte zu geben.

Von links nach rechts: Ilya Sutskever, Alex Krizhevsky und Geoffrey Hinton und seinen Schülern Das von Alex Krizhevsky und Ilya Sutskever vorgeschlagene AlexNet schockierte die Branche, veränderte den Bereich der Computer Vision und leitete eine neue goldene Ära des Deep Learning ein.

Ebenfalls Ende 2012 gründete er mit diesen beiden Studenten das Trio-Unternehmen DNN-Research und verkaufte es für einen „himmelhohen Preis“ von 44 Millionen US-Dollar. Auch er wandelte sich vom Gelehrten zum Google stellvertretender Präsident, Engineering Fellow.

2019 gewann Hinton, ein KI-Professor mit einem nicht-informatischen Hintergrund, zusammen mit Yoshua Bengio und Yann LeCun den Turing Award.

Nachdem er viele Schwierigkeiten durchgemacht hat, kämpft der 74-jährige „Pate des Deep Learning“ immer noch an vorderster Front der KI-Forschung. Er hat keine Angst vor den Zweifeln anderer Wissenschaftler und wird diese Urteile offen zugeben und Vorhersagen, die nicht eingetreten sind. Egal was passiert, er glaubt immer noch, dass diese Technologie auch zehn Jahre nach dem Aufstieg des Deep Learning weiterhin ihre Energie freisetzen wird, und er denkt auch nach dem nächsten Durchbruch und sucht nach ihm.

Woher kommt also sein fester Glaube an neuronale Netze? Wie sieht er angesichts der aktuellen Skepsis, dass Deep Learning „an eine Wand gestoßen“ ist, die nächste Stufe der KI-Entwicklung? Welche Botschaft hat er für die junge Generation von KI-Forschern?

Kürzlich teilte Hinton im von Pieter Abbeel moderierten The Robot Brains Podcast sehr offen seine akademische Karriere, die Zukunft des Deep Learning und Forschungserfahrung und die Insider-Geschichte von Versteigerung von DNN-Forschung. Hier ist, was er zu sagen hatte.

8-jähriger Hinton

#🎜 🎜#

Die Bildung, die den tiefgreifendsten Einfluss auf mich hatte, war die Bildung, die ich in meiner Kindheit erhalten habe. Meine Familie hat keinen religiösen Glauben und mein Vater ist Kommunist, aber da der naturwissenschaftliche Unterricht an Privatschulen besser ist, bestand er darauf, mich auf eine teure christliche Privatschule zu schicken, alle außer mir. Kinder glauben in Gott.

Sobald ich nach Hause kam, sagte meine Familie, dass Religion Unsinn sei. Natürlich glaube ich nicht daran, vielleicht weil ich ein starkes Selbstbewusstsein habe Mir selbst wurde klar, dass der Glaube an Gott falsch ist und es mir zur Gewohnheit gemacht hat, andere zu befragen. Natürlich entdecken sie viele Jahre später, dass ihre ursprünglichen Überzeugungen falsch waren, und erkennen, dass Gott möglicherweise nicht wirklich existiert.

Wenn ich Ihnen jetzt jedoch sage, dass man Vertrauen haben soll, Vertrauen ist wichtig, es mag ironisch klingen, aber wir müssen Vertrauen in die wissenschaftliche Forschung haben, damit überhaupt Wenn andere sagen, dass Sie Unrecht haben, können Sie dennoch auf dem richtigen Weg bleiben.

1 In den 1970er Jahren habe ich neuronale Netze „Lonely Brave“ studiert

Mein Bildungshintergrund ist sehr reichhaltig. Während meines ersten Studienjahres an der Universität Cambridge war ich der einzige Student, der gleichzeitig Physik und Physiologie als Hauptfach belegte, was für meine spätere Karriere in der wissenschaftlichen Forschung eine gewisse Grundlage in Naturwissenschaften und Technik legte.

Da ich jedoch nicht sehr gut in Mathe war, musste ich das Studium der Physik aufgeben. Da ich jedoch neugierig auf den Sinn des Lebens war, wechselte ich zu Nachdem ich bestimmte Ergebnisse erzielt hatte, begann ich erneut, Psychologie zu studieren.

In meinem letzten Jahr in Cambridge hatte ich eine sehr schwierige Zeit und war unglücklich, sodass ich die Schule sofort nach Abschluss meiner Prüfungen abbrach und Zimmermann wurde . Tatsächlich bin ich lieber Tischler als irgendetwas anderes.

Als ich in der High School war, ging ich tagsüber nach dem Unterricht nach Hause und erledigte Tischlerarbeiten. Langsam wurde ich Tischler, aber nach etwa sechs Monaten Arbeit stellte ich fest, dass das Geld, das ein Tischler verdiente, zu gering war, um meinen Lebensunterhalt zu bestreiten, obwohl ein Tischler mehr zu bieten hatte, als man auf den ersten Blick sah. Da das Renovieren viel einfacher ist und das Geld schnell da ist, erledige ich neben meiner Tätigkeit als Tischler auch nebenberuflich Dekorationsarbeiten. Sofern Sie kein erfahrener Tischler sind, ist das Geld, das Sie als Tischler verdienen, definitiv nicht so gut wie das Dekorieren.

Ich wusste erst, dass ich dafür nicht geeignet bin, bis ich eines Tages einen wirklich tollen Tischler traf. Ein Kohleunternehmen bat diesen Schreiner, eine Tür für einen dunklen und feuchten Keller anzufertigen. Aufgrund der besonderen Umgebung ordnete er das Holz in die entgegengesetzte Richtung, um die Verformung des Holzes aufgrund der Feuchtigkeitsausdehnung auszugleichen vorher gedacht. Er kann ein Stück Holz auch mit einer Handsäge in Quadrate schneiden. Er erklärte mir: Wenn man das Holz in Quadrate schneiden möchte, muss man die Säge und das Holz zum Raum ausrichten.

Zu dieser Zeit hatte ich das Gefühl, dass ich zu weit hinter ihm zurückblieb, also dachte ich, ich sollte vielleicht wieder zur Schule gehen, um künstliche Intelligenz zu studieren.

Später ging ich an die Universität von Edinburgh, um in neuronalen Netzen zu promovieren, und mein Betreuer war der berühmte Professor Christopher Longute-Higgins. Als er in seinen 30ern war, entdeckte er die Struktur von Borhydrid und hätte dafür fast den Nobelpreis gewonnen. Das war wirklich erstaunlich. Bisher weiß ich immer noch nicht, was er studiert hat, ich weiß nur, dass es mit der Quantenmechanik zusammenhängt. Die sachliche Grundlage dieser Forschung ist, dass „die Drehung des Identitätsoperators nicht 360 Grad, sondern 720 Grad beträgt.“

Er interessierte sich einst sehr für die Beziehung zwischen neuronalen Netzen und Hologrammen, aber nachdem ich an der Universität von Edinburgh ankam, verlor er plötzlich das Interesse an neuronalen Netzen, hauptsächlich daran lag daran, dass er nach der Lektüre des Aufsatzes von Winograd (einem amerikanischen Informatiker) völlig davon überzeugt war, dass neuronale Netze keine Entwicklungsperspektiven hätten und in symbolische künstliche Intelligenz umgewandelt werden sollten. Dieser Aufsatz hatte großen Einfluss auf ihn.

Tatsächlich war er mit meiner Forschungsrichtung nicht einverstanden und wollte, dass ich etwas recherchiere, mit dem ich leichter Preise gewinnen könnte. Er war jedoch ein guter Mensch und sagte mir dennoch, ich solle standhaft bleiben Richtung und hat mich nie davon abgehalten, neuronale Netze zu studieren.

Marvin Minsky und Seymour Papert

# 🎜🎜#

In den frühen 1970er Jahren fragten mich alle um mich herum, dass sowohl Marvin Minsky als auch Seymour Papert sagten, dass neuronale Netze eine düstere Zukunft hätten. Warum sollten wir also darauf bestehen? Ehrlich gesagt fühle ich mich einsam.

1973 hielt ich zum ersten Mal eine Rede vor einer Gruppe, in der es darum ging, wie man mithilfe neuronaler Netze eine echte Rekursion durchführt. Im ersten Projekt habe ich herausgefunden, dass, wenn Sie möchten, dass ein neuronales Netzwerk ein Diagramm zeichnet, das Diagramm in mehrere Teile unterteilt und diese Teile des Diagramms von ähnlicher neuronaler Hardware gezeichnet werden können, das neuronale Zentrum das gesamte Diagramm speichert Die Position, Ausrichtung und Größe der gesamten Grafik müssen beachtet werden.

Wenn das neuronale Netzwerk, das das Diagramm zeichnet, plötzlich nicht mehr läuft und Sie ein anderes neuronales Netzwerk verwenden möchten, um mit dem Zeichnen des Diagramms fortzufahren, benötigen Sie einen Speicherort Die Arbeit schreitet voran und die Zeichenarbeit kann dann fortgesetzt werden. Die Schwierigkeit besteht nun darin, das neuronale Netzwerk dazu zu bringen, diese Funktionen zu realisieren. Offensichtlich reicht es nicht aus, nur Neuronen zu kopieren. Deshalb möchte ich ein System entwerfen, das sich in Echtzeit anpasst und den Arbeitsfortschritt durch schnelles Gewicht aufzeichnet. Auf diese Weise können Sie durch die Wiederherstellung des entsprechenden Zustands die Aufgabe weiterhin erledigen.

Also habe ich eine Reihe neuronaler Netze erstellt, die rekursive Aufrufe ausführen (genau wie bei erweiterten Aufrufen), indem sie dieselben Neuronen und Gewichte wiederverwenden, um eine echte Rekursion zu erreichen. Da ich jedoch nicht gut sprechen kann, habe ich das Gefühl, dass niemand versteht, was ich sage.

Sie sagten, warum sollten wir eine Rekursion in neuronalen Netzen durchführen, wenn wir offensichtlich die Lisp-Rekursion verwenden können. Was sie nicht wissen, ist, dass es eine ganze Reihe von Dingen gibt, die nicht gelöst werden können, wenn neuronale Netze nicht in der Lage sind, Dinge wie Rekursion zu implementieren. Nun ist dies wieder ein interessantes Problem geworden, also werde ich ein weiteres Jahr warten, bis dieses Problem zu einer 50-jährigen Kuriosität wird, und dann schreibe ich eine Forschungsarbeit über schnelle Gewichte.

Damals waren nicht alle gegen neuronale Netze. Wenn wir bis in die 1950er Jahre zurückgehen, glaubten Forscher wie von Neumann und Turing noch an die Funktionsweise des Gehirns, was auch der Fall war gab mir Vertrauen in meine Forschungsrichtung.

Es ist schade, dass sie jung gestorben wären, ihre Weisheit würde ausreichen, um die Entwicklung eines Feldes zu beeinflussen hat in dieser Hinsicht bereits einen Durchbruch erzielt und gesagt: „Vielleicht wird die aktuelle Situation der künstlichen Intelligenz ganz anders sein.“

2 Vom reinen Akademiker zum Google-Angestellten

Der Hauptgrund für die Arbeit bei Google ist, dass mein Sohn und ich eine Behinderung haben um Geld für ihn zu verdienen.

Im Jahr 2012 hatte ich das Gefühl, dass ich mit Vorlesungen auf Coursera viel Geld verdienen könnte, also eröffnete ich einen Kurs zum Thema neuronale Netze. Die frühe Coursera-Software war nicht einfach zu bedienen und ich war nicht sehr gut darin, Software zu bedienen, sodass ich mich oft gereizt fühlte.

Zunächst habe ich eine Vereinbarung mit der University of Toronto getroffen. Wenn diese Kurse Geld verdienen können, wird die Universität einen Teil des Geldes an die Dozenten weitergeben. Obwohl sie das genaue Aktienverhältnis nicht klar nannten, sagten einige Leute, dass es halb und halb sein würde, also habe ich es gerne akzeptiert.

Während des Aufnahmevorgangs bat ich die Schule, ein Video für mich aufzunehmen, aber sie fragten mich: „Weißt du, wie teuer es ist, ein Video zu machen?“ „Natürlich weiß ich es, weil ich selbst Videos gemacht habe, aber die Schule hat immer noch keine Unterstützung geleistet. Nachdem ich jedoch mit dem Unterricht begonnen hatte (ich befand mich bereits in der Klemme), entschied der Rektor einseitig, ohne mich oder irgendjemand anderen zu konsultieren, dass die Schule das gesamte Geld nehmen würde und ich keinen Cent bekommen würde. Das war ein völliger Verstoß gegen die ursprüngliche Vereinbarung.

Sie baten mich, den Kurs aufzuzeichnen und sagten, dass es Teil meiner Lehrtätigkeit sei, aber eigentlich nicht zu meinem Lehrumfang gehöre, sondern lediglich ein Kurs sei, der auf den relevanten Vorlesungen basiere, die ich gehalten habe vor. Daher habe ich Coursera in meiner späteren Lehrtätigkeit nie wieder genutzt. Dieser Vorfall machte mich so wütend, dass ich über eine andere Karriere nachdachte.

In diesem Moment streckten uns viele Unternehmen plötzlich einen Olivenzweig entgegen und waren bereit, große Geldbeträge zu sponsern oder uns bei der Gründung eines Unternehmens zu unterstützen, was das zeigt Es besteht noch immer großes Interesse an unseren Forschungsinhalten bei vielen Unternehmen.

Da uns die Landesregierung bereits ein Forschungsstipendium gewährt hat, wollen wir kein zusätzliches Geld mehr verdienen und uns auf unsere eigene Forschung konzentrieren. Aber die Erfahrung, dass die Schule mich um Geld betrogen hatte, weckte in mir den Wunsch, mehr Geld zu verdienen, und so versteigerte ich später die kürzlich gegründete DNN-Forschung.

Dieser Verkauf fand während der NIPS (Neural Information Processing Systems Conference) im Dezember 2012 statt. Die Konferenz fand in einem Veranstaltungsort am Rande des Lake Tahoe statt Im Keller leuchten die Lichter und eine Gruppe hemdloser Spieler skandiert im verrauchten Raum: „Du hast 25.000 gewonnen, das gehört dir.“ Währenddessen wird oben ein Unternehmen versteigert.

Es war wie in einem Film zu spielen, genau wie das, was ich in den sozialen Medien gesehen habe, es war wirklich großartig. Der Grund, warum wir das Unternehmen versteigert haben, war, dass wir keine Vorstellung von seinem eigenen Wert hatten. Deshalb habe ich einen Anwalt für geistiges Eigentum konsultiert. Er sagte, dass es zwei Möglichkeiten gibt: Die eine besteht darin, direkt einen professionellen Verhandlungsführer zu engagieren, der mit diesen Unternehmen verhandelt. Große Unternehmen verhandeln, aber dies kann auf Unannehmlichkeiten stoßen; die zweite Möglichkeit besteht darin, eine Auktion zu starten.

Soweit ich weiß, ist dies das erste Mal in der Geschichte, dass ein kleines Unternehmen wie unseres eine Auktion durchführt. Am Ende habe ich über Gmail geboten, weil ich in diesem Sommer bei Google gearbeitet hatte und wusste, dass sie nicht einfach nur die E-Mails der Leute stehlen würden, und das glaube ich auch heute noch. Microsoft äußerte sich jedoch unzufrieden mit unserer Entscheidung.

Der Auktionsprozess läuft wie folgt ab: An der Auktion teilnehmende Unternehmen müssen uns ihre Gebote per Gmail senden, wir leiten diese dann zusammen mit einem Gmail an die anderen Teilnehmer weiter Zeitstempel. Das Startgebot lag bei 500.000 US-Dollar, dann bot jemand 1 Million US-Dollar, und wir waren so froh, als die Gebote stiegen und uns klar wurde, dass wir viel mehr wert waren, als wir dachten. Als die Gebote ein bestimmtes Niveau erreichten (was wir damals für astronomisch hielten), waren wir eher geneigt, bei Google zu arbeiten und stoppten die Auktion.

Bei Google zu arbeiten war die richtige Wahl. Ich arbeite jetzt seit neun Jahren hier. Wenn ich zehn Jahre hier gearbeitet habe, sollte man mir eine Auszeichnung verleihen. Schließlich gibt es nur eine Handvoll Menschen, die so lange hier gearbeitet haben.

Die Leute arbeiten lieber bei Google als bei anderen Unternehmen, und ich auch. Der Hauptgrund, warum ich dieses Unternehmen mag, ist, dass das Google Brain-Team großartig ist. Ich konzentriere mich mehr darauf, zu untersuchen, wie man große Lernsysteme aufbaut, und die Funktionsweise des Gehirns zu untersuchen. Google Brain verfügt nicht nur über die umfangreichen Ressourcen, die zum Studium großer Systeme erforderlich sind, sondern kann auch mit vielen herausragenden Talenten kommunizieren und von ihnen lernen.

Ich bin der heterosexuelle Typ, und Jeff Dean ist ein kluger Mann, und es ist eine Freude, mit ihm auszukommen. Er wollte, dass ich Grundlagenforschung betreibe und versuche, neue Algorithmen zu entwickeln, was mir Spaß machte. Ich bin nicht gut darin, große Teams zu leiten, aber ich bin eher bereit, die Genauigkeit der Spracherkennung um einen Prozentpunkt zu verbessern. Das ist es, was ich schon immer erreichen wollte.

3 Das nächste große Ding im Deep Learning

Die Entwicklung von Deep Learning hängt von großen Netzwerken mit riesigen Datenmengen und leistungsstarker Rechenleistung ab Auf dieser Grundlage haben sich einige Ideen besser durchgesetzt, wie zum Beispiel die zufällige Deaktivierung (Dropout) und viele aktuelle Studien, aber all dies ist untrennbar mit leistungsstarker Rechenleistung, massiven Datenmengen und stochastischem Gradientenabstieg verbunden.

Es wird oft gesagt, dass Deep Learning auf einen Engpass gestoßen ist, aber tatsächlich hat es sich ständig weiterentwickelt und wird beschreiben, was Deep Learning jetzt nicht leisten kann. Schreiben Sie es auf. In fünf Jahren werden wir beweisen, dass Deep Learning diese Dinge leisten kann.

Natürlich müssen diese Aufgaben streng definiert sein. Hector Levesque (Professor für Informatik an der University of Toronto) zum Beispiel ist ein typischer KI-Mensch, und er selbst ist sehr gut. Hector hat einen Standard aufgestellt, den Winograd-Satz. Ein Beispiel dafür lautet: „Die Trophäe passt nicht in den Koffer, weil sie zu klein ist; die Trophäe passt nicht in den Koffer, weil sie zu groß ist.“ 🎜🎜#

Wenn Sie diese beiden Sätze ins Französische übersetzen möchten, müssen Sie verstehen, dass sich „es“ im ersten Fall auf den Koffer bezieht, während sich „Es“ im zweiten Fall auf bezieht die Trophäe, weil es sich im Französischen um unterschiedliche Geschlechter handelt und die frühe maschinelle Übersetzung durch neuronale Netze zufällig war. Als die Maschine den obigen Satz ins Französische übersetzte, konnte die Maschine das Geschlecht nicht korrekt identifizieren. Aber zumindest hat sich die Situation verbessert. Hector hat die Neuronen sehr klar definiert und aufgezeigt, was sie können. Es ist nicht perfekt, aber zumindest viel besser als eine zufällige Übersetzung. Ich wünschte, Skeptiker würden mehr Fragen dieser Art aufwerfen.

Ich denke, dass das sehr erfolgreiche Paradigma des Deep Learning weiterhin gedeihen wird: das Anpassen einer großen Anzahl reellwertiger Parameter basierend auf dem Gradienten einer objektiven Funktion, aber Wir sind sehr zufrieden. Der Backpropagation-Mechanismus wird möglicherweise nicht zum Erhalten von Gradienten verwendet, und die Zielfunktion ist möglicherweise lokalisierter und diffuser.

Ich persönlich vermute, dass das nächste große KI-Ereignis der Lernalgorithmus für das Spiken neuronaler Netzwerke sein muss. Es kann die diskrete Entscheidung, ob ein Impuls ausgeführt werden soll, und die kontinuierliche Entscheidung, wann der Impuls ausgeführt werden soll, lösen, sodass die Impulszeit für die Durchführung interessanter Berechnungen verwendet werden kann, was in nicht impulsiven neuronalen Netzen tatsächlich schwierig ist. Es war ein großes Bedauern meiner Forschungskarriere, dass ich den Lernalgorithmus von Spike-Neuronalen Netzen zuvor nicht eingehend studieren konnte.

Ich habe nicht die Absicht, AGI zu studieren, und ich versuche zu vermeiden, zu definieren, was AGI ist, da hinter der AGI-Vision verschiedene Probleme stecken, und zwar einfach durch die Erweiterung des Neuronalen Netzwerk mit Parametern Allgemeine künstliche Intelligenz ist mit der Anzahl der Yuan oder neuronalen Verbindungen noch nicht möglich.

AGI stellt sich einen menschenähnlichen intelligenten Roboter vor, der genauso intelligent ist wie Menschen. Ich glaube nicht, dass sich Intelligenz unbedingt auf diese Weise entwickeln wird, aber ich hoffe, dass sie sich eher auf symbiotische Weise entwickelt. Ich denke, wir werden vielleicht intelligente Computer entwerfen, aber sie werden nicht autonom sein wie Menschen. Wenn ihr Ziel darin besteht, andere Menschen zu töten, müssen sie wahrscheinlich autonom sein, aber wir werden hoffentlich nicht in diese Richtung gehen.

4 Glauben Sie an die Intuition der Forschung und lassen Sie sich von Neugier treiben

Jeder hat eine andere Denkweise und wir verstehen möglicherweise nicht unbedingt unser eigenes Denken Verfahren . Ich verlasse mich gerne auf mein Bauchgefühl und bevorzuge die Verwendung von Analogien, wenn ich recherchiere. Ich glaube, dass die grundlegende Art des menschlichen Denkens darin besteht, die richtigen Merkmale in großen Vektoren zu verwenden, um Analogien zu erstellen, was ich selbst tue.

Ich probiere eine Studie oft immer wieder auf meinem Computer aus, um zu sehen, was funktioniert und was nicht. Es ist zwar wichtig, die zugrunde liegende mathematische Logik der Dinge zu verstehen und Grundlagenforschung zu betreiben, und es ist auch notwendig, einige Argumente vorzubringen, aber das ist nicht das, was ich tun möchte.

Machen wir einen kleinen Test: Wenn es jetzt zwei Vorträge auf der NIPS-Konferenz gibt, geht es bei dem einen darum, ein Bestehendes auf eine neue, intelligente und elegante Weise zu beweisen, beim anderen Bei einem geht es um einen neuen und leistungsstarken Lernalgorithmus, die Logik hinter dem Algorithmus ist jedoch derzeit unbekannt.

Wenn Sie sich für eine dieser beiden Vorlesungen entscheiden müssten, welche würden Sie wählen? Im Vergleich zur zweiten Vorlesung ist die erste möglicherweise leichter zu akzeptieren. Die Leute scheinen neugieriger auf neue Wege zu sein, bekannte Dinge zu beweisen, aber ich werde zur zweiten Vorlesung gehen. Fast alle Fortschritte sind auf die unmittelbare Intuition der Menschen zurückzuführen, wenn sie mathematische Schlussfolgerungen ziehen, und nicht auf konventionelles Denken.

Muss man also seinem Bauch vertrauen? Ich habe ein Kriterium: Entweder Sie haben eine große Intuition oder nicht. Wenn Sie keine ausgeprägte Intuition haben, spielt es keine Rolle, was Sie tun. Wenn Sie jedoch eine ausgeprägte Intuition haben, sollten Sie Ihrer Intuition vertrauen und das tun, was Sie für richtig halten.

Natürlich beruht eine ausgeprägte Intuition auf Ihrem Verständnis der Welt und viel harter Arbeit. Wenn Sie viel Erfahrung mit derselben Sache sammeln, entwickeln Sie eine Intuition.

Ich leide an einer leichten manischen Depression und schwanke daher normalerweise zwischen zwei Zuständen: Mäßige Selbstkritik kann mich sehr kreativ machen, während extreme Selbstkritik mich leicht depressiv machen kann. Aber ich denke, das ist effizienter als nur eine einzelne Emotion. Wenn Sie irritiert sind, ignorieren Sie einfach das Offensichtliche und gehen Sie weiter, in der Gewissheit, dass etwas Interessantes und Aufregendes darauf wartet, von Ihnen entdeckt zu werden. Wenn Sie sich angesichts eines Problems überrascht fühlen, müssen Sie durchhalten, Ihre Gedanken klären und die Qualität Ihrer Ideen sorgfältig abwägen.

Aufgrund dieses Gefühlswechsels erzähle ich jedem oft, dass ich den Funktionsmechanismus des Gehirns herausgefunden habe, aber nach einer Weile musste ich enttäuscht feststellen, dass die vorherige Schlussfolgerung falsch war, aber so sollten die Dinge sein entwickeln, genau wie die beiden Zeilen von William Blakes Gedicht „Freude und Trauer über mein heiliges Herz weben“.

Ich denke, das Wesen wissenschaftlicher Forschungsarbeit ist auch dasselbe. Wenn Sie sich nicht über Erfolge freuen und nicht über Misserfolge frustriert werden, sind Sie kein Forscher im eigentlichen Sinne.

Obwohl ich in meiner Forschungskarriere manchmal das Gefühl habe, dass ich einige Algorithmen überhaupt nicht verstehen kann, habe ich mich nie wirklich verloren und hoffnungslos gefühlt. Meiner Meinung nach gibt es immer etwas, das es wert ist, getan zu werden, egal wie das Endergebnis ausfällt. Exzellente Forscher haben immer viel zu tun, aber es fehlt ihnen einfach die Zeit.

Als ich an der University of Toronto unterrichtete, stellte ich fest, dass Studierende mit Hauptfach Informatik sehr gut waren, und dass viele Studierende mit Hauptfach Kognitionswissenschaft und Nebenfach Informatik auch nicht recht gut abschnitten Sie sind in der Technik tätig, aber sie leisten immer noch gute Arbeit in der Forschung, sie lieben die Informatik, sie wollen wirklich verstehen, wie die menschliche Kognition entsteht, und sie haben ein ständiges Interesse.

Wissenschaftler wie Blake Richards (Assistenzprofessor am Montreal Neurological Institute) wissen genau, welches Problem sie lösen wollen, und gehen dann einfach in diese Richtung. Viele Wissenschaftler wissen heute nicht, was sie tun wollen.

Rückblickend denke ich, dass junge Menschen die Richtung finden sollten, die sie interessiert, anstatt einfach nur einige Fähigkeiten zu erlernen. Angetrieben von Ihren eigenen Interessen werden Sie die Initiative ergreifen, sich einige notwendige Kenntnisse anzueignen, um die gewünschten Antworten zu finden, was wichtiger ist, als blind Technologie zu erlernen.

Wenn ich darüber nachdenke, hätte ich in meiner Jugend mehr Mathematik lernen sollen, wenn ich das getan hätte.

Mathematik macht mich oft hoffnungslos, was es schwierig macht, einige Aufsätze zu verstehen, insbesondere die große Anzahl an Symbolen zu verstehen, was wirklich eine große Herausforderung darstellt, deshalb lese ich nicht zu viele Aufsätze. Bei Fragen der Neurowissenschaften frage ich normalerweise Terry Sejnowski (Professor für Computational Neurology). Bei Fragen der Informatik bitte ich Doktoranden, sie mir zu erklären. Wenn ich mithilfe der Mathematik beweisen muss, ob eine Studie machbar ist, finde ich immer eine geeignete Methode.

Die Idee, die Welt durch Forschung zu einem besseren Ort zu machen, ist schön, aber es macht mir noch mehr Spaß, die oberen Grenzen der menschlichen Kreativität zu erkunden. Ich möchte wirklich verstehen, wie das Gehirn funktioniert, und ich glaube, wir brauchen etwas davon Neue Ideen, wie zum Beispiel das Verständnis der Funktionsweise des Gehirns durch den Lernalgorithmus von Spike-Neuronalen Netzen.

Ich glaube, dass die beste Forschungsarbeit von einer großen Gruppe von Doktoranden geleistet und mit reichhaltigen Ressourcen ausgestattet werden sollte. Wissenschaftliche Forschungsarbeit erfordert jugendliche Vitalität, grenzenlose Motivation und ein starkes Interesse an der Forschung.

Man muss von Neugier getrieben sein, um die beste Grundlagenforschung zu betreiben. Nur dann werden Sie motiviert sein, offensichtliche Hindernisse zu ignorieren und die Ergebnisse abzuschätzen, die Sie erzielen werden. Wenn es sich um ein allgemeines Studium handelt, ist Kreativität nicht das Wichtigste.

Es ist immer eine gute Idee, herauszufinden, woran eine Menge kluger Leute arbeiten, und dann kann man verschiedene Nachforschungen anstellen. Wenn Sie in einem bestimmten Bereich bereits einige Fortschritte gemacht haben, brauchen Sie keine weiteren neuen Ideen, sondern müssen nur tiefer in die bestehende Forschung eintauchen, um erfolgreich zu sein. Aber wenn Sie an einigen neuen Ideen arbeiten möchten, wie zum Beispiel dem Bau großer Hardware, ist das auch großartig, auch wenn der Weg, der vor Ihnen liegt, vielleicht etwas steinig ist.

Das obige ist der detaillierte Inhalt vonTuring-Preisträger Geoffrey Hinton: Meine fünfzigjährige Deep-Learning-Karriere und meine Forschungsmethoden. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!