Die „KI-Tötung'-Warnung löste in akademischen Kreisen Kontroversen aus, sagte LeCun unverblümt: „Nicht so gut wie mein Hund.'

Der jüngste Brand von ChatGPT hat den Menschen Anzeichen dafür gezeigt, dass sich die Tür zur vierten technologischen Revolution öffnet, aber viele Menschen haben auch begonnen, sich Sorgen darüber zu machen, ob KI das Risiko birgt, die Menschheit auszulöschen.

Das ist keine Übertreibung. In letzter Zeit haben viele große Leute solche Bedenken geäußert.

Sam Altman, der Vater von ChatGPT, Geoffrey Hinton, der Pate der künstlichen Intelligenz, Bill Gates und Professor Gary Marcus von der New York University haben uns kürzlich daran erinnert: Seien Sie nicht zu nachlässig, KI könnte die Menschheit wirklich auslöschen.

Aber LeCun, Metas Chef-KI-Wissenschaftler, hat einen anderen Stil. Er betont immer noch die Mängel von LLM und empfiehlt überall sein „Weltmodell“.

Altman: KI könnte die Gesellschaft zerstören, sei nicht anthropomorphisch

Kürzlich sagte Sam Altman, der Vater von ChatGPT und CEO von OpenAI, dass die Risiken superintelligenter KI unsere Erwartungen weit übertreffen könnten.

In einem Podcast mit dem Technologieforscher Lex Fridman warnte Altman frühzeitig vor den potenziellen Gefahren fortschrittlicher künstlicher Intelligenz.

Er sagte, dass er sich am meisten Sorgen über das durch KI verursachte Falschinformationsproblem sowie die wirtschaftlichen Auswirkungen sowie andere Probleme mache, die noch nicht aufgetreten seien. Diese Schäden könnten weitaus größer sein womit Menschen umgehen können.

Er wies auf die Möglichkeit hin, dass große Sprachmodelle die Erfahrung und Interaktion von Social-Media-Nutzern beeinflussen oder sogar dominieren können.

„Woher wissen wir zum Beispiel, dass das große Sprachmodell nicht den Gedankenfluss aller auf Twitter steuert?“

Aus diesem Grund legte Altman besonderen Wert auf die Lösung des Problems der Künstlichen Intelligence Docking Die Bedeutung von Fragen, um den potenziellen Gefahren der KI vorzubeugen. Er betonte, dass wir aus der technologischen Entwicklung lernen und hart daran arbeiten müssen, dieses Problem zu lösen, um die Sicherheit der KI zu gewährleisten.

In einem Dokument vom 23. März erklärte OpenAI, wie es einige der Risiken von GPT-4 angeht: erstens durch den Einsatz von Richtlinien und Überwachung; zweitens durch den Einsatz von Prüfinhaltsklassifikatoren

OpenAI erkennt an, dass KI-Modelle Vorurteile verstärken und dauerhafte Stereotypen schaffen können.

Aus diesem Grund werden Benutzer ausdrücklich darauf hingewiesen, GPT-4 nicht in Situationen zu verwenden, in denen viel auf dem Spiel steht, wie z. B. bei wichtigen Regierungsentscheidungen wie Strafverfolgung, Strafjustiz, Einwanderung und Asyl, oder es dazu zu verwenden Bereitstellung von Rechts- und Gesundheitsberatung.

Bisher hat das Unsinnsproblem von ChatGPT oder das „Illusionsproblem“ großer Sprachmodelle viele Kontroversen unter den Benutzern ausgelöst.

Musk sagte mit voller Ironie, dass die mächtigsten KI-Werkzeuge jetzt in den Händen von Monopolen seien

Altman gibt dies zu: im Sinne des öffentlichen Aufbaus und der Förderung der Gesellschaft. Im Sinne von In der Entwicklung haben wir einige fehlerhafte Produkte eingeführt, aber jetzt lassen wir das System lernen, welche Fragen es nicht beantworten soll, und erstellen dann bessere Versionen.

Wie aus dem Dokument vom 23. März hervorgeht, hat die frühe Version von GPT-4 weniger Inhalte gefiltert, die nicht gesagt werden sollten. Auf die Frage der Benutzer, wo man nicht lizenzierte Waffen kaufen und wie man Selbstmord begehen kann, wurde geantwortet.

In der verbesserten Version wird die Beantwortung dieser Fragen verweigert. Darüber hinaus gibt GPT-4 manchmal aktiv zu, dass er „Halluzinationsprobleme“ hat.

Altman sagte: „Ich denke, als OpenAI haben wir die Verantwortung, für die Tools verantwortlich zu sein, die wir der Welt zur Verfügung stellen.“ Wissen Sie, Tools haben ihre Vor- und Nachteile“, fügte er hinzu. „Wir werden den Schaden minimieren und den Nutzen maximieren.“

Während das GPT-4-Modell erstaunlich ist, ist es auch wichtig, die Grenzen der künstlichen Intelligenz zu erkennen und eine Anthropomorphisierung zu vermeiden.

Hinton: Es ist nicht unvorstellbar, dass KI den Menschen auslöschen wird

Zufälligerweise hat Hinton kürzlich auch vor dieser Gefahr gewarnt.

„Der Pate der künstlichen Intelligenz“ Geoffrey Hinton sagte kürzlich in einem Interview mit CBS NEWS, dass sich künstliche Intelligenz in einem „kritischen Moment“ befinde und die Entstehung der künstlichen allgemeinen Intelligenz (AGI) näher sei, als wir denken.

Nach Hintons Ansicht ist der technologische Fortschritt von ChatGPT vergleichbar mit „der Elektrizität, die die industrielle Revolution auslöste“.

Allgemeine künstliche Intelligenz bezieht sich auf die potenzielle Fähigkeit eines Agenten, jede Denkaufgabe zu lernen, die Menschen erledigen können. Allerdings ist es derzeit noch nicht ausgereift und viele Informatiker untersuchen noch, ob es machbar ist.

In dem Interview sagte Hinton:

Die Entwicklung der allgemeinen künstlichen Intelligenz geht viel schneller voran, als die Leute denken. Bis vor Kurzem dachte ich, dass es 20 bis 50 Jahre dauern würde, bis wir eine allgemeine künstliche Intelligenz erreichen könnten. Die Verwirklichung allgemeiner künstlicher Intelligenz kann nun 20 Jahre oder weniger dauern.

Auf die konkrete Frage nach der Möglichkeit der Auslöschung der Menschheit durch künstliche Intelligenz antwortete Hinton: „Ich glaube nicht, dass das undenkbar ist.“

Hinton, der bei Google arbeitet, begann vor mehr als 40 Jahren, sich mit künstlicher Intelligenz zu befassen. Damals war künstliche Intelligenz in den Augen vieler Menschen noch Science-Fiction.

Statt der Art und Weise, wie einige Wissenschaftler versuchen, Logik- und Denkfähigkeiten in Computer zu programmieren, glaubt Hinton, dass ein besserer Ansatz darin besteht, das Gehirn zu simulieren und den Computer diese Fähigkeiten selbst entdecken zu lassen, indem er eine virtuelle neuronale Netzwerktechnologie aufbaut das richtige Connect um Aufgaben zu lösen.

„Die große Frage ist, kann man von einem großen neuronalen Netzwerk erwarten, dass es lernt, indem es die Stärke seiner Verbindungen ändert? Kann man davon ausgehen, dass es lernt, Dinge zu tun, indem man sich die Daten einfach anschaut, ohne angeborenes Wissen zu haben?“ Das ist völlig lächerlich.“

Die rasante Entwicklung computerneuronaler Netze im letzten Jahrzehnt oder so hat endlich bewiesen, dass Hintons Ansatz richtig war.

Seine Ideen zum maschinellen Lernen werden verwendet, um eine Vielzahl von Ergebnissen zu erstellen, darunter Deepfake-Fotos, -Videos und -Audio, was diejenigen, die Fehlinformationen studieren, besorgt darüber macht, wie diese Tools verwendet werden.

Die Menschen befürchten auch, dass diese Technologie viele Arbeitsplätze wegnimmt, aber Hintons Mentor Nick Frosst, Mitbegründer von Cohere, glaubt, dass diese Technologie die Arbeitnehmer nicht ersetzen, sondern ihr Leben verändern wird.

Die Möglichkeit für Computer, endlich kreative Ideen zu bekommen, um sich selbst zu verbessern, scheint machbar. Wir müssen darüber nachdenken, wie wir es kontrollieren können.

Egal, wie laut die Branche die Ankunft von AGI bejubelt, und egal, wie lange es dauern wird, bis wir uns der KI bewusst werden, wir sollten jetzt sorgfältig über ihre Konsequenzen nachdenken, zu denen auch der Versuch gehören kann, die Menschheit auszulöschen.

Das eigentliche Problem besteht derzeit darin, dass die KI-Technologie, die wir bereits haben, von machthungrigen Regierungen und Unternehmen monopolisiert wird.

Glücklicherweise, so Hinton, haben die Menschen noch etwas Luft zum Atmen, bevor die Dinge völlig außer Kontrolle geraten.

Hinton sagte: „Wir sind jetzt an einem Wendepunkt. ChatGPT ist ein idiotischer Experte und versteht die Wahrheit nicht wirklich. Weil es versucht, die Unterschiede und gegensätzlichen Meinungen in seinen Trainingsdaten in Einklang zu bringen. Das steht im Widerspruch zu.“ Menschen, die eine konsistente Weltanschauung vertreten, sind völlig anders.“

Bill Gates: Ich mache mir schon lange Sorgen über die Gefahren der KI. seit vielen Jahren.

Seit vielen Jahren sagt Gates, dass die Technologie der künstlichen Intelligenz zu mächtig geworden sei und sogar Kriege auslösen oder zur Herstellung von Waffen eingesetzt werden könne.

Er behauptete, dass nicht nur der echte „007-Bösewicht“ damit Weltmächte manipulieren könnte, sondern dass auch die künstliche Intelligenz selbst außer Kontrolle geraten und eine große Bedrohung für die Menschheit darstellen könnte.

Wenn Superintelligenz entwickelt wird, wird ihrer Meinung nach ihre Denkgeschwindigkeit die des Menschen bei weitem übertreffen. Es kann alles, was das menschliche Gehirn kann, und das Erschreckendste ist, dass seine Speichergröße und Laufgeschwindigkeit überhaupt nicht begrenzt sind.

Diese als „Super“-KI bezeichneten Wesen können sich ihre eigenen Ziele setzen, ohne zu wissen, was sie tun werden.

LeCun: LLM ist schwach, ich stehe immer noch für das Weltmodell

Obwohl die Chefs von OpenAI, Google und Microsoft Bedenken geäußert haben, dass KI die Menschheit auslöschen könnte, wenn es um Metas Chef-KI-Wissenschaftler LeCun geht, den Malstil Mutation.

Seiner Meinung nach ist das aktuelle LLM nicht gut genug, geschweige denn die Vernichtung der Menschheit.

Letzte Woche hat das stolze Microsoft gerade einen Artikel mit dem Titel „Sparks of Artificial General Intelligence: Early Experiments with GPT-4“ veröffentlicht, der darauf hinweist, dass GPT-4 bereits als eine frühe Version allgemeiner künstlicher Intelligenz angesehen werden kann.

Und LeCun bleibt immer noch bei seiner konsequenten Ansicht: LLM ist zu schwach, um überhaupt als AGI zu gelten. Wenn man zu AGI führen will, ist nur das „Weltmodell“ möglich.

Wir wissen, dass LeCun seit mehreren Jahren ein Fan des Weltmodells ist. Aus diesem Grund entfacht er auf Twitter oft hitzige Debatten mit Internetnutzern.

Zum Beispiel behauptete er letzten Monat: „Auf dem Weg zur KI auf menschlicher Ebene sind große Sprachmodelle ein krummer Weg. Wissen Sie, selbst eine Hauskatze oder ein Haushund hat mehr als jeder LLM-Gesundheitsverstand und Verständnis.“ der Welt.“

Kürzlich fragte der Stanford-Kognitionswissenschaftler Michael C. Frank online: „GPT-3 wurde auf 500 Milliarden Token (ungefähr 3,75x10^11 Wörter) trainiert. Das ergibt also ungefähr 4x10^11 Wörter. Sowohl PaLM als auch Chinchilla wurden darauf trainiert.“ etwa 10^12 Wörter. Wir wissen nicht, wie die Korpusgröße von GPT-4 im Vergleich zu Menschen ist. Der Beitrag stellte die Fähigkeit von LLM in Frage: Menschen müssen nicht aus 1 Billion Wörtern lernen, um menschliche Intelligenz zu erreichen, aber LLM kann das nicht Es.

Was genau fehlt ihnen im Vergleich zum Menschen?

Die von Frank erstellte Grafik vergleicht die Eingabeskala großer Sprachmodelle und des Erlernens menschlicher Sprache Wer bei klarem Verstand ist, wird in fünf Jahren ein autoregressives Modell verwenden.

Sie müssen wissen, dass das heute beliebte ChatGPT ein autoregressives Sprachmodell ist, das Deep Learning zur Textgenerierung verwendet.

Wagen Sie es, die aktuellen Topmodels auf diese Weise zu leugnen, LeCuns Worte sind in der Tat provokativ.

In diesem Zusammenhang stellte er noch einmal klar, dass es in 5 Jahren Sprachmodelle geben wird, diese jedoch nicht autoregressiv sein werden. Da das autoregressive Modell nicht kontrollierbar ist und mehr Token generiert werden, treten Probleme mit der exponentiellen Divergenz auf.

Ich muss noch einmal betonen:

1. Autoregressives LLM ist nützlich, insbesondere als Werkzeug zum Schreiben und Programmieren. 2. Sie erzeugen oft Halluzinationen.

3. Ihr Verständnis der physischen Welt ist sehr primitiv. 4. Ihre Planungsfähigkeiten sind sehr primitiv.

Für autoregressives LLM, bei dem es sich um einen exponentiell zunehmenden Diffusionsprozess handelt, führte LeCun auch sein eigenes Argument an: Angenommen, e ist die Wahrscheinlichkeit, dass ein willkürlich generierter Token uns von der richtigen Antwortmenge entfernen kann, und dann die Länge ist n. Die Wahrscheinlichkeit, dass die Antwort letztendlich die richtige ist, beträgt P (richtig) = (1-e)^n.

Nach diesem Algorithmus häufen sich Fehler nach und nach an und die Wahrscheinlichkeit einer richtigen Antwort nimmt exponentiell ab. Das Problem kann durch Verkleinern von e (durch Training) gemildert werden, es ist jedoch unmöglich, das Problem vollständig zu beseitigen.

Um dieses Problem zu lösen, müssen wir LLM daran hindern, eine Autoregression durchzuführen und gleichzeitig die Glätte des Modells beizubehalten.

Wie kann man es in diesem Fall brechen?

Hier holte LeCun noch einmal sein „Weltmodell“ heraus und wies darauf hin, dass dies die vielversprechendste Richtung für die Entwicklung von LLM ist.

Die Idee, ein Weltmodell aufzubauen, wurde in einem Artikel von LeCun aus dem Jahr 2022, „A Path Towards Autonomous Machine Intelligence“, ausführlich ausgearbeitet.

Wenn Sie eine kognitive Architektur aufbauen möchten, die zum Denken und Planen geeignet ist, müssen Sie aus 6 Modulen bestehen, darunter Konfigurator, Wahrnehmung, Weltmodell, Kosten, Akteur und Kurzzeitgedächtnis.

Aber es ist unbestreitbar, dass ChatGPT wirklich die „KI-Goldnuggets“ im Silicon Valley hervorgebracht hat.

Der LLMS-Hype-Zyklus ändert sich so schnell, jeder befindet sich an einem anderen Punkt der Kurve und jeder ist verrückt.

Marcus: Ich stimme Hinton zu

Was Hintons Warnung betrifft, stimmte auch Professor Marcus von der New York University zu.

„Ist es wichtiger, dass die Menschheit zugrunde geht, oder ist es wichtiger, schneller zu programmieren und mit Robotern zu chatten?“

Marcus glaubt, dass AGI zwar noch zu weit entfernt ist, LLMs sind bereits gefährlich, und das Gefährlichste ist, dass KI jetzt verschiedene kriminelle Aktivitäten erleichtert.

„In dieser Zeit müssen wir uns jeden Tag fragen, welche Art von KI wollen wir? Manchmal ist es nicht schlecht, langsam vorzugehen, denn jeder kleine Schritt, den wir unternehmen, wird Auswirkungen auf die haben.“ Zukunft Weitreichende Auswirkungen.“

Das obige ist der detaillierte Inhalt vonDie „KI-Tötung'-Warnung löste in akademischen Kreisen Kontroversen aus, sagte LeCun unverblümt: „Nicht so gut wie mein Hund.'. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!