Der CEO von OpenAI sagt: Die Ausweitung des Umfangs ist nicht der einzige Weg zum Fortschritt, und die Ära der riesigen KI-Modelle könnte zu Ende gehen

Neuigkeiten vom 18. April: Der Chatbot ChatGPT von OpenAI ist so leistungsstark, dass er großes Interesse und Investitionen in künstliche Intelligenz geweckt hat. Der CEO des Unternehmens, Sam Altman, glaubt jedoch, dass bestehende Forschungsstrategien gescheitert sind und zukünftige KI-Fortschritte neue Ideen erfordern.

In den letzten Jahren hat OpenAI eine Reihe beeindruckender Fortschritte bei der Sprachverarbeitung erzielt, indem bestehende Algorithmen für maschinelles Lernen auf bisher unvorstellbare Größenordnungen skaliert wurden. Sein jüngstes entwickeltes Projekt ist GPT-4, das nach eigenen Angaben mit Billionen von Textwörtern und Tausenden von leistungsstarken Computerchips trainiert wurde und mehr als 100 Millionen US-Dollar gekostet hat.

Allerdings sagte Altman, dass zukünftige Fortschritte in der KI nicht mehr davon abhängen werden, die Modelle zu vergrößern. „Ich denke, wir sind am Ende einer Ära“, sagte er auf einer MIT-Veranstaltung. „In dieser [scheidenden] Ära werden die Modelle immer größer. Jetzt werden wir sie auf andere Weise herstellen.“ besser.“

Altmans Kommentare stellen eine unerwartete Wende im Wettlauf um die Entwicklung und den Einsatz neuer KI-Algorithmen dar. Seit der Einführung von ChatGPT im November hat Microsoft die zugrunde liegende Technologie genutzt, um Chatbots zu seiner Bing-Suchmaschine hinzuzufügen, und Google hat einen Konkurrenten namens Bard gestartet. Viele Menschen möchten diesen neuen Chatbot unbedingt ausprobieren, um bei der Arbeit oder bei persönlichen Aufgaben zu helfen.

Gleichzeitig investieren viele gut finanzierte Startups, darunter Anthropic, AI21, Cohere und Character.AI, erhebliche Ressourcen in die Entwicklung größerer Algorithmen, um mit OpenAI gleichzuziehen. Die erste Version von ChatGPT basiert auf GPT-3, aber Benutzer haben jetzt auch Zugriff auf eine leistungsstärkere, von GPT-4 unterstützte Version.

Altmans Aussage impliziert auch, dass GPT-4 nach der Übernahme der Strategie, das Modell zu erweitern und mehr Daten für das Training bereitzustellen, möglicherweise die letzte große Errungenschaft von OpenAI ist. Er enthüllte jedoch keine Forschungsstrategien oder -techniken, die aktuelle Methoden ersetzen könnten. In einem Papier, das GPT-4 beschreibt, sagte OpenAI, seine Schätzungen zeigten sinkende Erträge aus der Skalierung von Modellen. Es gibt auch physische Grenzen hinsichtlich der Anzahl der Rechenzentren, die das Unternehmen bauen kann, und wie schnell es diese bauen kann, sagte Altman.

Cohere-Mitbegründer Nick Frosst, der bei Google an künstlicher Intelligenz arbeitete, sagte, Altman habe recht, als er sagte, dass „die kontinuierliche Vergrößerung der Modellgröße keine unbegrenzte Lösung ist.“ Er glaubt, dass maschinelle Lernmodelle für GPT-4 und andere Transformatortypen (Bearbeitungsgruppe: Transformatoren werden wörtlich als Konverter übersetzt, und GPT ist die Abkürzung für Generative Pre-Trained Transformers, was bedeutet, dass generative Pre-Training-Modelle auf Transformatoren basieren) Fortschritte machen Es geht nicht mehr nur um Skalierung.

Frost fügte hinzu: „Es gibt viele Möglichkeiten, Transformatoren besser und nützlicher zu machen, und viele davon erfordern nicht das Hinzufügen von Parametern zum Modell. Neue KI-Modelldesigns oder -Architekturen und weitere Anpassungen basierend auf menschlichem Feedback sind allesamt Richtungen.“ Das erforschen viele Forscher bereits.“

In der Sprachalgorithmusfamilie von OpenAI besteht das Design dieser Software aus der Art und Weise, wie Neuronen miteinander interagieren sollte einer bestimmten Textzeichenfolge folgen.

Im Jahr 2019 veröffentlichte OpenAI sein erstes Sprachmodell GPT-2. Er umfasst bis zu 1,5 Milliarden Parameter und ist ein Maß für die einstellbare Anzahl von Verbindungen zwischen Neuronen. Das ist eine sehr große Zahl, was zum Teil einer Entdeckung von OpenAI-Forschern zu verdanken ist, dass eine Skalierung das Modell kohärenter macht.

Im Jahr 2020 brachte OpenAI GPT-3 auf den Markt, den Nachfolger von GPT-2, einem größeren Modell mit bis zu 175 Milliarden Parametern. Die umfassende Fähigkeit von GPT-3, Gedichte, E-Mails und andere Texte zu generieren, hat andere Unternehmen und Forschungseinrichtungen zu der Annahme geführt, dass sie ihre eigenen KI-Modelle auf ähnliche oder sogar größere Maßstäbe als GPT-3 skalieren können.

Nachdem ChatGPT im November letzten Jahres debütierte, spekulierten Meme-Macher und Technologieexperten, dass es sich bei der Veröffentlichung von GPT-4 um ein komplexeres Modell mit mehr Parametern handeln wird. Als OpenAI jedoch schließlich sein neues KI-Modell ankündigte, verriet das Unternehmen nicht, wie groß es sein würde, vielleicht weil die Größe nicht mehr der einzige Faktor war, der zählte. Auf der MIT-Veranstaltung wurde Altman gefragt, ob die Kosten für die Ausbildung von GPT-4 100 Millionen US-Dollar betragen würden, und er antwortete: „Mehr als das.“

Obwohl OpenAI den Umfang und das Innenleben von GPT-4 geheim hält, ist es wahrscheinlich, dass es nicht mehr ausschließlich auf Skalierung zur Leistungsverbesserung setzt. Eine Möglichkeit besteht darin, dass das Unternehmen eine Methode namens „Reinforcement Learning mit menschlichem Feedback“ verwendet hat, um die Fähigkeiten von ChatGPT zu verbessern, einschließlich der Beurteilung der Qualität der Antworten des Modells durch Menschen, um es bei der Bereitstellung von Diensten zu unterstützen, die mit größerer Wahrscheinlichkeit als qualitativ hochwertige Antworten beurteilt werden .

Die außergewöhnlichen Fähigkeiten von GPT-4 haben viele Experten alarmiert und eine Debatte über das Potenzial der KI zur Umgestaltung der Wirtschaft ausgelöst sowie Bedenken, dass sie Desinformation verbreiten und Arbeitslosigkeit schaffen könnte. Eine Reihe von Unternehmern und KI-Experten haben kürzlich einen offenen Brief unterzeichnet, in dem sie ein sechsmonatiges Moratorium für die Entwicklung von Modellen fordern, die leistungsstärker als GPT-4 sind, darunter auch Elon Musk, CEO von Tesla.

Auf der MIT-Veranstaltung bestätigte Altman, dass sein Unternehmen derzeit kein GPT-5 entwickelt. Er fügte hinzu: „In einer früheren Version dieses offenen Briefes wurde behauptet, dass OpenAI GPT-5 trainiere. Tatsächlich tun wir dies nicht und werden es auch nicht kurzfristig tun.“

Das obige ist der detaillierte Inhalt vonDer CEO von OpenAI sagt: Die Ausweitung des Umfangs ist nicht der einzige Weg zum Fortschritt, und die Ära der riesigen KI-Modelle könnte zu Ende gehen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!