Wer kann eine chinesische Version von ChatGPT erstellen? Wie geht das?-KI-php.cn

Im Dezember 2022 wurde ChatGPT geboren. OpenAI hat das Paradigma der wissenschaftlichen Forschung und technischen Anwendungen mit einem Ergebnis auf Atombombenniveau verändert. In China hat ChatGPT große Aufmerksamkeit und tiefgreifende Diskussionen erhalten. Im vergangenen Monat habe ich große Universitäten, Forschungsinstitute, große Fabriken, Start-up-Unternehmen und Risikokapitalgeber von Peking über Shanghai und Hangzhou bis Shenzhen besucht und mit allen führenden Akteuren gesprochen. Das Game of Scale hat in China bereits begonnen. Wie können die Akteure im Zentrum des Sturms angesichts der großen Kluft zwischen heimischer Technologie und Ökologie und der weltweiten Spitzenreiterschaft dies erreichen? Wer kann das machen?

Qin hat seinen Hirsch verloren und die ganze Welt hat ihn vertrieben. ———— „Historische Aufzeichnungen · Biografien des Marquis von Huaiyin“

Inhaltsverzeichnis

Wer kann eine chinesische Version von ChatGPT erstellen? Wie geht das?

1. Drei verschiedene Antworten

Jedes Mal, wenn ich mit einem Startup-Unternehmen in Kontakt komme, frage ich das gleiche Frage: „Wo ist ChatGPT? Was möchten Sie tun?“ Ich habe wahrscheinlich drei verschiedene Antworten erhalten. Die erste Antwort ist klar: Chinas ChatGPT aufbauen.

1.1 Machen Sie Chinas ChatGPT

Weil es da ist, möchte ich es reproduzieren und lokalisieren. Das ist sehr klassisches produktorientiertes chinesisches Internet-Denken. Diese Denkweise war in den letzten zwei Jahrzehnten auch im chinesischen Internet ein gängiges Geschäftsmodell: Zuerst macht das Silicon Valley etwas, und dann kopieren wir es.

Aber das Problem hierbei ist, dass ChatGPT erstens nicht wie eine Software für Taxirufe ist und die Schwierigkeit der Reproduktion völlig anders ist. Aus menschlicher Sicht ist die Entwicklung von GPT das Ergebnis kontinuierlicher Forschung der weltweit führenden Wissenschaftler und Ingenieure seit 2015. Der Chefwissenschaftler von OpenAI, Ilya Sutskever^[1], glaubt fest daran, dass AGI erreicht werden kann. Als Schüler des Turing-Preisträgers Geoffery Hinton beschäftigt er sich seit 2007 mit Deep Learning. Er hat 370.000 Zitate und die Artikel, die er in den letzten zehn Jahren veröffentlicht hat, treffen genau alle Schlüsselaspekte des Deep Learning. Selbst mit einem so starken Team dauerte es vier Jahre, von GPT 2 auf GPT 3.5 umzusteigen. Man kann sich die Schwierigkeit der Wissenschaft und Technik vorstellen.

Gleichzeitig ist die erste Generation von ChatGPT eine von OpenAI erstellte Demo, die auf dem Grundmodell von GPT 3.5 basiert. Nachdem zwei Wochen lang den Dialog verfeinert hat , wurde er verworfen . Die eigentliche Stärke liegt hier nicht im Produkt ChatGPT, sondern im zugrunde liegenden GPT 3.5 Basismodell. Dieses Modell befindet sich noch in der Entwicklung. Die GPT 3.5-Serie wurde im Jahr 2022 mit drei Hauptversionen aktualisiert Monate nach ihrer Veröffentlichung weist jede kleine Version in einer einzelnen Dimension offensichtliche Verbesserungen auf. Alle OpenAI-Modelle entwickeln sich ständig weiter und werden mit der Zeit immer leistungsfähiger. Das heißt, wenn man sich nur auf das aktuelle Produkt ChatGPT konzentriert,

kommt dem Versuch gleich, ein Schwert zu finden

. Als ChatGPT auf den Markt kam, verursachte es einen Rückschlag für die Dimensionsreduzierung bestehender Sprachassistenten; selbst wenn man ein oder zwei Jahre damit verbrachte, etwas Ähnliches zu schaffen, war die Entwicklung des Basismodells zu dieser Zeit die Grundlage von OpenAI Modelle werden auch weiterhin stärker, wenn sie weiterhin ein stärkeres Produkt mit einem neuen, stärkeren Basismodell produzieren und verfeinern, werden sie dann erneut von der Dimensionsreduzierung betroffen sein? Der Ansatz, ein Boot zu schnitzen und ein Schwert zu suchen, wird nicht funktionieren.

1.2 Werden Sie Chinas OpenAI

Die zweite Antwort ist, Chinas OpenAI zu werden. Der Spieler, der diese Antwort gab, ist aus dem klassischen chinesischen Internet-Produktdenken herausgesprungen. Sie sahen nicht nur ein einzelnes Produkt, sondern auch die starke treibende Kraft für die kontinuierliche Weiterentwicklung des Grundmodells hinter diesem Produkt, das aus der Dichte an Spitzentalenten und der fortschrittlichen Organisationsstruktur resultiert.

Dichte an Spitzentalenten: Es geht nicht darum, dass eine Person Ressourcen bündelt, um ein Team zu leiten und diese dann in hierarchischer Weise zusammenfasst und den darunter liegenden Personen Aufgaben zuweist, sondern um eine Gruppe von Personen auf höchster Ebene, die dies tun Kombinieren Sie Wissenschaft und Technik, um zusammenzuarbeiten.
Erweiterte Organisationsstruktur: Das Sprachteam und das Ausrichtungsteam arbeiten bei der Iteration zusammen, und dann helfen das Skalierungsteam und das Datenteam unten bei der Bereitstellung der Infrastruktur. Jedes Team ist sehr klein, hat aber klare Ziele , klare Wege und hohe Konzentration auf dem Weg zu AGI

Wenn Sie dies tun möchten, müssen Sie also nicht nur das Produkt sehen, sondern auch das Talentteam und die Organisationsstruktur dahinter , Personen>> Karte >> Geld .

Aber das Problem dabei ist, dass unterschiedliche Böden Innovationen unterschiedlich stark fördern. Als OpenAI im Jahr 2015 gegründet wurde, glaubten seine Investoren an AGI, auch wenn zu diesem Zeitpunkt noch kein Gewinn zu verzeichnen war. Nachdem GPT entwickelt wurde, haben auch inländische Investoren an AGI geglaubt, aber ihre Überzeugungen können unterschiedlich sein: Glauben Sie, dass AGI Geld verdienen kann, oder glauben Sie, dass AGI die menschliche Entwicklung fördern kann?

Auch wenn OpenAI hier geboren wird und morgen erscheinen wird, kann der mit Microsoft erzielte Deal mit inländischen Cloud-Computing-Herstellern erreicht werden? Das Training und die Inferenz großer Modelle erfordern enorme Kosten und erfordern eine Cloud-Computing-Engine als Unterstützung. Microsoft kann seine ganze Kraft darauf verwenden, dass das gesamte Azure OpenAI unterstützt. ^[4]Organisationsstruktur ist sehr wichtig. Nur Spitzentalente und fortschrittliche Organisationsstrukturen können die kontinuierliche Iteration und Weiterentwicklung der Intelligenz fördern.

1.3 Erkunden Sie die Grenzen der Intelligenz

Die dritte Antwort lautet: Erforschen Sie die Grenzen der Intelligenz

. Das ist die beste Antwort, die ich je gehört habe. Es geht weit über das klassische Internet-Produktdenken hinaus, bei dem auf Schritt und Tritt nach einem Schwert gesucht wird. Es erkennt auch die Bedeutung der Organisationsstruktur und der Dichte an Spitzentalenten. Noch wichtiger ist, dass es die Zukunft sieht, Modellentwicklung und Produktiteration sieht und denkt darüber, wie man die tiefgreifendsten und tiefgreifendsten Dinge integriert. Das erfordert extremes Denken beim Nachdenken über große Modelle.

2. Extremes Denken

Wenn man sich das aktuelle ChatGPT/GPT-3.5 ansieht, ist es offensichtlich, dass es noch viele Punkte gibt, die deutlich verbessert werden können, darunter:

Längeres Eingabefeld: Zu Beginn betrug der Kontext von GPT 3.5 bis zu 8.000 Token; jetzt scheint die Länge der ChatGPT-Kontextmodellierung 10.000 überschritten zu haben. Und diese Länge kann offensichtlich weiter wachsen. Nach Einbeziehung der Methoden der effizienten Aufmerksamkeit^[5] und der rekursiven Kodierung^[6] sollte die Kontextlänge auf einhunderttausend oder sogar eine Million Längen skalierbar sein

Größere Modelle, größere Daten : Die Größe des Modells hat das Limit noch nicht erreicht und MoE kann das Modell weiterhin auf die Größenordnung von T skalieren [7] ; Die Größe der Daten ist noch nicht erreicht Das Limit erreicht, und die Daten werden täglich von Menschen zurückgemeldet. Alles wächst

Multimodal: Nach dem Hinzufügen multimodaler Daten (Audio, Bilder), insbesondere Videodaten, der Gesamtgröße und des Trainings Die Daten können um zwei Größenordnungen erhöht werden. Diese bekannten Fähigkeiten können dann gemäß dem Skalierungsgesetz linear zunehmen, und es können weiterhin neue Fähigkeiten auftauchen. Beispielsweise kann das Modell automatisch lernen, analytische Geometrie zu erstellen, nachdem es Bilder verschiedener geometrischer Formen und Algebraprobleme gesehen hat.

Spezialisierung: Das bestehende Modell entspricht in etwa dem Graduiertenniveau in den Geisteswissenschaften, entspricht aber dem Niveau von High-School- oder Erstsemester-Studenten oder Studenten im zweiten Studienjahr in Naturwissenschaften, die bewiesen haben, dass wir das erreichen können Modell Die Fertigkeitspunkte werden von einer Richtung in eine andere verschoben, was bedeutet, dass wir das Modell auch ohne Skalierung immer noch in die Zielrichtung drängen können, indem wir andere Fähigkeiten opfern. Beispielsweise werden die naturwissenschaftlichen Fähigkeiten des Modells geopfert und seine geisteswissenschaftlichen Fähigkeiten von einem Doktoranden auf das Niveau eines Expertenprofessors gehoben.
Die oben genannten vier Punkte sind nur in diesem Stadium sichtbar. Sie können sofort gestärkt werden, aber es gibt noch keine Punkte, die gestärkt wurden. Mit der Zeit und der Weiterentwicklung des Modells wird es weitere Dimensionen geben, die gestärkt werden können weiter im Maßstab widergespiegelt. Das bedeutet, dass wir extrem nachdenken und darüber nachdenken müssen, wie das Modell aussehen wird, wenn wir alle ausfüllbaren Dimensionen ausfüllen.

2.1 kann alles füllen

Das Eingabefeld des Modells kann weiter verlängert werden, die Größe des Modells kann weiter zunehmen, die Daten des Modells können weiter zunehmen, multimodale Daten kann fusioniert werden, und der Spezialisierungsgrad des Modells kann weiter zunehmen, und alle diese Dimensionen können weiter nach oben gezogen werden. Das Modell hat seine Grenzen noch nicht erreicht. Limit ist ein Prozess. Wie werden sich die Fähigkeiten des Modells während dieses Prozesses entwickeln?

Logarithmisch-lineare Kurve: Das Wachstum einiger Funktionen folgt der logarithmisch-linearen Kurve[8], beispielsweise die Feinabstimmung einer bestimmten Aufgabe. Da die Feinabstimmungsdaten exponentiell wachsen, wachsen die Fähigkeiten der Feinabstimmungsaufgaben, die dem Modell entsprechen, linear. Dieser Teil der Fähigkeit wird vorhersehbar stärker werden
Phasenänderungskurve: Einige Fähigkeiten werden weiterhin mit der Skalierung entstehen[9], wie zum Beispiel das Beispiel des obigen Modells, das analytische Geometrie durchführt. Während die Dimensionen, die gefüllt werden können, immer weiter gefüllt werden, werden neue und unvorhersehbare Fähigkeiten auftauchen.
Polynomkurve? Wenn das Modell stark genug ist, um sich bis zu einem gewissen Grad an den Menschen anzupassen, wird das lineare Wachstum einiger Fähigkeiten und der erforderlichen Daten möglicherweise die Blockade des exponentiellen Wachstums durchbrechen und auf die Ordnung von Polynomen reduziert werden. Mit anderen Worten: Wenn das Modell bis zu einem gewissen Grad stark ist, benötigt es möglicherweise keine exponentiellen Daten, sondern nur Daten auf Polynomebene, um die Generalisierung abzuschließen. Dies lässt sich beim menschlichen beruflichen Lernen beobachten: Wenn eine Person kein Domänenexperte ist, benötigt sie exponentielle Mengen an Daten, um Domänenwissen zu erlernen Datenniveau bringt von selbst neue Inspiration und Wissen hervor.

2.2 Den Zwischenprozess umkehren

Nachdem Sie klar über den Grenzprozess nachgedacht haben, können Sie den Zwischenprozess vom Grenzzustand aus umkehren. Wenn wir beispielsweise das Eingabefeld vergrößern möchten:

Wenn Sie das Eingabefeld des Modells von Tausend auf Millionen vergrößern möchten, müssen Sie dies möglicherweise nur tun. erhöhen Geben Sie die Anzahl der Grafikkarten an , dies kann durch Optimierung des Videospeichers erreicht werden.
Wenn Sie das Eingabefeld weiter von der Größe 10.000 auf die Größe 100.000 vergrößern möchten, benötigen Sie möglicherweise lineare Aufmerksamkeit ^[10]
Methode, da das Hinzufügen von Videospeicher zu diesem Zeitpunkt nicht in der Lage sein sollte, den quadratischen Anstieg des Aufmerksamkeitsberechnungsvolumens mit der Länge des Eingabefelds zu unterstützen.
Wenn Sie das Eingabefeld weiter von einhunderttausend auf eine Million vergrößern möchten, benötigen Sie möglicherweise rekursive Codierung ^[11] Methode und erhöhen Langzeitgedächtnis ^[12] Methode, da die lineare Aufmerksamkeit zu diesem Zeitpunkt möglicherweise nicht in der Lage ist, das Wachstum des Videogedächtnisses zu unterstützen.

Auf diese Weise können wir ableiten, welche Technologien für die Skalierung in den verschiedenen Phasen benötigt werden. Die obige Analyse gilt nicht nur für die Länge des Eingabefelds, sondern auch für den Skalierungsprozess anderer Faktoren.

Auf diese Weise können wir eine klare technische Roadmap für jede Zwischenstufevon der aktuellen Technologie bis zur Skalierungsgrenze erhalten.

2.3 Produktisierung gemäß dem Modellentwicklungsprozess

Modelle entwickeln sich ständig weiter, aber die Produktisierung muss nicht warten, bis das endgültige Modell fertiggestellt ist – immer dann, wenn eine große Version des Modells iteriert wird, kann dies geschehen produziert werden. Nehmen Sie als Beispiel den Produktisierungsprozess von OpenAI:

Im Jahr 2020 wurde das GPT 3-Training der ersten Generation abgeschlossen und die OpenAI-API geöffnet^[13]
Im Jahr 2021 wurde die erste Generation Das Codex-Training wurde abgeschlossen und Github Copilot wurde geöffnet^[14]
Im Jahr 2022 ist das GPT-3.5-Training abgeschlossen, die Dialogdaten werden in ChatGPT verfeinert und dann veröffentlicht

Das ist in zu sehen Mit jeder wichtigen Version in der Zwischenphase werden die Fähigkeiten des Modells verbessert und es wird die Möglichkeit einer Produktisierung geben.

Noch wichtiger ist, dass Sie sich während der Produktisierungsphase an den Markt anpassen können, indem Sie den Modellentwicklungsprozess verfolgen und ihn in die Produktion umsetzen. Lernen Sie die Organisationsstruktur von OpenAI kennen, um die Modellentwicklung selbst zu fördern. Die Produktisierung kann jedoch auf den Merkmalen des lokalen Marktes basieren. Dieser Ansatz ermöglicht es uns möglicherweise, aus den fortgeschrittenen Erfahrungen von OpenAI zu lernen und gleichzeitig das Problem der Akklimatisierung zu vermeiden.

3. Der Punkt, an dem künstliche Intelligenz den Menschen deutlich übertrifft

Bisher haben wir die Notwendigkeit diskutiert, das Modell aus der Perspektive der Modellentwicklung zu analysieren und extremes Denken zu verwenden, um die Entwicklung des Modells zu diskutieren. Zu den Punkten, die in dieser Phase sofort verbessert werden können, gehören die Länge des Eingabefelds, größere Modelle und Daten, multimodale Daten und der Spezialisierungsgrad des Modells. Lassen Sie uns nun einen längeren Blickwinkel werfen und darüber nachdenken, wie das Modell in einem größeren Zeit- und Raumbereich noch weiter an seine Grenzen gebracht werden kann. Wir besprechen:

Parallele Wahrnehmung: Für einen menschlichen Forscher ist es bereits die Grenze, vier oder fünf Artikel gleichzeitig nacheinander zu lesen, aber nachdem das Modelleingabefeld länger wird, können einhundert Artikel gleichzeitig parallel gelesen werden kurze Zeit. Das bedeutet, dass die Fähigkeit des Modells, externe Informationen wahrzunehmen, die des Menschen um eine Größenordnung übertrifft.
Gedächtnisvererbung: Im Verlauf der menschlichen Evolution erben Nachkommen nur die Gene des Elternteils, nicht jedoch das Gedächtnis des Elternteils, was bedeutet, dass jede Fortpflanzung im Evolutionsprozess neu gestartet werden muss Das Modell In kann der Nachkomme den Speicher des Elternteils erben, und der Grad dieser Vererbung ist steuerbar: Wir können den Nachkommen so einstellen, dass er 100 %, 50 %, 20 % des Speichers erbt, oder den Speicher löschen, was bedeutet Die Erfahrung und Fähigkeiten der Eltern können kontinuierlich akkumuliert werden
Beschleunigungszeit: Die Geschwindigkeit, mit der Menschen miteinander kommunizieren, wird durch die physische Geschwindigkeit der menschlichen Sprache und die Geschwindigkeit, mit der Modelle miteinander kommunizieren, begrenzt kann viel schneller sein als Menschen, was bedeutet, dass Modelle Probleme lösen können, indem sie miteinander kommunizieren. Das Problem, dass menschliche Daten linear mit der Zeit wachsen, ist durch die physikalische Zeit begrenzt, und die Entwicklung von Modellen kann mehrere Größenordnungen umfassen Größenordnung schneller als die physische Zeit des Menschen, was bedeutet, dass der Fortschritt von Modellen viel schneller sein kann als der von Menschen.
Solange das Gewicht des Modells nicht verloren geht, kann es sich weiterentwickelnAus dieser Perspektive ist es nicht unvorstellbar, dass künstliche Intelligenz den Menschen übertrifft. Dies führt zur nächsten Frage:

Wie kann man eine starke künstliche Intelligenz kontrollieren, die die des Menschen bei weitem übertrifft?

Dieses Problem möchte die Alignment-Technologie wirklich lösen.

4. Ausrichtung

Zum jetzigen Zeitpunkt übertreffen die Fähigkeiten des Modells, außer dass AlphaGo die stärksten Menschen in Go übertrifft, andere KIs die stärksten Menschen nicht (ChatGPT hat jedoch möglicherweise die stärksten Menschen in den Geisteswissenschaften übertroffen) 95 % der Menschheit, und es wächst weiter). Wenn das Modell den Menschen nicht übertroffen hat, besteht die Aufgabe von Alignment darin, das Modell an die menschlichen Werte und Erwartungen anzupassen. Nachdem sich das Modell jedoch weiterentwickelt hat, um die Menschen zu übertreffen, besteht die Aufgabe von Alignment darin, Wege zu finden, intelligente Agenten zu steuern, die diese weit übertreffen Menschen.

4.1 Ausrichtung als Methode zur Steuerung intelligenter Agenten weit über den Menschen hinaus

Eine offensichtliche Frage ist: Kann die KI, nachdem sie den Menschen übertrifft, durch menschliches Feedback noch stärker/eingeschränkter gemacht werden? Ist es zu diesem Zeitpunkt außer Kontrolle?

Auch wenn das Modell den Menschen weit überlegen ist, können wir es dennoch kontrollieren. Ein Beispiel hierfür ist die Beziehung zwischen

Athleten und Trainern

: Goldmedaillen-Athleten sind bereits die stärksten Menschen in ihrer Richtung. , aber das bedeutet nicht, dass der Trainer ihn nicht trainieren kann. Im Gegenteil: Auch wenn der Trainer nicht so gut ist wie der Sportler, kann er den Sportler durch verschiedene Feedback-Mechanismen dennoch stärker und disziplinierter machen. In ähnlicher Weise kann die Beziehung zwischen Menschen und starker künstlicher Intelligenz zur Beziehung zwischen Sportlern und Trainern in der mittleren und späteren Phase der KI-Entwicklung werden. Zu diesem Zeitpunkt besteht die Fähigkeit, die Menschen benötigen, nicht darin, ein Ziel zu erreichen, sondern darin, sich ein gutes Ziel zu setzen und dann zu messen, ob die Maschine das Ziel gut genug erreicht hat, und Verbesserungsvorschläge zu machen.

Die Forschung in dieser Richtung ist noch sehr vorläufig. Der Name dieser neuen Disziplin heißt Scalable Oversight4.2 Ausrichtung und Organisationsstruktur

Intelligenz müssen nicht nur Menschen und KI aufeinander abgestimmt sein, sondern auch Mensch und Mensch müssen stark aufeinander abgestimmt sein. Aus Sicht der Organisationsstruktur umfasst die Ausrichtung Folgendes:

Alignment zwischen dem Pretraining-Team und dem Instruktionstuning – Alignment-Team : Die beiden sollten ein gemeinsamer iterativer Prozess sein, der das Basismodell kontinuierlich skaliert, und das Alignment-Team führt die Instruktionsoptimierung für das Basismodell durch. Während der Verwendung Die erhaltenen Ergebnisse leiten umgekehrt die Richtung des Pretraning-Teams.
Abstimmung zwischen dem Pretraining/Alignment-Team und dem Scaling/Data-Team: Scaling ist für die Vorbereitung der Infrastruktur für Pretraining/Alignment verantwortlich, und Data ist für die Vorbereitung hochwertiger Daten und menschlicher Feedbackdaten verantwortlich.
Ausrichtung von Startups und VCs: AGI ist eine schwierige Sache, die langfristige Investitionen erfordert und von Menschen in allen Bereichen genügend Geduld und eine ausreichend hohe Vision erfordert. Die Logik, heißes Geld zu verbrennen und dann die Produktentwicklung voranzutreiben und dann den Markt zu besetzen, sollte im Zeitalter großer Modelle nicht mehr existieren. Spiele mit großen Modellen erfordern von ihren Spielern eine ausreichend hohe Vision und Struktur. Die Weiterentwicklung des Modells wird es Menschen ermöglichen, die geduldig genug sind und hart arbeiten, auf lange Sicht reiche Belohnungen zu erhalten Kurzfristige Verfolgungsangriffe können immer wieder abgewehrt werden. 5. Fazit Zu dieser Zeit bestand die sogenannte Textstilübertragung darin, die Stimmungsklassifizierung des Satzes zu ändern, was als vollständige Übertragung angesehen wurde. Im Jahr 2018 habe ich viel Zeit damit verbracht, zu untersuchen, wie das Modell den Stil von Sätzen aus der Perspektive der Satzstruktur modifizieren kann. Ich dachte einmal fälschlicherweise, dass eine Stilkonvertierung fast unmöglich sei. Jetzt macht ChatGPT die Stilkonvertierung sehr einfach. Aufgaben, die früher unmöglich schienen, Dinge, die früher äußerst schwierig waren, können jetzt mit großen Sprachmodellen ganz einfach gelöst werden. Im Laufe des Jahres 2022 habe ich alle Versionsiterationen von GPT-3 bis GPT-3.5[11]

Die Hirse wird abgetrennt, die Reiskeimlinge wachsen. Das Tempo ist langsam und zaghaft und die Mitte bebt. Die Hirse wird abgetrennt, die Ähren werden abgetrennt. Wenn man mit großen Schritten vorwärts geht, ist die Mitte wie ein Rausch.

———— „Das Buch der Lieder·Mili“

Das obige ist der detaillierte Inhalt vonWer kann eine chinesische Version von ChatGPT erstellen? Wie geht das?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!