16 Milliarden Parameter, zahlreiche neue Funktionen, Fudan MOSS ist Open Source

Im Februar dieses Jahres berichtete Machine Heart über die Nachricht, dass die Fudan-Universität die chinesische Version von ChatGPT eingeführt hat (siehe „Fudan veröffentlicht die chinesische Version von ChatGPT: MOSS beginnt mit Tests und trifft auf heiße Suchanfragen, die Server sind überfüllt“) ), was für großes Aufsehen sorgte. Damals sagte Professor Qiu Xipeng, dass Moss im April als Open Source verfügbar sein würde.

Gestern kam wirklich die Open-Source-Version von Moss.

Projektadresse: https://github.com/OpenLMLab/MOSS

MOSS ist ein Open-Source-Konversationssprachenmodell, das die Zweisprachigkeit von Chinesisch und Englisch sowie mehrere Plug-Ins unterstützt, aber die Anzahl der Parameter ist viel geringer als bei ChatGPT. Nach v0.0.2 passte das Team es weiter an und brachte MOSS v0.0.3 auf den Markt, die aktuelle Open-Source-Version. Im Vergleich zu früheren Versionen wurden auch die Funktionen in vielerlei Hinsicht aktualisiert.

Im ersten Test ähnelten die Grundfunktionen von MOSS denen von ChatGPT. Es kann verschiedene Aufgaben zur Verarbeitung natürlicher Sprache gemäß den vom Benutzer eingegebenen Anweisungen, einschließlich Text, ausführen Generierung, Textzusammenfassung, Übersetzung, Codegenerierung, Smalltalk und mehr.

Nach der offenen Beta steigerte das Team das Vortraining des chinesischen Korpus weiter: „Bisher wurde das Basissprachenmodell von MOSS 003 ausgeführt.“ 100 Milliarden chinesische Trainingstokens, die Gesamtzahl der Trainingstokens erreicht 700 Milliarden, was auch etwa 300 Milliarden Codes enthält Benutzer in der realen chinesischen Welt unterscheiden sich erheblich von der im OpenAI InstructGPT-Papier offenbarten Benutzeraufforderungsverteilung (dies hängt nicht nur mit den Unterschieden in den Ländern zusammen, aus denen Benutzer kommen, sondern auch mit dem Zeitpunkt, zu dem das Produkt eingeführt wird). . Die von frühen Produkten gesammelten Daten enthalten eine große Menge an kontroversen und testenden Eingaben. Daher haben wir diesen Teil der realen Daten als Ausgangsmaterial für die Neugenerierung von etwa 1,1 Millionen regulären Konversationsdaten verwendet, die detailliertere Daten zur Nützlichkeit und eine umfassendere Unbedenklichkeit abdecken Daten.

#🎜 🎜#Derzeit hat das Team drei Modelle hochgeladen: moss-moon-003-base, moss-moon-003-sft und moss-moon-003-sft-plugin auf HuggingFace. Zukünftig werden drei weitere Modelle Open Source sein.

Laut Projekthomepage verfügt das Moos-Mond-Serienmodell über 16 Milliarden Parameter und kann auf einem verarbeitet werden Einzelskala mit FP16-Genauigkeit. Es kann auf einer A100/A800- oder zwei 3090-Grafikkarte und auf einer einzelnen 3090-Grafikkarte mit INT4/8-Präzision ausgeführt werden.

Das Team erklärte außerdem, dass MOSS aufgrund der geringen Anzahl von Modellparametern und des autoregressiven Generierungsparadigmas immer noch irreführende Antworten generieren kann, die sachliche Fehler enthalten oder Voreingenommenheit/Diskriminierung enthalten. Schädlich Bitte achten Sie darauf, von MOSS generierte Inhalte zu identifizieren und zu verwenden und keine schädlichen, von MOSS generierten Inhalte im Internet zu verbreiten.

Neue Funktionen

Das Team hat etwa 300.000 Plug-in-erweiterte Konversationsdaten erstellt, darunter Suchmaschinen, Vincent-Diagramme, Taschenrechner, Gleichungslöser usw. Das nächste Team wird die Verwendung der Plug-in-Version von MOSS auf GitHub bekannt geben.

MOSS v0.0.3 hat jetzt die Möglichkeit eingeführt, mehrere Plugins zu verwenden.

Das folgende Bild zeigt die Möglichkeit, eine Suchmaschine aufzurufen:

#🎜 🎜#

Projektautor Sun Tianxiang fügte hinzu, dass die Fähigkeit von MOSS 003, die Plug-in-Aktivierung zu unterstützen, durch Metaanweisungen gesteuert wird, ähnlich der Systemeingabeaufforderung in gpt-3.5 -Turbo. „Da es vom Modell gesteuert wird, kann keine 100-prozentige Kontrollrate garantiert werden, und es gibt immer noch einige Mängel, wie z. B. ungenaue Aufrufe mehrfach ausgewählter Plug-Ins und Plug-Ins, die miteinander kämpfen. Wir entwickeln in Kürze neue Modelle.“ wie möglich, um diese Probleme zu lindern 🎜#

git clone https://github.com/OpenLMLab/MOSS.gitcd MOSS

Conda-Umgebung erstellen:

conda create --name moss pythnotallow=3.8
conda activate moss

pip install -r requirements.txt

Gemäß der Vereinbarung kann Open Source MOSS für kommerzielle Zwecke genutzt werden:

#🎜🎜 ##🎜🎜 #Darüber hinaus können Entwickler MOSS-Dienste auch über API aufrufen. Das Team erwägt die Bereitstellung von Diensten über API-Schnittstellen basierend auf dem aktuellen Dienstdruck. Informationen zum Schnittstellenformat finden Sie unter: https://. github.com/OpenLMLab/MOSS/blob/ main/moss_api.pdf

Derzeit gibt es Entwickler, die auf Open-Source-Inhalten basieren, beispielsweise Video-Fragen und Antworten über VideoChat.

Das obige ist der detaillierte Inhalt von16 Milliarden Parameter, zahlreiche neue Funktionen, Fudan MOSS ist Open Source. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!