Der Effekt kann 96 % des entsprechenden Modells von OpanAI erreichen, und das inländische Open-Source-KI-Sprachmodell TigerBot wird veröffentlicht

Laut Nachrichten vom 8. Juni wurde das inländische multimodale große Sprachmodell TigerBot kürzlich offiziell veröffentlicht, einschließlich zwei Versionen mit 7 Milliarden Parametern und 180 Milliarden Parametern. Es ist jetzt Open Source auf GitHub.

▲ Bildquelle GitHub-Seite von TigerBot

Es wird berichtet, dass die von TigerBot eingeführten Innovationen hauptsächlich in Folgendem liegen:

• Vorgeschlagene innovative Algorithmen, die Anweisungen zur Durchführung einer überwachten Feinabstimmung bereitstellen, um die Lernfähigkeit des Modells zu verbessern.
• Verwenden Sie Ensemble- und probabilistische Modellierungsmethoden, um kontrollierbare Fakten und Kreativität zu erreichen.
• Durchbrechen Sie die Gedächtnis- und Kommunikationsprobleme in Mainstream-Frameworks wie Deep-Speed ​​im Paralleltraining.

Darüber hinaus hat dieses Modell auch geeignetere Optimierungen vom Tokenizer bis zum Trainingsalgorithmus für die unregelmäßigere Verteilung der chinesischen Sprache vorgenommen.

Forscher Chen Ye sagte auf der offiziellen Website von Hubo Technology: „Dieses Modell kann mit nur einer kleinen Anzahl von Parametern schnell verstehen, welche Art von Fragen Menschen stellen.“ Laut der automatischen Auswertung des OpenAI InstructGPT-Papiers zum öffentlichen NLP-Datensatz , TigerBot-7B hat 96 % der Gesamtleistung des OpenAI-Modells gleicher Größe erreicht.“ Modell“ enthält der Open-Source-Code grundlegenden Trainings- und Inferenzcode, Quantisierungs- und Inferenzcode für das Dual-Card-Inferenz-180B-Modell. Die Daten umfassen 100 G Vortrainingsdaten und 1 G oder 1 Million Daten für die überwachte Feinabstimmung.

IT House-Freunde können die Open-Source-Projekte von GitHub hier finden

Das obige ist der detaillierte Inhalt vonDer Effekt kann 96 % des entsprechenden Modells von OpanAI erreichen, und das inländische Open-Source-KI-Sprachmodell TigerBot wird veröffentlicht. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!