Moore Thread „Kua'e Intelligent Computing Cluster KUAE' Version 1.2 veröffentlicht: Unterstützt 64K-Langtext, fügt die vollständige LLaMA2-Serie großer Modelle usw. hinzu.

Diese Seite berichtete am 19. August, dass Version 1.2 von Moores Thread „KUAE Intelligent Computing Cluster“ offiziell veröffentlicht wurde. Diese Version optimiert die Vollständigkeit der Software- und Hardwareebenen, unterstützt 64K-Langtext und fügt eine vollständige Palette von LLaMA2-Großmodellen, Baichuan, Yayi, Qwen2, Mixtral (MoE 8x7B) und anderen Modellen hinzu.

1. MFU-Verbesserung

   • Durch die Verwendung des Kilocard-Clusters zum Trainieren des 100-Milliarden-Modells erhöhte sich die MFU um 10 %.
   • Die MFU des dichten Modellclustertrainings erreicht bis zu 55 %.

2. Flash Attention2-Optimierung

   • Integrieren Sie die optimierte Flash Attention2-Technologie der MUSA SDK-Plattform, um die Trainingseffizienz großer Modelle und die Ressourcennutzung zu verbessern.

3. 64K-Langtextunterstützung

   • Verbessern Sie die Unterstützung für das Training großer Langtextmodelle und optimieren Sie die Fähigkeit, Langtextverständnis- und Generierungsaufgaben zu bewältigen.

4. Unterstützt das hybride Expertenmodell MoE

   • All2All-Optimierung, optimiert Matrixoperationen unter verschiedenen Formen für muDNN-Operatoren und unterstützt das Training großer MoE-Modelle.

5. Training an Haltepunkten fortsetzen

   • Verbessern Sie die Lese- und Schreibleistung an Kontrollpunkten und verbessern Sie die Trainingseffizienz.

6. DeepSpeed optimieren

   • Passen Sie DeepSpeed und Ulysses an Moore-Thread-GPU-Cluster an, um die Unterstützung für Langtexttraining zu verbessern.
   • Geeignet für viele große Modelle im In- und Ausland.

7. Verbesserte Stabilität

   • Ausgereifte Software und Hardware für 15 aufeinanderfolgende Tage problemloses Training.
   • Einführung der KUAE Aegis-Zuverlässigkeitsfunktion zur Stärkung der Überwachungs-, automatischen Diagnose- und Fehlerbeseitigungsfunktionen.

8. Visualisierung/Beobachtbarkeit

   • Einführung des PerfSight-Leistungsüberwachungssystems zur Anzeige von Ressourcenverbrauch und Leistungsdaten während des Trainingsprozesses in Echtzeit.

9. Neue große Modelle zur integrierten Modellbibliothek hinzugefügt

   • LLaMA2-Vollserie, Baichuan, Yayi, Qwen2, Mixtral (MoE 8x7B) und andere Modelle hinzugefügt.

Das obige ist der detaillierte Inhalt vonMoore Thread „Kua'e Intelligent Computing Cluster KUAE' Version 1.2 veröffentlicht: Unterstützt 64K-Langtext, fügt die vollständige LLaMA2-Serie großer Modelle usw. hinzu.. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!