Diese Seite berichtete am 19. August, dass Version 1.2 von Moores Thread „KUAE Intelligent Computing Cluster“ offiziell veröffentlicht wurde. Diese Version optimiert die Vollständigkeit der Software- und Hardwareebenen, unterstützt 64K-Langtext und fügt eine vollständige Palette von LLaMA2-Großmodellen, Baichuan, Yayi, Qwen2, Mixtral (MoE 8x7B) und anderen Modellen hinzu.
![摩尔线程“夸娥智算集群 KUAE” 1.2 版本发布:支持 64K 长文本、新增 LLaMA2 全系列大模型等](https://img.php.cn/upload/article/000/000/000/172411036623962.gif)
Inhalt aktualisieren:
MFU-Verbesserung
- Durch die Verwendung des Kilocard-Clusters zum Trainieren des 100-Milliarden-Modells erhöhte sich die MFU um 10 %.
- Die MFU des dichten Modellclustertrainings erreicht bis zu 55 %.
Flash Attention2-Optimierung
- Integrieren Sie die optimierte Flash Attention2-Technologie der MUSA SDK-Plattform, um die Trainingseffizienz großer Modelle und die Ressourcennutzung zu verbessern.
64K-Langtextunterstützung
- Verbessern Sie die Unterstützung für das Training großer Langtextmodelle und optimieren Sie die Fähigkeit, Langtextverständnis- und Generierungsaufgaben zu bewältigen.
Unterstützt das hybride Expertenmodell MoE
- All2All-Optimierung, optimiert Matrixoperationen unter verschiedenen Formen für muDNN-Operatoren und unterstützt das Training großer MoE-Modelle.
Training an Haltepunkten fortsetzen
- Verbessern Sie die Lese- und Schreibleistung an Kontrollpunkten und verbessern Sie die Trainingseffizienz.
DeepSpeed optimieren
- Passen Sie DeepSpeed und Ulysses an Moore-Thread-GPU-Cluster an, um die Unterstützung für Langtexttraining zu verbessern.
- Geeignet für viele große Modelle im In- und Ausland.
Verbesserte Stabilität
- Ausgereifte Software und Hardware für 15 aufeinanderfolgende Tage problemloses Training.
- Einführung der KUAE Aegis-Zuverlässigkeitsfunktion zur Stärkung der Überwachungs-, automatischen Diagnose- und Fehlerbeseitigungsfunktionen.
Visualisierung/Beobachtbarkeit
- Einführung des PerfSight-Leistungsüberwachungssystems zur Anzeige von Ressourcenverbrauch und Leistungsdaten während des Trainingsprozesses in Echtzeit.
Neue große Modelle zur integrierten Modellbibliothek hinzugefügt
- LLaMA2-Vollserie, Baichuan, Yayi, Qwen2, Mixtral (MoE 8x7B) und andere Modelle hinzugefügt.
Das obige ist der detaillierte Inhalt vonMoore Thread „Kua'e Intelligent Computing Cluster KUAE' Version 1.2 veröffentlicht: Unterstützt 64K-Langtext, fügt die vollständige LLaMA2-Serie großer Modelle usw. hinzu.. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!