Selon les informations de ce site du 19 août, la version 1.2 du fil de discussion de Moore « KUAE Intelligent Computing Cluster » a été officiellement publiée. Cette version optimise l'exhaustivité des niveaux logiciels et matériels, prend en charge le texte long de 64 Ko, ajoute une gamme complète de grands modèles LLaMA2, Baichuan, Yayi, Qwen2, Mixtral (MoE 8x7B) et d'autres modèles.
![摩尔线程“夸娥智算集群 KUAE” 1.2 版本发布:支持 64K 长文本、新增 LLaMA2 全系列大模型等](https://img.php.cn/upload/article/000/000/000/172411036623962.gif)
Mise à jour du contenu :
Promotion MFU# #
En utilisant un cluster kilocard pour former un modèle de 100 milliards, le MFU a augmenté de 10 %.
- La formation en cluster modèle dense MFU atteint jusqu'à 55%.
Optimisation Flash Attention2
Optimisation de la plateforme SDK MUSA intégrée Flash Attention2 la technologie améliore l’efficacité de la formation des grands modèles et l’utilisation des ressources.
64K Prise en charge des textes longs
Grand modèle amélioré pour les textes longs Support de formation pour optimiser la capacité à gérer des tâches de compréhension et de génération de textes longs.
Prend en charge le modèle expert mixte MoE
All2All optimisé pour muDNN Le L'opérateur optimise les opérations matricielles sous différentes formes et prend en charge la formation des grands modèles du MoE.
Continuer l'entraînement au point d'arrêt
Améliorer les performances de lecture et d'écriture de Checkpoint , Améliorer l'efficacité de la formation.
Optimisation de DeepSpeed
DeepSpeed adapté au GPU Moore thread cluster Avec Ulysses, prise en charge améliorée de la formation sur les textes longs.
- Convient à de nombreux grands modèles au pays et à l'étranger.
Amélioration de la stabilité
Logiciel et matériel matures, atteignant une stabilité continue Formation aux pannes pendant 15 jours.
- Présentation de la fonction de fiabilité KUAE Aegis pour renforcer les capacités de surveillance, de diagnostic automatique et de récupération des pannes.
Visualisation/observabilité
Présentation du système de suivi des performances PerfSight, Affichage en temps réel de la consommation des ressources et des données de performances pendant l'entraînement.
Nouveau grand modèle ajouté à la bibliothèque de modèles intégrée
# #Ajout de la série complète LLaMA2, Baichuan, Yayi, Qwen2, Mixtral (MoE 8x7B) et d'autres modèles.
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!