Sortie de la version 1.2 de Moore Thread « KUAE Intelligent Computing Cluster KUAE » : prend en charge le texte long de 64 Ko, ajoute la série complète LLaMA2 de grands modèles, etc.

Selon les informations de ce site du 19 août, la version 1.2 du fil de discussion de Moore « KUAE Intelligent Computing Cluster » a été officiellement publiée. Cette version optimise l'exhaustivité des niveaux logiciels et matériels, prend en charge le texte long de 64 Ko, ajoute une gamme complète de grands modèles LLaMA2, Baichuan, Yayi, Qwen2, Mixtral (MoE 8x7B) et d'autres modèles.

1. Promotion MFU# #

   En utilisant un cluster kilocard pour former un modèle de 100 milliards, le MFU a augmenté de 10 %.
   • La formation en cluster modèle dense MFU atteint jusqu'à 55%.

2. Optimisation Flash Attention2

   Optimisation de la plateforme SDK MUSA intégrée Flash Attention2 la technologie améliore l’efficacité de la formation des grands modèles et l’utilisation des ressources.

3. 64K Prise en charge des textes longs

   Grand modèle amélioré pour les textes longs Support de formation pour optimiser la capacité à gérer des tâches de compréhension et de génération de textes longs.

4. Prend en charge le modèle expert mixte MoE

   All2All optimisé pour muDNN Le L'opérateur optimise les opérations matricielles sous différentes formes et prend en charge la formation des grands modèles du MoE.

5. Continuer l'entraînement au point d'arrêt

   Améliorer les performances de lecture et d'écriture de Checkpoint , Améliorer l'efficacité de la formation.

6. Optimisation de DeepSpeed

   DeepSpeed adapté au GPU Moore thread cluster Avec Ulysses, prise en charge améliorée de la formation sur les textes longs.
   • Convient à de nombreux grands modèles au pays et à l'étranger.

7. Amélioration de la stabilité

   Logiciel et matériel matures, atteignant une stabilité continue Formation aux pannes pendant 15 jours.
   • Présentation de la fonction de fiabilité KUAE Aegis pour renforcer les capacités de surveillance, de diagnostic automatique et de récupération des pannes.

8. Visualisation/observabilité

   Présentation du système de suivi des performances PerfSight, Affichage en temps réel de la consommation des ressources et des données de performances pendant l'entraînement.

9. Nouveau grand modèle ajouté à la bibliothèque de modèles intégrée

   # #Ajout de la série complète LLaMA2, Baichuan, Yayi, Qwen2, Mixtral (MoE 8x7B) et d'autres modèles.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!