Huawei lance de nouveaux produits de stockage IA à l'ère des grands modèles

Le 14 juillet, Huawei a lancé un nouveau produit de stockage d'IA pour l'ère des grands modèles, fournissant des solutions de stockage optimales pour la formation de modèles de base, la formation de modèles industriels ainsi que la formation et le raisonnement de modèles de scénarios segmentés, libérant ainsi un nouvel élan pour l'IA.

Dans le processus de développement et de mise en œuvre d'applications de grands modèles, les entreprises sont confrontées à quatre défis majeurs :

Tout d'abord, la préparation des données prend beaucoup de temps, les sources de données sont dispersées et la collecte est lente. Il faut environ 10 jours pour prétraiter 100 To de données. Deuxièmement, les grands modèles multimodaux utilisent des textes et des images massifs comme ensembles d'entraînement. et la vitesse de chargement actuelle des petits fichiers massifs est insuffisante de 100 Mo/s, l'efficacité de chargement de l'ensemble de formation est faible ; troisièmement, les paramètres des grands modèles sont fréquemment ajustés et la plate-forme de formation est interrompue une fois tous les 2 jours. en moyenne, nécessitant la reprise de l'entraînement du mécanisme Checkpoint, et la récupération après échec prend plus d'une journée ; enfin, les grands modèles ont un seuil de mise en œuvre du modèle élevé, la construction du système est compliquée, la planification des ressources est difficile et le taux d'utilisation des ressources GPU est généralement élevé. moins de 40 %.

Huawei se conforme à la tendance de développement de l'IA à l'ère des grands modèles et lance le stockage par lac de données d'apprentissage profond OceanStor A310 et la machine tout-en-un de formation/poussée FusionCube A3000 hyper-convergée pour les applications de grands modèles dans différents secteurs et scénarios.

Zhou Yuefeng, président de la gamme de produits de stockage de données Huawei

Le stockage de lacs de données d'apprentissage en profondeur OceanStor A310 est orienté vers les scénarios de lacs de données de grands modèles de base/industriels et réalise une gestion massive de données par processus complet d'IA, depuis la collecte et le prétraitement des données jusqu'aux applications de formation et d'inférence de modèles.

L'OceanStor A310 monoframe 5U prend en charge la bande passante la plus élevée du secteur, soit 400 Go/s, et les performances les plus élevées de 12 millions d'IOPS, et peut être étendu linéairement jusqu'à 4 096 nœuds pour obtenir une interopérabilité sans perte avec plusieurs protocoles. Le système de fichiers mondial GFS réalise un tissage intelligent de données interrégionales et simplifie le processus de collecte de données ; il réalise un prétraitement des données proches grâce à l'informatique proche de la mémoire, réduit le mouvement des données et améliore l'efficacité du prétraitement de 30 %.

La machine tout-en-un hyperconvergée de formation/push FusionCube A3000 est conçue pour les scénarios de formation/inférence de grands modèles industriels et pour des dizaines de milliards d'applications de modèles. Elle intègre des nœuds de stockage hautes performances OceanStor A300, des nœuds de formation/push et une commutation. équipement, logiciel de plate-forme d'IA, gestion et exploitation. Le logiciel offre aux grands partenaires modèles une expérience de déploiement clé en main et permet une livraison unique. Il fonctionne immédiatement et peut être déployé en 2 heures. Afin de s'adapter aux besoins de modèles de différentes tailles, les nœuds de formation et les nœuds de stockage peuvent être étendus indépendamment horizontalement. Dans le même temps, FusionCube A3000 utilise des conteneurs hautes performances pour partager le GPU pour plusieurs tâches de formation et d'inférence de modèles, augmentant ainsi l'utilisation des ressources de 40 % à plus de 70 %. Le FusionCube A3000 prend en charge deux modèles commerciaux flexibles, notamment la solution unique Ascend de Huawei et la solution unique d'un partenaire tiers pour les logiciels de plateforme informatique ouverte, de réseau et d'IA.

Zhou Yuefeng a déclaré qu'à l'ère du big data, les données déterminent le niveau d'intelligence artificielle. En tant que support de données, le stockage des données est devenu une infrastructure clé pour les grands modèles d’IA. Huawei Data Storage continuera d'innover à l'avenir, de fournir des solutions et des produits diversifiés pour l'ère des grands modèles d'IA et de travailler avec des partenaires pour promouvoir l'autonomisation de l'IA dans divers secteurs. »

Le contenu de ce site Web (y compris, mais sans s'y limiter, le texte, les images, l'audio et la vidéo), à l'exception de la réimpression, est la propriété de Times Online. La reproduction, la création de liens, la republication ou toute autre utilisation sont interdites sans l'autorisation d'un accord écrit. Toute personne violant la déclaration ci-dessus sera tenue responsable par ce site Web de sa responsabilité légale. Veuillez contacter M. Ding (news@time-weekly.com) pour obtenir l'autorisation de réimprimer ce site Web, si d'autres médias, sites Web ou individus souhaitent le réimprimer

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!