Comment maximiser les performances du GPU

La méthode par défaut pour accélérer un projet d'IA consiste à augmenter la taille de votre cluster GPU. Cependant, à mesure que l’offre de GPU devient de plus en plus limitée, les coûts deviennent de plus en plus élevés. Il est compréhensible que de nombreuses entreprises d’IA consacrent plus de 80 % des capitaux levés aux ressources informatiques. Les GPU sont la clé de l’infrastructure de l’IA et devraient bénéficier d’une part budgétaire aussi importante que possible. Cependant, en plus de ces coûts élevés, il existe d'autres moyens d'améliorer les performances du GPU qui doivent être pris en compte, et ils deviennent de plus en plus urgents

Développer un cluster GPU n'est pas une tâche facile, d'autant plus que l'expansion violente de l'intelligence artificielle générative conduit à une pénurie de GPU. Le GPU NVIDIA A100 a été l'un des premiers GPU concernés et est désormais extrêmement rare, certaines versions ayant des délais de livraison allant jusqu'à un an. Ces défis liés à la chaîne d’approvisionnement ont contraint de nombreuses personnes à considérer le H100 haut de gamme comme une alternative, mais évidemment à un prix plus élevé. Pour les entrepreneurs qui investissent dans leur propre infrastructure afin de créer la prochaine grande solution d'IA générative pour leur secteur, il est nécessaire d'exploiter jusqu'à la dernière goutte d'efficacité des GPU existants

Jetons un coup d'œil à la façon dont les entreprises adoptent Proposer des modifications à la conception du réseau et du stockage de l'infrastructure d'IA pour obtenir davantage d'investissements informatiques

Problèmes de données

Optimiser l'utilisation de l'infrastructure informatique existante est une approche importante. Afin de maximiser l'utilisation du GPU, le problème des vitesses de transfert de données lentes doit être résolu pour garantir que le GPU continue de fonctionner sous une charge élevée. Certains utilisateurs constatent une utilisation du GPU de seulement 20 %, ce qui est inacceptable. En conséquence, les équipes d'IA recherchent les meilleurs moyens de maximiser le retour sur leurs investissements en IA

Les GPU sont le moteur de l'IA. Tout comme un moteur de voiture a besoin d’essence pour fonctionner, un GPU a besoin de données pour effectuer des opérations. Si vous limitez le flux de données, vous limiterez les performances du GPU. Si le GPU n'est efficace qu'à 50 %, la productivité de l'équipe IA diminuera, le temps nécessaire pour réaliser un projet doublera et le retour sur investissement sera divisé par deux. Par conséquent, lors de la conception de l'infrastructure, il est important de garantir que le GPU peut fonctionner avec une efficacité maximale et fournir les performances de calcul attendues.

Il est important de noter que les serveurs DGX A100 et H100 disposent tous deux de 30 To de stockage interne. capacité. Cependant, étant donné que la taille moyenne des modèles est d'environ 150 To, cette capacité est insuffisante pour la plupart des modèles d'apprentissage profond. Par conséquent, un stockage de données externe supplémentaire est nécessaire pour fournir des données au GPU

Performances de stockage

Le stockage AI se compose généralement d'un serveur, d'un SSD NVMe et d'un logiciel de stockage, qui sont généralement regroupés dans un simple appareil. Tout comme les GPU sont optimisés pour traiter de grandes quantités de données en parallèle avec des dizaines de milliers de cœurs, le stockage doit également être performant. En intelligence artificielle, l'exigence de base en matière de stockage est de pouvoir stocker l'intégralité de l'ensemble de données et de transférer les données vers le GPU à la vitesse de ligne (c'est-à-dire la vitesse la plus rapide autorisée par le réseau) pour que le GPU continue de fonctionner efficacement et saturé. Rien de moins entraîne un gaspillage de ces ressources GPU très coûteuses et précieuses

Aide à optimiser les ressources GPU et à améliorer l'environnement global en fournissant des données à une vitesse qui peut suivre le rythme d'un cluster de 10 ou 15 serveurs GPU fonctionnant à pleine vitesse performances, tout en utilisant au mieux votre budget pour tirer le meilleur parti de l'ensemble de votre infrastructure

En fait, le défi est que les fournisseurs de stockage qui ne sont pas optimisés pour l'IA ont besoin de nombreux nœuds de calcul clients pour extraire toutes les performances du stockage . Si vous commencez avec un serveur GPU, vous aurez à votre tour besoin de nombreux nœuds de stockage pour atteindre les performances nécessaires à la mise en service d'un seul serveur GPU.

Contenu réécrit : ne faites pas confiance à tous les résultats de référence ; vous pouvez facilement obtenir plus de bande passante lorsque vous utilisez plusieurs serveurs GPU, mais l'IA repose sur le stockage et perdra toutes les performances chaque fois que cela sera nécessaire. Fourni à un seul nœud GPU. Restez fidèle au stockage qui peut offrir les performances ultra-élevées dont vous avez besoin, mais faites-le dans un seul nœud de stockage et soyez en mesure de fournir ces performances à un seul nœud GPU. Cela peut limiter la portée du marché, mais c'est une priorité lorsque vous démarrez votre projet d'IA

Bande passante réseau

La puissance de calcul de plus en plus puissante entraîne une demande croissante pour d’autres infrastructures d’intelligence artificielle. Les besoins en bande passante ont atteint de nouveaux sommets, étant capable de gérer les grandes quantités de données envoyées sur le réseau depuis les périphériques de stockage et traitées par les GPU chaque seconde. Les adaptateurs réseau (NIC) du périphérique de stockage se connectent aux commutateurs du réseau, qui se connectent aux adaptateurs à l'intérieur du serveur GPU. Les cartes réseau peuvent connecter le stockage directement aux cartes réseau sur 1 ou 2 serveurs GPU sans goulots d'étranglement si elles sont configurées correctement, garantissant que la bande passante est suffisamment élevée pour transmettre la charge de données maximale du stockage aux GPU pendant une période de temps prolongée. Le maintien de la saturation est essentiel et, dans de nombreux cas, le si nous ne le faisons pas, c’est la raison pour laquelle nous constatons une utilisation moindre du GPU.

Orchestration GPU

Une fois l'infrastructure en place, les outils d'orchestration et d'allocation GPU aideront grandement les équipes à assembler et allouer les ressources plus efficacement, à comprendre l'utilisation du GPU, à fournir un niveau plus élevé de contrôle des ressources, à réduire les goulots d'étranglement et à améliorer utilisation. Ces outils ne peuvent accomplir toutes ces tâches comme prévu que si l'infrastructure sous-jacente peut assurer le bon flux de données

Dans le domaine de l'intelligence artificielle, les données sont l'entrée clé. Par conséquent, le flash d'entreprise traditionnel n'est pas pertinent pour l'IA lorsqu'il est utilisé pour des applications critiques d'entreprise (par exemple, serveurs de base de données de contrôle des stocks, serveurs de messagerie, serveurs de sauvegarde). Ces solutions sont construites à l'aide d'anciens protocoles, et bien qu'elles aient été réutilisées pour l'IA, ces fondations héritées limitent leurs performances pour les charges de travail GPU et IA, font monter les prix et gaspillent de l'argent sur des fonctionnalités trop coûteuses et inutiles.

Avec le contexte mondial actuel Pénurie de GPU, associée au développement rapide du secteur de l'intelligence artificielle, trouver des moyens de maximiser les performances des GPU n'a jamais été aussi important, surtout à court terme. À mesure que les projets d'apprentissage profond prospèrent, ces méthodes deviennent plusieurs moyens clés de réduire les coûts et d'améliorer le rendement

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!