Google a annoncé une nouvelle génération de supercalculateur IA, affirmant qu'il est plus rapide et plus économe en énergie que le NVIDIA A100

Nouvelles le 5 avril, heure locale mardi, Google d'Alphabet a divulgué de nouveaux détails, montrant un superordinateur utilisé pour entraîner des modèles d'intelligence artificielle, affirmant qu'il est plus puissant que le système de la puce A100 de Nvidia. Plus rapide et plus énergétique efficace.

Google a conçu ses propres puces personnalisées appelées Tensor Processing Unit (TPU) et utilise ces puces dans plus de 90 % des travaux de formation sur l'intelligence artificielle. Ce processus entraîne les données via un modèle pour améliorer leur utilité dans des tâches telles que la réponse textuelle humaine ou la génération d'images.

Actuellement, Google TPU est entré dans la quatrième génération. Google a publié mardi un article scientifique détaillant comment il utilise des commutateurs optiques personnalisés développés pour connecter plus de 4 000 puces à un supercalculateur.

Pour les entreprises qui construisent des supercalculateurs d'IA, l'amélioration de ces connexions est devenue un point clé de la concurrence, car les modèles de langage dits à grande échelle qui pilotent ceux de Google deviennent trop volumineux pour être stockés sur une seule puce comme celle de Bard ou d'OpenAI. ChatGPT.

Ces modèles doivent être répartis sur des milliers de puces, qui travaillent ensuite ensemble pendant des semaines ou plus pour entraîner le modèle. Le modèle PaLM de Google, le plus grand modèle de langage rendu public à ce jour, a été formé pendant 50 jours répartis sur deux superordinateurs de 4 000 puces.

Google affirme que son supercalculateur peut reconfigurer facilement et dynamiquement les connexions entre les puces, aidant ainsi à éviter les pannes et à optimiser les performances.

"La commutation de circuits nous permet de contourner facilement les composants défaillants", ont écrit Norm Jouppi, chercheur principal chez Google, et David Patterson, ingénieur émérite chez Google, dans un article de blog sur le système. "Cette flexibilité nous permet même de modifier la topologie du réseau d'interconnexion des supercalculateurs pour accélérer les performances des modèles ML (apprentissage automatique)."

Bien que Google n'ait pas divulgué les détails de ses supercalculateurs jusqu'à présent, il n'a pas divulgué les détails de ceux-ci. ses supercalculateurs fonctionnent depuis 2020 dans un centre de données du comté de Mayes, en Oklahoma. Google a déclaré que la startup Midjourney avait utilisé le système pour entraîner son modèle, qui peut générer de nouvelles images après avoir reçu quelques mots de texte.

Google a déclaré dans le journal que son supercalculateur est 1,7 fois plus rapide et 1,9 fois plus économe en énergie qu'un système basé sur la puce Nvidia A100 par rapport aux systèmes de même taille. Il est entendu que la puce A100 a été lancée avant le TPU de quatrième génération.

Google a déclaré qu'il n'avait pas comparé le TPU de quatrième génération avec la puce phare H100 actuelle de Nvidia, car le H100 a été lancé après l'application de cette puce par Google et utilise une technologie plus récente.

Google a laissé entendre qu'il développait un nouveau TPU qui concurrencerait le Nvidia H100, mais n'a pas fourni de détails. Jouppi a déclaré aux médias que Google dispose de « suffisamment de réserves de puces futures ».

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!