Révélation de l'ère de la « loi Huang » de Nvidia : les performances d'inférence de l'IA GPU sont multipliées par 1 000 en 10 ans

Alors que les gens se demandent si la loi de Moore a expiré, NVIDIA a récemment publié officiellement un article technique lié à la « loi de Huang ». L'article ne discute plus du nombre de transistors, mais estime qu'au cours des dix prochaines années, les performances et l'efficacité d'inférence de l'IA d'une seule puce augmenteront de plus de 1 000 fois

La loi de Moore a dominé l’industrie technologique dans le passé. Le PDG de NVIDIA, Jensen Huang, a déclaré à plusieurs reprises que la loi de Moore « ralentissait » et que son concept commençait à devenir obsolète. Bien que NVIDIA ait migré les GPU des nœuds semi-conducteurs de 28 nm vers 5 nm au cours de la dernière décennie, la technologie n'a représenté que 2,5 fois le chiffre d'affaires total

Le scientifique en chef de NVIDIA, Bill Dally, a précisé dans un article que l'attitude de NVIDIA à l'égard de la technologie de nouvelle génération tourne autour de la « loi de Huang ».

Qu’est-ce que la loi de Huang ?

À l'origine de la soi-disant « loi de Huang », NVIDIA affirme qu'elle ne l'a pas inventée elle-même. Ce terme provient d'un rapport de l'IEEE Spectrum et a ensuite été connu par de nombreux médias. Le concept que NVIDIA a récemment mis en œuvre dans ses produits est vraiment intéressant et pourrait être la clé pour débloquer l'avenir de l'industrie.

Bill Dally a souligné dans son discours au « Hot Chip 2023 » que NVIDIA a connu une étonnante multiplication par 1 000 des performances des puces informatiques au cours de la dernière décennie. Selon le livre, une telle amélioration est impossible à réaliser dans le cadre de la loi de Moore, et la réduction du processus n'aura aucun impact sur ce chiffre. Maintenant, vous pouvez me demander comment j'ai réussi cet exploit, et ma réponse est que nous donnons la priorité à l'innovation au sein d'une seule « pile » plutôt qu'au développement de puces

Pour étayer cette affirmation, NVIDIA a déclaré dans son article que l'introduction de « l'architecture Hopper » a été le facteur décisif pour afficher d'énormes chiffres de performances, car ils utilisent « des mathématiques à virgule flottante et entières de 8 bits et 16 bits ». De plus, l'introduction de « l'architecture Ampere » a amélioré les performances de l'apprentissage statistique, multipliant par 2 les performances des charges de travail informatiques. Afin de connecter diverses technologies entre elles, la technologie « NVLINK » de NVIDIA s'est avérée utile et a finalement permis de réaliser la percée x1000.

NVIDIA a mentionné dans l'article que pendant toute la période de 10 ans, la société est passée du processus de 28 nanomètres au processus de 5 nanomètres et que les performances n'ont augmenté que de 2,5 fois. Cela viole la loi de Moore, qui stipule que chaque fois qu'une puce « rétrécit », ses performances augmentent de 2 fois d'une année sur l'autre. Daly a déclaré que l'avenir de NVIDIA dépend de la « loi de Huang » et que la « loi de Huang » apportera des opportunités de progrès à l'industrie.

"C'est une période intéressante pour être ingénieur en informatique." Daly a déclaré : "La situation de l'industrie a vraiment vérifié ce fait. On peut dire que l'industrie informatique se trouve à un moment décisif, et tout dépend de la façon dont les entreprises pensent aux puces. et le développement de l'informatique".

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!