揭示Nvidia的「黄氏定律」时代:10年内GPU AI推理性能增长1000倍

PHPz
PHPz 转载
2023-10-08 20:21:14 314浏览

当人们争论摩尔定律是否已经失效时,最近NVIDIA官方发表了一篇与「黄氏定律」相关的技术文章。该文章不再讨论晶体管数量,而是认为在未来十年内,单芯片的AI推理性能和效率将提高1000倍以上

揭示Nvidia的「黄氏定律」时代:10年内GPU AI推理性能增长1000倍

摩尔定律在过去一直主导着科技业。NVIDIA公司首席执行长黄仁勋(Jensen Huang)曾多次表示,摩尔定律正在「放缓」,它的概念已经开始过时。尽管NVIDIA在过去十年中将GPU从28纳米迁移到了5纳米半导体节点,但该技术仅占总收益的2.5倍

NVIDIA公司首席科学家比尔-达利(Bill Dally)在一篇文章中澄清说,NVIDIA对下一代技术的态度是围绕「黄氏定律」展开的。

揭示Nvidia的「黄氏定律」时代:10年内GPU AI推理性能增长1000倍

何谓黄氏定律?

所谓「黄氏定律(Huang's Law)」的由来,NVIDIA声称并非他们自己发明的,这一术语源自IEEE Spectrum的一篇报导,后来被多家媒体所熟知。NVIDIA最近在其产品中实施的概念确实很有趣,它可能是打开行业未来之门的钥匙。

比尔-达利(Bill Dally)在「热芯片2023」的演讲中指出,NVIDIA在过去十年中经历了计算芯片性能惊人的1000倍增长。按照书本上的说法,这样的提升在摩尔定律的框架下是不可能实现的,而制程的缩减也不会对这一数字产生任何影响。现在,你可能会问我如何实现这一壮举,我的回答是,我们优先考虑了单个「堆栈」内的创新,而不是芯片开发

揭示Nvidia的「黄氏定律」时代:10年内GPU AI推理性能增长1000倍

为了支持这种说法,NVIDIA公司在其文章中表示,引入「Hopper架构」是显示巨大性能数据的决定性因素,因为它们使用了「8位和16位浮点和整数数学」。更进一步,「安培架构」的推出提高了统计学习的性能,使计算工作负载的性能提升了2倍。为了将各项技术串联起来,NVIDIA的「NVLINK」技术派上了用场,最终实现了x1000的突破。

揭示Nvidia的「黄氏定律」时代:10年内GPU AI推理性能增长1000倍

NVIDIA在文内提到,在整个10年期间,公司从28纳米制程转换到5纳米制程,性能仅提高了2.5倍。这违背了摩尔定律,即芯片每「缩小」一次,性能就会同比提高2倍。达利表示,NVIDIA的未来取决于「黄氏定律」,而「黄氏定律」会带来一些行业进步的机会。

揭示Nvidia的「黄氏定律」时代:10年内GPU AI推理性能增长1000倍

「现在是做计算机工程师的一个有趣的时代。」达利表示,「行业形势确实验证了这一事实。可以说,计算机行业正处于一个决定性的时刻,而这一切都取决于公司如何看待芯片和运算的发展」。

以上就是揭示Nvidia的「黄氏定律」时代:10年内GPU AI推理性能增长1000倍的详细内容,更多请关注php中文网其它相关文章!

声明:本文转载于:搜狐,如有侵犯,请联系admin@php.cn删除