英伟达发布AI芯片H200:性能飙升90%,Llama 2推理速度翻倍

王林
发布: 2023-11-14 12:09:54
转载
900 人浏览过

DoNews11月14日消息,英伟达北京时间13日发布了下一代人工智能超级计算机芯片,这些芯片将在深度学习和大型语言模型(LLM)方面发挥重要作用,比如 OpenAI 的 GPT-4。

英伟达发布AI芯片H200:性能飙升90%,Llama 2推理速度翻倍

新一代芯片相较于上一代有了显着的进步,将被广泛应用于数据中心和超级计算机,用于处理天气和气候预测、药物研发、量子计算等复杂任务

发布的关键产品是基于英伟达的“Hopper”架构的HGX H200 GPU,它是H100 GPU的继任者,并且是该公司首款采用HBM3e内存的芯片。 HBM3e内存具有更快的速度和更大的容量,因此非常适合大型语言模型的应用

英伟达表示:“借助HBM3e技术,英伟达H200内存速度达到每秒4.8TB,容量为141GB,几乎是A100的两倍,带宽也增加了2.4倍。”

在人工智能领域,英伟达宣称HGX H200在Llama 2(700亿参数LLM)上的推理速度比H100快了一倍。 HGX H200将提供4路和8路的配置,与H100系统中的软件和硬件兼容

它将适用于每一种类型的数据中心(本地、云、混合云和边缘),并由 Amazon Web Services、Google Cloud、Microsoft Azure 和 Oracle Cloud Infrastructure 等部署,将于 2024 年第二季度推出。

英伟达此次发布的另一个关键产品是GH200 Grace Hopper“超级芯片(superchip)”,其将HGX H200 GPU 和基于Arm 的英伟达Grace CPU 通过该公司的NVLink-C2C 互连结合起来,官方称其专为超级计算机设计,让“科学家和研究人员能够通过加速运行TB 级数据的复杂AI 和HPC 应用程序,来解决世界上最具挑战性的问题”。

GH200 将被用于“全球研究中心、系统制造商和云提供商的 40 多台 AI 超级计算机”,其中包括戴尔、Eviden、惠普企业(HPE)、联想、QCT 和 Supermicro。

值得注意的是,HPE 的 Cray EX2500 超级计算机将采用四路 GH200,可扩展到数万个 Grace Hopper 超级芯片节点

以上是英伟达发布AI芯片H200:性能飙升90%,Llama 2推理速度翻倍的详细内容。更多信息请关注PHP中文网其他相关文章!

来源:sohu.com
本站声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责声明 Sitemap
PHP中文网:公益在线PHP培训,帮助PHP学习者快速成长!