谷歌发布第五代AI芯片:加速AI模型的训练和运行速度提升5倍

王林
王林 转载
2023-09-15 16:49:05 354浏览

谷歌推出了第五代定制张量处理器(TPU)芯片TPU v5e,用于大型模型的训练和推理。这款新芯片使得训练和运行AI模型的速度提高了5倍。与上一代芯片相比,TPU v5e在每一美元的训练性能上提升了2倍,在每一美元的推理性能上提升了2.5倍

谷歌发布第五代AI芯片:加速AI模型的训练和运行速度提升5倍

谷歌的第五代定制张量处理器(TPU)芯片,即TPU v5e,被用于大型模型的训练和推理,从而使得训练和运行人工智能模型的速度提高了5倍

在旧金山举行的谷歌云年度会议Google Cloud Next上,谷歌发布了一款全新的人工智能芯片——第五代定制张量处理器(TPU)芯片TPU v5e,用于大规模模型的训练和推理。相较于上一代芯片,TPU v5e在每一美元的训练性能上提升了2倍,在每一美元的推理性能上提升了2.5倍

谷歌为神经网络设计了专用芯片TPU,通过优化可以加快机器学习模型的训练和推断速度。第一代TPU于2016年推出,第四代定制处理器TPU于2021年发布,并于2022年面向开发者提供。云TPU是谷歌云服务的一项功能,适用于需要进行大量矩阵计算的大型复杂深度学习模型,例如大语言模型、蛋白质折叠建模和药物研发等。使用云TPU可以帮助企业在实现AI工作负载时节省资金和时间

谷歌云推出了TPU v5e,专为中大型模型的训练和推理需求而设计。该版本的芯片注重效率,与上一代的TPU v4相比,每一美元的训练性能提高了2倍,每一美元的推理性能提高了2.5倍,而成本不到TPU v4的一半。这使得更多的组织能够训练和部署更大更复杂的人工智能模型,而无需牺牲性能或灵活性。谷歌云将TPU v5e描述为“超级计算机”,最多支持256个芯片的互连,总带宽超过400 Tb/s,并提供八种不同的虚拟机配置,以满足各种大型语言模型和生成式人工智能模型的需求。根据速度基准测试,使用TPU v5e训练和运行人工智能模型的速度提高了5倍

据科技媒体TechCrunch报道,谷歌云计算和机器学习基础设施副总裁兼总经理马克·洛迈尔(Mark Lohmeyer) 表示,“这是迄今为止最具成本效益且易于访问的云TPU。” 洛迈尔强调,谷歌云确保用户能够将其TPU集群扩展到以前无法达到的水平,让客户能够轻松扩展他们的人工智能模型,超越单个TPU集群的物理边界。也就是说,单个大型人工智能工作负载可以跨越多个物理TPU集群,扩展到数万个芯片,并且经济高效。“在云GPU和云TPU方面,我们为客户提供了很多选择和灵活性,以满足我们看到的人工智能工作负载的广泛需求。”

谷歌云除了推出新一代TPU外,还宣布将在下个月推出基于英伟达H100 GPU的A3系列虚拟机,以GPU超级计算机的形式提供,为人工智能大模型提供强大的计算能力

以上就是谷歌发布第五代AI芯片:加速AI模型的训练和运行速度提升5倍的详细内容,更多请关注php中文网其它相关文章!

声明:本文转载于:搜狐,如有侵犯,请联系admin@php.cn删除