Microsoft, 8개의 NVIDIA H100 GPU를 갖춘 Azure ND H100 v5 가상 머신 출시

Microsoft Azure AI 인프라는 11월 21일에 업그레이드되어 새로운 ND H100 v5 가상 머신 시리즈를 출시했습니다. 이 가상 머신에는 NVIDIA H100 Tensor 코어 그래픽 처리 장치(GPU)와 저지연 네트워크가 탑재되어 있습니다

보고에 따르면 Microsoft는 Azure ND H100 v5 가상 머신(VM) 시리즈를 새로 출시했으며 현재 미국에서 사용할 수 있습니다. 미국 동부 및 중남부 Azure 지역이 공급됩니다.

이 제품 시리즈는 최신 NVIDIA H100 Tensor Core GPU 및 NVIDIA Quantum-2 InfiniBand 네트워크를 사용하여 점점 더 복잡해지는 인공 지능 워크로드를 처리합니다. AI에 대한 Microsoft의 지속적인 심층 투자의 일환으로 Microsoft는 AI에 최적화된 4K GPU 클러스터를 활용하고 있으며 내년에 이를 수십만 개의 새로운 GPU로 확장할 계획입니다.

이 사이트에서 ND를 편집했습니다. H100의 특징 v5 VM 가상 머신 시리즈:

• AI 슈퍼 컴퓨팅 GPU: 8개의 NVIDIA H100 Tensor Core GPU 탑재. 이 시리즈는 이전 세대 가상 머신에 비해 AI 모델 속도를 크게 높일 수 있습니다.
• 차세대 컴퓨터 처리 장치(CPU): CPU 성능은 AI 훈련 및 추론에 매우 중요하며 Microsoft는 4세대 Intel Xeon Scalable 프로세서를 선택했습니다.
• 낮은 대기 시간 네트워크: NVIDIA Quantum-2 ConnectX-7 InfiniBand를 사용하여 각 GPU는 400Gb/s를 가지며 각 VM은 3.2Tb/s 교차 노드 대역폭을 갖습니다.
• 최적화된 호스트-GPU 성능: PCIe Gen5를 통해 GPU당 64GB/s의 대역폭을 제공합니다.
• 대규모 메모리 및 메모리 대역폭: DDR5 메모리는 이 가상 머신 시리즈의 핵심으로 더 높은 데이터 전송 속도와 효율성을 제공합니다.

Microsoft는 이 일련의 가상 머신이 새로운 8비트 FP8 부동 소수점 데이터 유형을 사용하여 행렬 곱셈 연산을 수행할 때 속도가 6배 증가하여 이전 세대 FP16보다 빠르다고 밝혔습니다. ND H100 v5 VM은 BLOOM 175B 엔드투엔드 모델과 같은 대규모 언어 모델에 대해 최대 2배 더 빠른 추론을 달성하는 데 도움이 됩니다.

위 내용은 Microsoft, 8개의 NVIDIA H100 GPU를 갖춘 Azure ND H100 v5 가상 머신 출시의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!