Microsoft veröffentlicht die virtuelle Maschine Azure ND H100 v5 mit 8 NVIDIA H100-GPUs

Die KI-Infrastruktur von Microsoft Azure erhielt am 21. November ein Upgrade und brachte eine neue virtuelle Maschinenserie ND H100 v5 auf den Markt. Diese virtuelle Maschine ist mit der NVIDIA H100 Tensor Core-Grafikverarbeitungseinheit (GPU) und einem Netzwerk mit geringer Latenz ausgestattet

Berichten zufolge hat Microsoft neu die Azure ND H100 v5-Serie virtueller Maschinen (VM) veröffentlicht, die jetzt in den USA erhältlich ist Azure-Regionen im Osten und Süden der USA liefern.

Diese Produktserie nutzt die neueste NVIDIA H100 Tensor Core GPU und das NVIDIA Quantum-2 InfiniBand-Netzwerk, um immer komplexere Arbeitslasten mit künstlicher Intelligenz zu bewältigen. Als Teil der anhaltenden umfangreichen Investitionen von Microsoft in KI nutzt Microsoft einen KI-optimierten 4K-GPU-Cluster und plant, ihn im nächsten Jahr auf Hunderttausende neuer GPUs zu skalieren

Auf dieser Website haben wir ND-Funktionen des H100 zusammengestellt v5 VM virtuelle Maschinenserie:

• AI Super Computing GPU: Ausgestattet mit acht NVIDIA H100 Tensor Core GPUs. Mit dieser Serie sind KI-Modelle deutlich schneller als virtuelle Maschinen der vorherigen Generation.
• Computerprozessoreinheit (CPU) der neuen Generation: Die CPU-Leistung ist für das KI-Training und die Inferenz von entscheidender Bedeutung, und Microsoft hat sich für den skalierbaren Intel Xeon-Prozessor der vierten Generation entschieden.
• Netzwerk mit geringer Latenz: Mit NVIDIA Quantum-2 ConnectX-7 InfiniBand verfügt jede GPU über 400 Gbit/s und jede VM über eine knotenübergreifende Bandbreite von 3,2 Tbit/s.
• Optimierte Host-zu-GPU-Leistung: Bietet 64 GB/s Bandbreite pro GPU über PCIe Gen5.
• Großer Speicher und Speicherbandbreite: DDR5-Speicher ist der Kern dieser Serie virtueller Maschinen und sorgt für eine höhere Datenübertragungsgeschwindigkeit und Effizienz.

Microsoft sagte, dass sich die Geschwindigkeit um das Sechsfache erhöht, wenn diese Serie virtueller Maschinen den neuen 8-Bit-Gleitkomma-Datentyp FP8 zur Durchführung von Matrixmultiplikationsoperationen verwendet, was schneller ist als bei der vorherigen Generation von FP16. ND H100 v5 VM trägt dazu bei, eine bis zu doppelt so schnelle Inferenz für große Sprachmodelle wie das End-to-End-Modell BLOOM 175B zu erreichen.

Das obige ist der detaillierte Inhalt vonMicrosoft veröffentlicht die virtuelle Maschine Azure ND H100 v5 mit 8 NVIDIA H100-GPUs. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!