Die Verfügbarkeit des Azure OpenAI-Dienstes wird erweitert, wie Microsoft gestern angekündigt hat

Microsoft hat gestern die erweiterte Verfügbarkeit des Azure OpenAI-Dienstes angekündigt. Mit dieser Erweiterung können Kunden in Australien Ost, Kanada Ost, USA Ost 2, Japan Ost und Großbritannien Süd auf die beliebten OpenAI-Modelle GPT-4 und GPT-35-Turbo zugreifen. Vor dieser Erweiterung war der Azure OpenAI-Dienst in den Regionen USA Ost, Frankreich-Mitte, USA Süd-Zentral und Westeuropa verfügbar. Während seiner jüngsten Telefonkonferenz zu den Ergebnissen gab Microsoft bekannt, dass der Azure OpenAI-Dienst mittlerweile mehr als 11.000 Kunden bedient und durchschnittlich 100 neue Kunden pro Tag anzieht.

Microsoft kündigte außerdem die offizielle Veröffentlichung der Azure ND H100 v5 Virtual Machine (VM)-Serie an, die über die neueste NVIDIA H100 Tensor Core GPU und NVIDIA Quantum-2 InfiniBand-Netzwerke verfügt. Diese neue VM-Serie ist für KI-Workloads konzipiert und jetzt in den Azure-Regionen USA Ost und USA Süd-Mitte verfügbar. Auch wenn eine VM offiziell freigegeben wird, müssen Kunden ihr Interesse am Zugriff auf die neue VM anmelden.

ND H100 v5 VMs umfassen die folgenden Funktionen:

• Ausgestattet mit acht NVIDIA H100 Tensor Core GPUs versprechen diese VMs eine schnellere KI-Modellleistung als frühere Generationen.
• Skalierbare Intel Xeon-Prozessoren der 4. Generation bilden die Grundlage dieser virtuellen Maschinen und sorgen für optimale Verarbeitungsgeschwindigkeiten.
• NVIDIA Quantum-2 ConnectX-7 InfiniBand 400 Gbit/s pro GPU und 3,2 Tbit/s knotenübergreifende Bandbreite pro virtuelle Maschine sorgen für nahtlose Leistung über alle GPUs hinweg und entsprechen den Fähigkeiten der weltbesten Supercomputer.
• Da PCIe Gen5 eine Bandbreite von 64 GB/s pro GPU bereitstellt, ermöglicht Azure erhebliche Leistungsvorteile zwischen CPUs und GPUs.
• DDR5-Speicher ist das Herzstück dieser virtuellen Maschinen und sorgt für höhere Datenübertragungsgeschwindigkeiten und Effizienz, was ihn ideal für Workloads mit größeren Datenmengen macht.
• Matrixmultiplikationsoperationen werden bei Verwendung des neuen 8-Bit-Gleitkomma-Datentyps FP16 im Vergleich zu FP8 in früheren Generationen um den Faktor sechs beschleunigt.
• Bei großen Sprachmodellen wie der End-to-End-Modellinferenz von BLOOM 175B wurde eine zweifache Geschwindigkeitssteigerung erreicht, was deren Potenzial zur weiteren Optimierung von KI-Anwendungen demonstriert.

Das obige ist der detaillierte Inhalt vonDie Verfügbarkeit des Azure OpenAI-Dienstes wird erweitert, wie Microsoft gestern angekündigt hat. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!