In den letzten Tagen überschwemmte die Nachricht, dass „Microsoft zig Milliarden Dollar in OpenAI investiert“, den Bildschirm wie verrückt.
Wie kann OpenAI als Unternehmen ohne Geschäftsmodell einen Wert von mehreren zehn Milliarden Dollar haben? Sind Anleger so leicht zu täuschen?
Tatsächlich kann es jeder mehr oder weniger verstehen, wenn man das ChatGPT hinter OpenAI herauszieht. Dieses Sprachmodell ist „erstklassig“, und man kann sagen, dass in letzter Zeit niemand mehr davon weiß.
Und Microsoft, das nah an der Spitze steht, hat im Gedränge der Internetgiganten still und leise die Führung übernommen.
Ich habe gerade gesagt, dass ChatGPT in seine eigene Suchmaschine Bing integriert wird, und dann habe ich die Bombe platzen lassen, dass ChatGPT plant, dem Office-„Familieneimer“ beizutreten.
2022 ist das erste Jahr der AIGC-Revolution.
Die Geburt von DALL·E 2 hat „Vincent Pictures“ ein ganzes Jahr lang populär gemacht, dicht gefolgt von Stable Diffusion und Midjourney, die die künstlerische Inspiration unzähliger Menschen inspiriert und sogar viele Maler die „Arbeitslosenkrise“ spüren ließen. “.
Am Ende des Jahres löste ChatGPT einen AIGC-Sturm unter den Menschen aus. Obwohl es das Finale war, löste der Zauber des „Reinforcement Learning“ (RLHF) erfolgreich einen landesweiten Karneval aus.
Obwohl die gerade erwähnten Anwendungen schick aussehen mögen, werden sie dennoch von bekannten großen Modellen unterstützt.
Wie wir alle wissen, ist für große Modelle, sei es frühes Training oder spätere Inferenz, eine enorme Menge an „Rechenleistung“ untrennbar miteinander verbunden.
Zum Beispiel basieren die „beliebten Brathähnchen“ ChatGPT und DALL·E 2 auf GPT-3, aber auch die inländischen selbstentwickelten Yuan 1.0, Wudao und Wenxin usw. haben nicht nur die Parameter erreicht Hunderte von Milliarden, und die Größe des Datensatzes beträgt auch TB-Ebene.
Wenn Sie das Training dieser „Monster“ bewältigen möchten, müssen Sie mindestens mehr als 1000PetaFlop/s-Tag (PD) an Rechenressourcen investieren.
Es ist kein Wunder, dass OpenAI vor der Weiterentwicklung von GPT-3 von Microsoft verlangte, 1 Milliarde US-Dollar für die exklusive Anpassung eines Supercomputers auszugeben, der damals zu den fünf besten der Welt zählte.
Aber das Problem ist, dass nicht jedes Unternehmen oder jede Universität, die viel KI-Rechenleistung benötigt, es sich leisten kann, riesige Summen für den Bau eines eigenen „Künstliche-Intelligenz-Hochleistungsrechenzentrums“ auszugeben.
Wenn wir also unser Denken ändern und die Rechenleistung „universeller und vorteilhafter“ machen, können wir dann die gleichen oder bessere Ergebnisse erzielen?
Im Dezember 2020 veröffentlichten das Nationale Informationszentrum und Inspur Information gemeinsam den „Planungs- und Bauleitfaden für intelligente Rechenzentren“. Darunter wurde ein völlig neues Konzept erwähnt – das intelligente Rechenzentrum (kurz: intelligentes Rechenzentrum).
Um Probleme im Bereich der künstlichen Intelligenz besser lösen zu können, muss die Entwicklung intelligenter Rechenzentren auf der neuesten KI-Theorie und einer fortschrittlichen KI-Rechenarchitektur basieren und KI-Chips, KI-Server und KI-Cluster als Rechenleistung verwenden Kraftträger.
Erstens verwendet das aktuelle Mainstream-KI-beschleunigte Computing hauptsächlich CPU-Systeme, die mit heterogenen KI-Beschleunigungschips wie GPU, FPGA und ASIC ausgestattet sind.
Aufgrund der großen Anzahl arithmetischer Logikeinheiten (ALU) im GPU-Chip, der ursprünglich für Grafikberechnungen entwickelt wurde, kann er einen guten Beschleunigungseffekt für Deep-Learning-Berechnungen auf Basis von Tensorberechnungen bieten und wird daher von Wissenschaft und Industrie weithin begrüßt.
Mit immer tiefergehenden Anwendungen hat der GPU-Chip selbst auch gezielte innovative Designs basierend auf den Recheneigenschaften der KI durchgeführt, wie z. B. Tensor-Recheneinheit, numerische Genauigkeit TF32/BF16, Transformer-Engine ( Transformatormotor) usw.
Der „spezifischere“ KI-Rechenbeschleunigungschip ist hauptsächlich von GPU-Chips abgeleitet.
Tesla Dojo-Trainingschip für künstliche Intelligenz
Zweitens übernimmt er als KI-Server der Recheneinheit des intelligenten Rechenzentrums die heterogene Architektur des CPU+KI-Beschleunigungschips Durch die Integration mehrerer KI-Beschleunigungschips wird eine ultrahohe Rechenleistung erzielt. Um den Rechenanforderungen von Szenarien in verschiedenen Bereichen und komplexen KI-Modellen gerecht zu werden, stellen KI-Server auch extrem hohe Anforderungen an die Verbindung und Skalierbarkeit zwischen Rechenchips.
Schließlich muss das intelligente Rechenzentrum auch das Mainstream-, Open-Source- und Open-Software-Ökosystem der Branche vollständig unterstützen.
Zum Beispiel die Deep-Learning-Frameworks TensorFlow und PyTorch zur Entwicklung von KI-Algorithmen, eine Reihe von Open-Source-Bibliotheken, die zur Anpassung an die Entwicklung spezifischer Szenarien wie CV und NLP usw. entwickelt wurden.
Die Gesamtstruktur des intelligenten Rechenzentrums
Im Gegensatz zu den von großen ausländischen Herstellern maßgeschneiderten Hochleistungsrechenzentren ist das intelligente Rechenzentrum jedoch tatsächlich eine Infrastruktur für die Öffentlichkeit, besser für Lösen Sie das Problem, dass Sie keine Rechenleistung aufbauen oder nutzen können.
Das Intuitivste ist, dass das Intelligent Computing OS (Intelligent Computing Center Operating System) als „Nervenzentrum“ es dem Intelligent Computing Center ermöglichen soll, den Computing-Ressourcenpool effizient zu verwalten und intelligent zu planen, um eine bessere Bereitstellung zu ermöglichen Rechenleistung, Daten, Algorithmen und andere Dienste nach außen.
Jetzt sind seit der Veröffentlichung der Version 2020 des „Planungs- und Bauleitfadens für intelligente Rechenzentren“ zwei Jahre vergangen, und auch die Entwicklung der intelligenten Rechenzentren meines Landes ist in eine neue Phase eingetreten.
Zu diesem Zweck haben das Nationale Informationszentrum und Inspur Information gemeinsam eine zeitgemäße Forschung durchgeführt und den aktualisierten „Innovativen Entwicklungsleitfaden für intelligente Rechenzentren“ herausgebracht (im Folgenden als „Innovativer Entwicklungsleitfaden für intelligente Rechenzentren“ bezeichnet). " Führung").
Das Intelligente Rechenzentrum ist eine Schlüsselinfrastruktur, die den industriellen Wandel und die Modernisierung fördert, die Industriestruktur optimiert, die Wettbewerbsfähigkeit der Städte im Zeitalter der digitalen Wirtschaft steigert und eine wesentliche Unterstützung für die schnell wachsende Nachfrage nach Rechenleistung für künstliche Intelligenz bietet.
Konkret kann es in vier Aspekte unterteilt werden:
Förderung der KI-Industrialisierung, Stärkung der industriellen KI, Unterstützung bei intelligenter Governance und Förderung der industriellen Clusterbildung.
Ein wichtiges Beispiel für die KI-Industrialisierung ist das autonome Fahren.
Im Szenario des autonomen Fahrens muss es auf KI-Technologie basieren, damit das Fahrzeug wie ein menschlicher Fahrer wichtige Informationen in der Fahrumgebung genau identifizieren und die potenzielle Flugbahn der sich bewegenden Einheiten in der Umgebung vorhersagen kann.
In Bezug auf den Rechenleistungsverbrauch des Trainings ist das für das autonome Fahren verwendete kognitive Modell viel größer als das allgemeine Computer-Vision-Wahrnehmungsmodell.
Zum Beispiel verwendet Teslas L2-Level-FSD-Fusion-Wahrnehmungsmodell für autonomes Fahren Millionen von Straßensammlungsvideos im Trainingsprozess, und die Investition in die Rechenleistung beträgt etwa 500 PD.
Darüber hinaus wird mit der Erhöhung des autonomen Fahrniveaus von L2 auf L4 der Bedarf an Rechenleistung weiter steigen.
In dieser Hinsicht können durch die umfassende Rechenleistung des intelligenten Rechenzentrums die Kosten für die für das autonome Fahren erforderliche Rechenleistung erheblich gesenkt werden.
Im Jahr 2022 gibt es ein sehr beliebtes Konzept namens „AI for Science“.
Dies ist ein neues wissenschaftliches Forschungsparadigma, das sich darauf bezieht, dass Wissenschaftler KI-Technologie als Produktionswerkzeug einsetzen.
Eines der bekanntesten Beispiele für KI für die Wissenschaft in diesem Jahr ist AlphaFold 2, entwickelt von DeepMind.
Derzeit kann AlphaFold 2 mehr als 200 Millionen Proteinstrukturen vorhersagen und damit fast das gesamte „Protein“ vorhersagen. Universum". Durch AlphaFold 2 wurde die Vorhersagezeit einer einzelnen Proteinstruktur auf Minuten verkürzt und die Genauigkeit erreichte 92,4 %.
Die Entwicklung von AlphaFold 2 wird durch enorme Rechenleistung unterstützt. Allein in der Vorbereitungsphase der Trainingsdaten verbrauchte AlphaFold 2 etwa 200 Millionen Kernstunden CPU-Rechenleistung, und während des Trainingsprozesses wurden etwa 300 PD KI-Rechenleistung verbraucht.
Das intelligente Rechenzentrum, das sehr gut für den Rechenleistungsbedarf von AI for Science geeignet ist, wird zu einer wichtigen Infrastruktur, die hochwertige wissenschaftliche Forschung an Universitäten und Universitäten unterstützt Forschungsinstitute.
# 🎜🎜# Mittlerweile ist das intelligente Rechenzentrum zu einer Schlüsselinfrastruktur zur Steigerung der internationalen Wettbewerbsfähigkeit geworden.
Wir alle wissen, dass der Pro-Kopf-BIP-Indikator die wirtschaftliche Entwicklung eines Landes messen kann, und die Höhe der Pro-Kopf-Rechenleistung kann auch den Intelligenzgrad eines Landes messen.
Laut dem „2021-2022 Global Computing Power Index Assessment Report“ weist der nationale Rechenleistungsindex eine signifikante positive Korrelation mit der Entwicklung des BIP auf Index durchschnittlich jeden Anstieg um 1 Punkt, die digitale Wirtschaft und das BIP werden um 3,5‰ bzw. 1,8‰ wachsen Index- und BIP-Regressionsanalysetrend
Laut Forschung und Berechnung, während des Zeitraums des „14. Fünfjahresplans“, als das intelligente Rechenzentrum ein Anwendungsniveau von 80 % erreichte, können die Investitionen der Stadt in intelligente Rechenzentren das Wachstum der Kernindustrie der künstlichen Intelligenz um etwa das 2,9- bis 3,4-fache vorantreiben das Wachstum verwandter Industrien um etwa das 36- bis 42-fache. Der Beitragssatz der Investitionen der Stadt/Region in den Bau intelligenter Rechenzentren zur Innovationsleistung beträgt etwa 14 % bis 17 %.
Die wirtschaftlichen und sozialen Vorteile des Projekts für intelligente Rechenzentren
Aus diesen Gründen löste das Konzept des intelligenten Rechenzentrums, sobald es vorgeschlagen wurde, einen Bauboom aus. Laut Statistik bauen derzeit mehr als 30 Städte im ganzen Land intelligente Rechenzentren oder planen den Bau.
Es ist nicht zu übersehen, dass diese intelligenten Rechenzentren während des Bauprozesses in vollem Gange auch viele Probleme und Herausforderungen aufgedeckt haben.
Erstens steigt die Nachfrage unseres Landes nach intelligenter Rechenleistung von Tag zu Tag.
Daten aus dem „2022-2023 China Artificial Intelligence Computing Power Development Assessment Report“ zeigen, dass der Umfang der intelligenten Rechenleistung meines Landes im Jahr 2021 155,2 EFLOPS (FP16) erreichen wird. Es wird erwartet, dass bis 2026 der Umfang von Die intelligente Rechenleistung meines Landes wird 1.271,4 EFLOPS erreichen.
In Zukunft werden 80 % der Szenarien auf KI basieren und der Großteil der von ihnen belegten Rechenressourcen wird von intelligenten Rechenzentren getragen.
Die Entwicklung intelligenter Rechenleistung in China
Zweitens muss auch das Servicemodell rund um den Algorithmus verbessert werden.
Seit 2011 haben sich weltweit führende KI-Unternehmen und Forschungseinrichtungen an der KI-Großmodellforschung beteiligt, und die Modellparameter sind dramatisch gestiegen. In nur drei oder vier Jahren ist die Parameterskala schnell von Milliarden auf Billionen durchgebrochen, und es sind viele repräsentative große Modelle entstanden, wie zum Beispiel das von Google veröffentlichte BERT, das von OpenAI veröffentlichte GPT-3 usw.
Der Wandel des traditionellen Rechenparadigmas wird zwangsläufig auch die Transformation des Servicemodells intelligenter Rechenzentren von der hauptsächlichen Bereitstellung von Rechenleistung zur Bereitstellung von „Algorithmus + Rechenleistung“ vorantreiben.
Schließlich wirken sich die aktuellen Probleme wie unklares konzeptionelles Verständnis, inkonsistente Baustandards, unzureichende Anwendungsszenarien und unausgereifte Betriebsmodelle auch direkt auf die Entwicklung intelligenter Rechenzentren aus.
Wie kann man es lösen?
Die Lösungsideen des „Guide“ sind: 1. Universell und universell nützlich2. Offen und kompatibel.
Lasst uns zunächst darüber sprechen, was „universeller universeller Nutzen“ bedeutet. Universell und inklusiv bedeutet, den gesellschaftlichen Wert der öffentlichen Infrastruktur voll zur Geltung zu bringen, die nicht nur den Bedarf der Nutzer an allgemeiner Rechenleistung, sondern auch den Bedarf verschiedener Nutzer an diversifiziertem Computing erfüllen sollte Leistung in verschiedenen Szenarien.
Konkret sollten sich intelligente Rechenzentren in Richtung Standardisierung, niedrige Kosten und niedrige Schwellenwerte entwickeln, damit intelligentes Rechnen wie Wasser und Strom zu einem grundlegenden öffentlichen Dienst in der Gesellschaft werden und den unterschiedlichen Bedürfnissen verschiedener Benutzer gerecht werden kann Rechenleistung in verschiedenen Szenarien.
Zweitens muss es „offen und kompatibel“ sein. Konkret geht es um Open Source und die Pflege des Ökosystems. Es konzentriert sich hauptsächlich auf offene Hardware und Open-Source-Software, integriert mehrere Rechenleistungen und realisiert die Aggregation, Planung und Freigabe von Rechenleistung, sodass das intelligente Rechenzentrum sie „nutzen und gut nutzen“ kann. Gleichzeitig ist es notwendig, die Forschungs- und Entwicklungsunterstützung sowie die groß angelegte Anwendungsförderung wichtiger Software- und Hardwareprodukte des intelligenten Rechenzentrums zu stärken.
Um den universellen Nutzen und die effiziente Nutzung von Rechenleistungsdiensten zu realisieren, also wie das intelligente Rechenzentrum „einfach zu bedienen und sinnvoll zu nutzen“ sein kann, weist der „Guide“ darauf hin, dass der Aufbau intelligenter Datenverarbeitung Zentren müssen auch „Rechenleistung“ bauen. Der technische Weg der „vier Modernisierungen“ ist „Infrastrukturbasierte, algorithmusbasierte Infrastruktur, Service Intelligence und Anlagengrünung“. Aufbau der Computerinfrastruktur bedeutet, dass das intelligente Rechenzentrum in der Lage sein muss, der Außenwelt kostengünstige, integrative und sichere Rechenressourcen zur Verfügung zu stellen, damit KI-Rechenleistung zu einer öffentlichen Ressource wird Die Stadt verfügt über grundlegende Ressourcen, die Regierungen, Unternehmen und die Öffentlichkeit unabhängig nutzen können. Algorithmus-Infrastruktur bezieht sich auf das intelligente Rechenzentrum, das voreingestellte Branchenalgorithmen bereitstellt, vorab trainierte große Modelle erstellt, kontinuierliche Upgrades von Algorithmusmodellen fördert und professionelle Daten- und Algorithmusdienste bereitstellt, um mehr Benutzern eine universelle Nutzung zu ermöglichen und inklusive intelligenter Computerdienste, um den Effekt zu erzielen, „Daten zu bringen und mit Ergebnissen zu gehen“: Service-Intelligenz bedeutet, dass die Entwicklung intelligenter Rechenzentren vom herkömmlichen System abweicht. Hardware und Software werden aktualisiert zu „Smartware“. „Smartware“ bezeichnet die vom Intelligent Computing Center bereitgestellten Middleware-Produkte und -Dienste zur Förderung der Anwendung künstlicher Intelligenz. Die Konstruktion von „Smartware“ bietet Benutzern funktionsreiche und benutzerfreundliche Rechenleistungsplanung für künstliche Intelligenz, Bereitstellung von Algorithmen und personalisierte Entwicklungsdienste über visuelle Bedienschnittstellen und Low-Code-Entwicklungs- oder sogar No-Code-Entwicklungsmodelle. Schließlich müssen wir auch grüne Anlagen erreichen. Der aktuelle Hauptentwicklungstrend ist der Einsatz von Flüssigkeitskühlungstechnologie. Jetzt dringen neue Szenarien, repräsentiert durch AIGC, Metaverse und AI for Science, in unser tägliches Leben ein und eröffnen unserer Zukunft unbegrenzte Möglichkeiten. Entsprechend nimmt im ganzen Land eine Welle intelligenter Rechenzentrumskonstruktionen und -layouts zu. Der universelle Nutzen intelligenter Rechenleistung hat die Innovationsschwelle für die meisten Unternehmen, insbesondere kleine und mittlere Unternehmen, erheblich gesenkt. Ich glaube, dass wir in naher Zukunft erleben werden, wie „Dateneingabe, Intelligenzausgabe“ wie Wasser und Strom sein wird und wirklich allen zugute kommt. Link melden: http://scdrc.sic.gov.cn/archiver/SmarterCity/UpFile/Files/Default/20230111181640567177.pdf Blick in die Zukunft
Das obige ist der detaillierte Inhalt vonIst ChatGPT, das 10 Milliarden US-Dollar aufgewirbelt hat, so abhängig von TA?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!
![[Web-Frontend] Node.js-Schnellstart](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
