Aufmerksamkeit der US-Medien: Wie viel Strom wird benötigt, um ChatGPT zu trainieren?

Nachrichten vom 10. März: KI ist wieder einmal ein heißes Thema in der Technologiebranche geworden und wird voraussichtlich Branchen im Wert von Billionen Dollar vom Einzelhandel bis zur Medizin revolutionieren. Doch die Erstellung jedes neuen Chatbots oder Bildgenerators erfordert eine enorme Menge Strom, was bedeutet, dass die Technologie große Mengen an Treibhausgasen freisetzen und die globale Erwärmung verstärken könnte.

Microsoft, Google und der ChatGPT-Hersteller OpenAI nutzen alle Cloud Computing, das auf Tausenden von Chips in Servern in riesigen Rechenzentren auf der ganzen Welt basiert, um KI-Algorithmen, sogenannte Modelle, zu trainieren und Daten zu analysieren, um diese Algorithmen zu unterstützen Aufgabe. Der Erfolg von ChatGPT hat andere Unternehmen dazu veranlasst, einen Wettlauf um die Einführung eigener KI-Systeme und Chatbots zu starten oder Produkte zu entwickeln, die große KI-Modelle verwenden.

KI verbraucht mehr Energie als andere Formen der Datenverarbeitung, wobei das Training eines einzelnen Modells mehr Strom verbraucht, als mehr als 100 US-Haushalte in einem Jahr verbrauchen. Obwohl die KI-Branche sehr schnell wächst, ist sie jedoch nicht transparent genug, sodass niemand den Gesamtstromverbrauch und die CO2-Emissionen der KI genau kennt. Auch die CO2-Emissionen können je nach Art des Kraftwerks, das den Strom liefert, stark variieren. Rechenzentren, die mit Kohle oder Erdgas betrieben werden, weisen deutlich höhere CO2-Emissionen auf als solche, die mit Solar- oder Windenergie betrieben werden.

Während Forscher die durch die Erstellung eines einzigen Modells verursachten Kohlenstoffemissionen gezählt haben und einige Unternehmen Daten zu ihrem Energieverbrauch bereitgestellt haben, haben sie keine Gesamtschätzung des Gesamtstromverbrauchs der Technologie vorgelegt. Sasha Luccioni, Forscherin beim KI-Unternehmen Huging Face, hat einen Artikel geschrieben, in dem sie die Kohlenstoffemissionen ihres Unternehmens Bloom quantifiziert, einem Konkurrenten des OpenAI-Modells GPT-3. Lucioni versuchte außerdem, die CO2-Emissionen des OpenAI-Chatbots ChatGPT anhand eines begrenzten Satzes öffentlicher Daten zu bewerten.

Transparenz erhöhen

Forscher wie Lucioni sagen, dass mehr Transparenz erforderlich ist, wenn es um den Stromverbrauch und die Emissionen von KI-Modellen geht. Mit diesen Informationen können Regierungen und Unternehmen entscheiden, ob es sich lohnt, GPT-3 oder andere groß angelegte Modelle zur Untersuchung von Krebsbehandlungen oder zum Schutz indigener Sprachen zu verwenden.

Größere Transparenz könnte auch zu mehr Kontrolle führen und die Kryptowährungsbranche könnte Lehren aus der Vergangenheit ziehen. Laut dem Cambridge Bitcoin Electricity Consumption Index steht Bitcoin wegen seines übermäßigen Stromverbrauchs in der Kritik. Laut dem Cambridge Bitcoin Electricity Consumption Index verbraucht es jährlich so viel Strom wie Argentinien. Diese unersättliche Nachfrage nach Strom veranlasste den Staat New York, ein zweijähriges Moratorium für die Erteilung von Lizenzen an Kryptowährungs-Miner zu erlassen, die mit Strom aus fossilen Brennstoffen betrieben werden.

GPT-3 ist ein Allzweck-KI-Programm mit einer einzigen Funktion, das Sprache generieren kann und viele verschiedene Verwendungsmöglichkeiten hat. Eine im Jahr 2021 veröffentlichte Forschungsarbeit zeigte, dass das Training von GPT-3 1,287 Gigawattstunden Strom verbrauchte, was ungefähr dem Stromverbrauch von 120 amerikanischen Haushalten für ein Jahr entspricht. Gleichzeitig wurden durch dieses Training 502 Tonnen Kohlenstoff erzeugt, was den Emissionen von 110 amerikanischen Autos in einem Jahr entspricht. Darüber hinaus gilt diese Art der Schulung nur für ein Programm oder „Modell“.

Obwohl die anfänglichen Stromkosten für das Training eines KI-Modells enorm sind, haben Forscher herausgefunden, dass diese in einigen Fällen nur etwa 40 % des Stroms ausmachen, den das Modell bei der tatsächlichen Nutzung verbraucht. Darüber hinaus werden KI-Modelle immer größer. GPT-3 von OpenAI verwendet 175 Milliarden Parameter oder Variablen, während sein Vorgänger nur 1,5 Milliarden Parameter verwendete.

OpenAI arbeitet bereits an GPT-4 und das Modell muss regelmäßig neu trainiert werden, um sein Verständnis für aktuelle Ereignisse aufrechtzuerhalten. „Wenn Sie das Modell nicht neu trainieren, weiß es möglicherweise nicht einmal, was COVID-19 ist.“ 2021, das waren 18,3 Terawattstunden. Das bedeutet, dass Googles KI 2,3 Terawattstunden Strom pro Jahr verbraucht, was in etwa dem jährlichen Stromverbrauch aller Haushalte in Atlanta entspricht.

Während KI-Modelle in vielen Fällen immer größer werden, verbessern sich KI-Unternehmen auch ständig, um effizienter zu arbeiten. Die größten US-amerikanischen Cloud-Computing-Unternehmen, darunter Microsoft, Google und Amazon, haben sich alle zu CO2-Reduzierungen oder Netto-Null-Verpflichtungen verpflichtet. Google sagte in einer Erklärung, dass es bis 2030 in allen Betrieben Netto-Null-Emissionen erreichen werde, mit dem Ziel, seine Büros und Rechenzentren vollständig mit kohlenstofffreier Energie zu betreiben. Google nutzt KI auch, um die Energieeffizienz seiner Rechenzentren zu verbessern, indem die Technologie die Kühlsysteme in den Einrichtungen direkt steuert.

OpenAI verwies außerdem auf die Arbeit, die das Unternehmen geleistet hat, um die Effizienz der ChatGPT-Anwendungsprogrammierschnittstelle zu verbessern und Kunden dabei zu helfen, den Stromverbrauch und die Preise zu senken. Ein OpenAI-Sprecher sagte: „Wir nehmen unsere Verantwortung, den Klimawandel zu stoppen und umzukehren, sehr ernst und machen uns viele Gedanken darüber, wie wir unsere Rechenleistung auf Azure maximieren können, und wir arbeiten eng mit Microsoft-Teams zusammen, um die Effizienz beim Betrieb großer Unternehmen zu steigern.“ Sprachmodelle und reduzieren den CO2-Ausstoß.“

Microsoft stellte fest, dass das Unternehmen erneuerbare Energien kauft und weitere Schritte unternimmt, um sein zuvor angekündigtes Ziel zu erreichen, bis 2030 Netto-Null-Emissionen zu erreichen. Microsoft sagte in einer Erklärung: „Im Rahmen unseres Engagements für die Schaffung einer nachhaltigeren Zukunft investiert Microsoft in Forschung, um den Energieverbrauch und die CO2-Auswirkungen von KI zu messen, und arbeitet gleichzeitig daran, die Effizienz großer Systeme in Schulung und Anwendung zu verbessern.“ .

Roy Schwartz, Professor an der Hebräischen Universität Jerusalem, arbeitete mit einem Team bei Microsoft zusammen, um den CO2-Fußabdruck eines großen KI-Modells zu messen. Er sagte: „Offensichtlich sind diese Unternehmen nicht bereit, offenzulegen, welches Modell sie verwenden und wie viel Kohlenstoff es ausstößt.“

Es gibt Möglichkeiten, die KI effizienter zu gestalten. Ben Hertz-Shargel vom Energieberatungsunternehmen Wood Mackenzie sagte, dass Entwickler oder Rechenzentren Schulungen für Zeiten planen können, in denen Strom günstiger oder im Überschuss vorhanden ist, da KI-Schulungen jederzeit stattfinden können, sodass ihre Abläufe umweltfreundlicher sind. KI-Unternehmen trainieren ihre Modelle auf Zeiten mit überschüssigem Strom, die sie dann als Verkaufsargument in ihrem Marketing nutzen können, um zu zeigen, dass sie umweltbewusst sind.

Der Chipbetrieb verbraucht erstaunlich viel Strom

Die meisten Rechenzentren verwenden Grafikprozessoren (GPUs), um KI-Modelle zu trainieren, und diese Komponenten gehören zu den stromhungrigsten Komponenten, die von der Chipindustrie hergestellt werden. In einem Anfang des Monats von Morgan Stanley-Analysten veröffentlichten Bericht heißt es, dass große Modelle Zehntausende GPUs erfordern und die Trainingszyklen Wochen bis Monate dauern können.

Eines der größeren Rätsel im KI-Bereich ist der gesamte CO2-Fußabdruck der verwendeten Chips. Nvidia, der größte GPU-Hersteller, sagt, dass seine Chips bei KI-Aufgaben Aufgaben schneller erledigen können und insgesamt effizienter sind.

Nvidia sagte in der Erklärung: „Der Einsatz von GPUs zur Beschleunigung der KI ist schneller und effizienter als der Einsatz von CPUs. Bei einigen KI-Workloads kann die Energieeffizienz oft um das Zwanzigfache verbessert werden, was für die generative künstliche Intelligenz unerlässlich ist.“ „Lucioni sagte, dass Nvidia zwar direkte und indirekte Emissionsdaten im Zusammenhang mit Energie offengelegt habe, das Unternehmen jedoch keine weiteren Details offengelegt habe. Sie glaubt, dass wir, wenn Nvidia diese Informationen teilt, möglicherweise feststellen werden, dass GPUs so viel Strom verbrauchen wie ein kleines Land, „was die Leute verrückt machen könnte“! (Xiao Xiao)

Das obige ist der detaillierte Inhalt vonAufmerksamkeit der US-Medien: Wie viel Strom wird benötigt, um ChatGPT zu trainieren?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!