米国メディアの注目: ChatGPT をトレーニングするにはどれくらいの電力が必要ですか?

# 3 月 10 日のニュース、AI はテクノロジー業界で再びホットな話題となっており、小売業から数兆ドル規模の業界に革命を起こすことが期待されています医療、産業へ。しかし、新しいチャットボットや画像ジェネレーターを作成するにはそれぞれ膨大な電力が必要であり、これは、この技術が大量の温室効果ガスを放出し、地球温暖化を悪化させる可能性があることを意味します。

Microsoft、Google、ChatGPT メーカーである OpenAI はすべてクラウド コンピューティングを使用しており、モデルと呼ばれる AI アルゴリズムをトレーニングし、データを分析し、これらのアルゴリズムが学習する方法を支援するために、世界中の大規模なデータ センター サーバーにある数千のチップに依存しています。タスクを実行します。 ChatGPT の成功を受けて、他の企業も競って独自の AI システムやチャットボットを立ち上げたり、大規模な AI モデルを使用する製品を開発したりしています。

AI は他の形式のコンピューティングよりも多くのエネルギーを消費し、単一モデルのトレーニングには米国の 100 以上の家庭が 1 年間に使用する電力よりも多くの電力が消費されます。しかし、AI業界は非常に急速に成長しているにもかかわらず、AIの総電力消費量と二酸化炭素排出量を正確に知る人がいないほど透明性が低いです。炭素排出量は、電力を供給する発電所の種類によっても大きく異なり、石炭や天然ガスを燃料とするデータセンターは、太陽光発電や風力発電を利用するデータセンターよりも炭素排出量が大幅に多くなります。

研究者らは単一モデルの作成によって生じる炭素排出量を集計し、一部の企業はエネルギー使用量に関するデータを提供しましたが、この技術による総電力使用量の全体的な推定値は提供していません。 AI 企業 Huging Face の研究者である Sasha Luccioni 氏は、OpenAI モデル GPT-3 の競合会社である Bloom の二酸化炭素排出量を定量化した論文を書きました。 Lucioni はまた、限られた公開データに基づいて OpenAI チャットボット ChatGPT の炭素排出量を評価しようとしました。

透明性の向上

Lucioni 氏などの研究者は、AI モデルの電力使用と排出量に関して透明性を高める必要があると述べています。この情報を活用すれば、政府や企業はがん治療の研究や先住民言語の保護に GPT-3 やその他の大規模モデルを使用する価値があるかどうかを判断できるかもしれません。

透明性の向上により監視も強化される可能性があり、仮想通貨業界は過去から教訓を得ることができるかもしれません。ケンブリッジ・ビットコイン電力消費指数によると、ビットコインは過剰な電力消費で批判されており、年間アルゼンチンと同量の電力を消費している。この貪欲な電力需要を受けて、ニューヨーク州は化石燃料で発電した電力を利用した仮想通貨マイナーへのライセンス発行を2年間停止することになった。

GPT-3 は、言語を生成できる単一の機能を備え、さまざまな用途に使用できる汎用 AI プログラムです。 2021年に発表された研究論文によると、GPT-3のトレーニングでは1.287ギガワット時の電力が消費され、これはアメリカの120世帯の1年間の電力消費量にほぼ相当する。同時に、このような訓練により 502 トンの炭素が生成され、これはアメリカ車 110 台の年間排出量に相当します。さらに、この種のトレーニングは 1 つのプログラム、つまり「モデル」にのみ適用されます。

AI モデルのトレーニングにかかる​​初期の電力コストは膨大ですが、研究者らは、場合によっては、これが実際の使用時にモデルが消費する電力の約 40% にすぎないことを発見しました。さらに、AI モデルはますます大規模化しています。 OpenAI の GPT-3 は 1,750 億個のパラメータまたは変数を使用しますが、その前バージョンでは 15 億個のパラメータのみが使用されていました。

OpenAI はすでに GPT-4 に取り組んでおり、現在のイベントの理解を維持するためにモデルを定期的に再トレーニングする必要があります。 AI のエネルギー問題を研究した最初の研究者の 1 人であるカーネギーメロン大学のエマ・ストルベル教授は、「モデルを再トレーニングしなければ、モデルは新型コロナウイルス感染症が何であるかさえ分からないかもしれません。」と述べています。

もう 1 つの相対的な尺度は Google によるもので、研究者らは AI トレーニングが同社の総電力使用量の 10% ～ 15% を占めていることを発見しました。2021 年の総電力使用量は 18.3 テラワット時でした。これは、Google の AI が年間 2.3 テラワット時の電力を消費することを意味します。これは、アトランタの全世帯の年間電力消費量にほぼ相当します。

テクノロジー大手はネットゼロの誓約を立てる

多くの場合、AI モデルは大型化していますが、AI 企業も常に改善を続けており、より効率的に実行できるようにしています。マイクロソフト、グーグル、アマゾンを含む米国最大のクラウドコンピューティング企業はいずれも二酸化炭素削減やネットゼロに取り組んでいる。 Googleは声明で、オフィスとデータセンターを完全にカーボンフリーエネルギーで運営することを目標に、2030年までにすべての事業でネットゼロ排出を達成すると述べた。 Google はまた、施設内の冷却システムを直接制御する技術により、AI を活用してデータセンターのエネルギー効率を向上させています。

OpenAI はまた、ChatGPT アプリケーション プログラミング インターフェイスの効率を向上させ、顧客の電力使用量と価格の削減を支援するために同社が行った取り組みについても言及しました。 OpenAI の広報担当者は、「私たちは気候変動を阻止し、逆転させる責任を非常に真剣に受け止めており、コンピューティング能力を最大限に高める方法について多くのことを考えています。OpenAI は Azure 上で実行されており、大規模な実行の効率を高めるために Microsoft チームと緊密に連携しています」と述べています。言語モデルを構築し、二酸化炭素排出量を削減します。」

Microsoft は、2030 年までに実質ゼロ排出を達成するという以前に発表された目標を達成するために、同社が再生可能エネルギーを購入し、その他の措置を講じていると述べました。 Microsoftは声明で「より持続可能な未来を創造するという取り組みの一環として、MicrosoftはAIのエネルギー使用と二酸化炭素排出への影響を測定する研究に投資するとともに、トレーニングやトレーニングにおける大規模システムの効率向上に努めている」と述べた。エルサレムのヘブライ大学のロイ・シュワルツ教授は、マイクロソフトのチームと協力して、大規模な AI モデルの二酸化炭素排出量を測定しました。同氏は、「明らかに、これらの企業は、使用しているモデルと、それが排出する二酸化炭素の量を明らかにしたがらない。」と述べた。

AIをより効率的に実行する方法はある。エネルギーコンサルタント会社ウッド・マッケンジーのベン・ハーツ・シャーゲル氏は、AIトレーニングはいつでも実施できるため、開発者やデータセンターは電気が安い時間帯や余っている時間帯にトレーニングをスケジュールすることができ、より環境に優しい運用が可能になると述べた。 AI 企業は電力過剰時にモデルをトレーニングし、環境に配慮していることを示すマーケティングのセールス ポイントとして使用できます。

チップの実行には驚異的な量の電力を消費します

ほとんどのデータセンターではグラフィックス プロセッシング ユニット (GPU) を使用して AI モデルをトレーニングしており、これらのコンポーネントが最も電力を消費します。チップ業界が作るハングリーコンポーネント コンポーネントの一つ。モルガン・スタンレーのアナリストが今月初めに発表したレポートによると、大規模なモデルには数万個のGPUが必要で、トレーニングサイクルは数週間から数か月かかる場合があるという。

AI における大きな謎の 1 つは、使用されるチップに関連する総二酸化炭素排出量です。最大の GPU メーカーである Nvidia は、AI タスクに関しては、同社のチップはタスクをより速く完了でき、全体的により効率的であると述べています。

Nvidia は声明で次のように述べています。「GPU を使用して AI を高速化すると、CPU を使用するよりも高速かつ効率的になります。一部の AI ワークロードでは、エネルギー効率が 20 倍向上することがよくあります。生成用の大規模言語モデル現代の人工知能にとって不可欠なものは、エネルギー効率を 300 倍向上させることができます。」

Lucioni 氏は、Nvidia はエネルギー関連の直接排出と間接排出のデータを開示しているが、同社はそれ以上の詳細は開示していないと述べた。彼女は、Nvidia がこの情報を共有すると、GPU が小国とほぼ同じ量の電力を消費していることがわかり、「人々を狂わせるかもしれない」と信じています。 (シャオシャオ)

以上が米国メディアの注目: ChatGPT をトレーニングするにはどれくらいの電力が必要ですか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。