大規模な AI モデルの背後には、驚くべき量の二酸化炭素排出量があります

ChatGPT のような大規模な言語モデルが世界的なセンセーションを巻き起こして以来、大規模な言語モデルのトレーニングと実行によって驚異的な二酸化炭素排出量が発生していることに気づいている人はほとんどいませんでした。

OpenAI も Google も、それぞれの製品のコンピューティング コストがいくらになるかについては明らかにしていませんが、サードパーティの研究者によると、分析によると、トレーニングの ChatGPT 部分では 1,287 メガワット時が消費され、550 トン以上の二酸化炭素が排出されました。これは、人がニューヨークとサンフランシスコを 550 回往復するのに相当します。

実は、これはトレーニング中の排出量に過ぎず、AI大型モデルの実行時にはさらに多くの二酸化炭素が排出されます。

カナダのデータセンター会社 QScale の共同創設者 Martin Bouchard 氏は、検索エンジン ユーザーの増大するニーズを満たすために、Microsoft と Google は次のような生成 AI を追加したと考えています。 ChatGPT を使用して検索すると、検索ごとに計算量が少なくとも 4 ～ 5 倍増加します。

モデルを頻繁に再トレーニングし、パラメーターを追加する必要がある場合、計算の規模はまったく異なります。

国際エネルギー機関（国際エネルギー機関）によると、データセンターからの温室効果ガス排出量はすでに世界の温室効果ガス排出量の約 1% を占めています。

大規模な AI モデルとクラウド コンピューティングの需要が拡大するにつれて、この数字はさらに増加すると予想されます。

AI 大型モデルは、重要な二酸化炭素排出源になりつつあります。

1. 大規模な AI モデルの二酸化炭素排出量の削減

AI モデルのトレーニングと運用プロセスは多くのエネルギーを消費しますが、重要な問題は、それをどのように知るかです。学習実験ではどれくらいの温室効果ガスが排出され、どれくらい削減できるのでしょうか?

現在、データ サイエンティストはこの分野での測定結果を簡単かつ確実に取得することができず、これが実現可能な対応戦略のさらなる開発の妨げにもなっています。

この問題に対応して、Google は、LaMDA の初期および大規模バージョンを含む、最先端の言語モデルのエネルギー コストを詳しく説明した調査結果を発表しました。

研究結果によると、効率的なモデル、プロセッサー、データセンターとクリーン エネルギーを組み合わせることで、機械学習システムの二酸化炭素排出量を最大 1,000 分の 1 まで削減できることがわかりました。

チームは、機械学習ワークロードの二酸化炭素（およびエネルギー）フットプリントを大幅に削減するための 4 つの基本的な方法を提案しました。これらの方法は現在、Google および Google Cloud サービスを使用するすべての人で使用されています。誰でも使用できます。 。

Google のエネルギーと二酸化炭素排出量削減のベスト プラクティス (4M) は次のとおりです。

• モデル: 効率的なものを選択する、と研究者は述べています。 ML モデル アーキテクチャは、計算時間を半分に削減しながら ML の品質を向上させる可能性があるため、非常に重要です。
• マシン: ML トレーニング用に特別に設計されたプロセッサーとシステムを使用すると、汎用プロセッサーと比較してパフォーマンスとエネルギー効率を 2 倍から 5 倍向上させることができます。
• 機械化: ほとんどの場合、オンプレミスのデータセンターは古くて小規模です。したがって、新しいエネルギー効率の高い冷却および配電システムのコストを償却できません。

クラウドベースのデータセンターは、50,000 台のサーバーを収容できるエネルギー効率の高い機能を備えた新しいカスタム設計の倉庫です。これらは非常に効率的な電力利用 (PUE) を提供します。

したがって、ローカルではなくクラウドでコンピューティングすることで、エネルギーを 1.4 ～ 2 倍節約し、汚染を減らすことができます。

• 最適化: クラウドを使用すると、顧客は最もクリーンなエネルギーを備えたエリアを選択できるため、総二酸化炭素排出量を 5 ～ 10 分の 1 に削減できます。この負荷の増加は、4M、機械学習固有のハードウェア、効率的なデータセンターに基づく改良されたモデルによって大幅に相殺されます。

Google のデータによると、機械学習のトレーニングと推論は、過去 3 年間の Google の全体的なエネルギー使用量のわずか 10% ～ 15% を占め、年間では 35% が使用されています。推論では、25% がトレーニングに使用されます。

改善された機械学習モデルを見つけるために、Google は Neural Architecture Search (NAS) を使用しています。

NAS は通常、問題のドメインと検索スペースの組み合わせごとに 1 回だけ実行され、結果として得られるモデルは何百ものアプリケーションで再利用できます。継続的なベースであり、排出削減によって相殺されます。

研究者たちは、Transformer モデルをトレーニングするための研究を実施しました。

これを実現するために、世界平均と同様のエネルギー構成を持つ一般的なデータセンターで Nvidia P100 GPU を使用すると同時に、TPUv4 などの次世代 ML ハードウェアを使用することで、パフォーマンスが従来よりも向上しました。 P100が14倍。

同時に、効率的なクラウド データ センターは通常のデータ センターよりも 1.4 倍多くのエネルギーを節約し、総エネルギー消費量を 83 分の 1 に削減します。

さらに、低炭素エネルギーを利用したデータセンターでは、炭素排出量をさらに 9 倍削減でき、4 年間で合計 747 分の 1 を削減できます。

Google チームは、情報テクノロジーの分野では、あらゆるタイプやサイズのコンピューティング デバイスの製造にかかるライフサイクル コストが、機械学習の運用コストよりもはるかに高いと考えています。

排出量の推定製造コストには、チップからデータセンターの建物に至るまで、すべての関連コンポーネントの製造によって排出される埋め込み炭素が含まれます。

# もちろん、4M アプローチの使用に加えて、サービス プロバイダーとユーザーは、次のような二酸化炭素排出量のパフォーマンスを向上させるための簡単な手順を実行することもできます。 # お客様は、データセンタープロバイダーに各拠点のデータセンターの効率とエネルギー供給のクリーン度について報告させることで、エネルギー使用量と二酸化炭素排出量を分析し、削減する必要があります。

エンジニアは、クラウド化が進んでいる最も環境に優しいデータセンターの最速プロセッサでモデルをトレーニングする必要があります。

機械学習の研究者は、スパース性を利用したり、モデルを削減するための検索を含めたりするなど、より効率的なモデルの設計に重点を置く必要があります。

さらに、エネルギー消費量と二酸化炭素への影響も報告する必要があります。これにより、モデルの品質を超えた競争が促進されるだけでなく、作業が適切に評価されることも保証されます。

2. AI は炭素排出量の削減に貢献します

Baidu とコンサルティング会社 IDC (International Data Corporation) が共同で実施した調査によると、炭素削減に対する AI 関連テクノロジーの貢献は年々増加し、少なくとも2060 年までに 70%、炭素削減の総量は 350 億トンを超えると予想されます。

運輸業を例に挙げると、2020 年の中国の運輸業の二酸化炭素排出量は 10 億 4000 万トンと推定され、これは国全体の排出量の 9% を占めます。

運輸業界が炭素排出量削減を推進する過程で、インテリジェントな情報制御に基づく渋滞緩和インテリジェント交通技術を利用することで、都市の主要道路交差点の交通効率を効果的に改善できます。したがって、人口数千万の都市は、毎年少なくとも 41,600 トンの炭素排出量を削減できます。これは、1 年間に走行する 14,000 台の自家用車の炭素排出量に相当します。

現在の実務から判断すると、排出削減の理解と達成の鍵は排出削減効果の予測と監視であり、AI には省エネにおける排出量の予測と排出量の監視機能があると排出削減。排出削減のための 3 つの主要なアプリケーションです。

「カーボンニュートラル産業発展白書」によると、排出量の予測に関して、AI は現在の排出量削減の取り組みとニーズに基づいて将来の炭素排出量を予測することができます。二酸化炭素排出量を決定するのに時間がかかります。排出量削減ガイドライン。

排出量の監視に関しては、AI は二酸化炭素排出量データをリアルタイムで追跡し、調達、生産、販売、運用と保守、物流などのあらゆる側面からデータを収集し、モニタリングの精度を向上させます。

排出量削減の観点からは、AI が各リンクからデータを収集した後、グローバルな観点から各リンクのワークフローを最適化および調整できます。

実は、二酸化炭素排出削減を支援するAIという点では、国内の多くの分野で活用されています。

新エネルギーの分野における顕著な問題は、その不安定性、ランダム性、断続的な特性にあります。

AI テクノロジーとシミュレーション計算を組み合わせて風力発電と太陽光発電の不安定性を予測します。たとえば、風速、風向、光の強さ、その他の自然気象特性を組み合わせて将来を合理的に予測します。発電量を予測し、より正確な発電計画を電力網に出力し、新しいエネルギー源の不確実性と不安定性を技術層で保護します。

別の例として、水グループの管轄には、原水、水製造、上水道、排水、下水、水保全などが含まれます。

住民への給水を例にとると、水圧が高すぎると多くのエネルギーが必要となり、配管網の漏水率も高くなります。水道の圧力が低すぎると配管の爆発の原因となり、住民の水道使用に迷惑がかかります。

この問題を解決するために、水道グループは、水圧を監視するハードウェアセンサーを地下に設置し、ウォーターブレインを構築しました。安全で安定した水の供給を前提に、AI技術を活用することで、インテリジェンスを実現するために使用され、電圧調整制御とエネルギー消費の最適化が実現されます。

それだけでなく、AI 炭素削減テクノロジーは、発電所、公園、データセンターなどのエネルギー消費量の多いビジネス シナリオでも使用され、生産電力のニーズを正確に予測および制御します。電力を消費する機器と二酸化炭素排出量を最適化します。

3. 結論

AI技術の進歩は人類に多くの利便性をもたらしましたが、開発にあたっては環境問題にも注意を払う必要があります。

AI が将来どのように持続可能な発展を達成できるか、また AI がデュアルカーボン分野の変化をどのようにより適切にサポートできるかは、依然としてすべての業界が解決する必要がある問題です。

以上が大規模な AI モデルの背後には、驚くべき量の二酸化炭素排出量がありますの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。