Google、新世代の AI スーパーコンピューターを発表、NVIDIA A100 よりも高速でエネルギー効率が高いと発表

4月5日（現地時間火曜日）のニュースで、Alphabet傘下のGoogleはいくつかの新しい詳細を明らかにし、人工知能モデルのトレーニングに使用されるスーパーコンピューターを披露し、NvidiaのA100チップのシステムよりも強力であると述べた より高速でより多くのエネルギー効率的。

Google は Tensor Processing Unit (TPU) と呼ばれる独自のカスタム チップを設計し、これらのチップを人工知能トレーニング作業の 90% 以上に使用しています。このプロセスでは、モデルを通じてデータをトレーニングし、人間によるテキスト応答や画像生成などのタスクでの有用性を向上させます。

現在、Google TPUは第4世代に入りました。 Googleは火曜日、4,000個以上のチップをスーパーコンピュータに接続するために開発したカスタム光スイッチをどのように使用するかを詳しく説明した科学論文を発表した。

Google を推進しているいわゆる大規模言語モデルのサイズが増大しており、単一のチップに格納できなくなっているため、AI スーパーコンピューターを構築する企業にとって、これらの接続の改善は競争の重要なポイントとなっています。 Bard や OpenAI の ChatGPT など。

そのようなモデルは何千ものチップに分散し、数週間以上にわたって連携してモデルをトレーニングする必要があります。 Google の PaLM モデルは、これまでに公開された言語モデルとしては最大のもので、4,000 チップのスーパーコンピューター 2 台で 50 日間にわたってトレーニングされました。

Google は、自社のスーパーコンピューターがチップ間の接続を簡単かつ動的に再構成できるため、障害を回避し、パフォーマンスを最適化できると述べています。

「回路スイッチングにより、障害が発生したコンポーネントを簡単にバイパスできるようになります」と、Google 上級研究員 Norm Jouppi 氏と Google 特別技術者 David Patterson 氏は、このシステムについてブログ投稿で書いています。 「この柔軟性により、スーパーコンピューターの相互接続ネットワークのトポロジーを変更して、ML (機械学習) モデルのパフォーマンスを向上させることもできます。

Google はこれまでスーパーコンピューターの詳細を明らかにしていませんでしたが、同社のスーパーコンピューターは 2020 年以降、オクラホマ州メイズ郡のデータセンターで稼働しています。 Googleによると、新興企業Midjourneyは自社のモデルをトレーニングするためにシステムを使用しており、数語のテキストを入力すると新しい画像を生成できるという。

Googleは論文の中で、同社のスーパーコンピューターは、Nvidia A100チップをベースにしたシステムと比べて、同じサイズのシステムと比較して1.7倍高速で、1.9倍エネルギー効率が高いと述べた。 A100チップは第4世代TPUよりも早く発売されたことがわかります。

Googleは、H100はGoogleによるこのチップの適用後に発売され、より新しいテクノロジーを使用しているため、第4世代TPUをNvidiaの現在の主力チップであるH100チップと比較しなかったと述べた。

Googleは、Nvidia H100と競合する新しいTPUを開発していることを示唆しましたが、詳細は明らかにしませんでした。ジュッピ氏はメディアに対し、グーグルには「将来のチップを十分に蓄えている」と語った。

以上がGoogle、新世代の AI スーパーコンピューターを発表、NVIDIA A100 よりも高速でエネルギー効率が高いと発表の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。