ハードウェアアクセラレーションは未来を促進します

しかし、これらの進歩をムーアの法律に戻し、倍数の倍増機能がどのように機能するかを真に展開すると、写真が明らかになります。

王に1粒の米を頼んだ賢者（時にはチェスの発明者と言われることもあります）のたとえを思い出して、ボードの各正方形で64回倍増しました。その物語は、指数関数的な成長が控えめにどのように始まるかを完全に示しています - 1、2、4、8、16、32-は突然数字に爆発し、想像力に反します。最終的な広場では、18キンティリオン、446四分の1、744兆粒の米を扱っています。

それは単純な数学ですが、魔術のように感じます。そして、私はウィキペディアの物語の起源についてのこの脚注が大好きです。「バージョンに応じて、賢い発明家は信頼できる王室の顧問になるか、速やかに処刑されます。」

これと同じ原則が、今日のAIブームで展開されています。実際、AIの先見の明のあるRay Kurzweilは、「チェスボードの後半」という用語を生み出し、指数関数的進行がかろうじて目立たないように変換される瞬間を説明しました。前半は管理しやすいように見えます。後半は現実を変えます。それは、曲線が上昇するだけではなく、上向きにロケットをかけ、かつて私たちが永続的だと思っていた天井を突破します。

ハードウェアイノベーションの途方もない速度

CerebrasのWSEチップについて以前に書いたことがあります。シリコンは、ディナープレートのサイズで、約90,000コアが詰め込まれています。

IEEE Spectrumのような情報源からの報告によると、WSE-2（セレブラスCS-2システムで使用）は、約7.5のFP16コンピューティングの約7.5ペタフロップスを達成し、1秒あたり7,500兆もの操作を実現しています。新しいWSE-3？驚くべき125ペタフロップに飛びつきます。

これらのチップの1つを保持することは、未来を保持するようなものです。それは、大規模な並列性の生の力を具体化します。少し前に、デュアルコアプロセッサを祝いました。その後、クアッドコア、オクタコアが来ました。今、私たちは何万ものコアが一斉に動作する領域に入りました。

次に、Huawei CloudMatrixのようなシステムがあり、正確な仕様は密接に警備されていますが、基礎となるメッセージは紛れもないものです。コンピューティングパワーは、ほとんどの人が概念化できるものを超えています。

エコシステムとしてのハードウェア

最近のTEDイベントで、若い技術者のカレブ・シラックは、ハードウェアを一種の「シリコン刑務所」としてフレーミングする説得力のある講演を行いました。

彼は、ハードウェア加速の進化を歩きました。初期のマシンから数百万の操作を1秒あたりの操作に取り扱っており、今日のシステムは数兆、さらには四十億人でさえも。ゲームは早期イノベーションを促進するのに役立ったが、NvidiaのCUDAのようなプラットフォームがGPUコンピューティングの汎用への扉を開いたときに、本当のブレークスルーが起こったと彼は指摘した。

今、彼は、新しいパラダイムの時だと主張しました。

「アーキテクチャ全体を再考する必要があります」とSirakは述べました。

ハードウェアの利点を主張します

次世代のGPUパフォーマンスのロックを解除するための1つの鍵は、量子化です。

たとえば、4ビットの乗数は、32ビットの対応物よりも劇的に効率的であり、電力、スペース、時間を減らします。

彼は、データの動きを最小限に抑えることでAIの効率を超えることができる主要な例として、CerebrasのWSEのようなチップを引用しました。

「パラメーターが小さい場合、彼は、メモリとネットワークの相互接続でボトルネックを大幅に削減し、システム全体にそれらをより多く動かすことができます。」

彼はXaiのColossusプロジェクトとその野心的な「ロードマップ」を参照して、最大100万GPUを拡大しました。しかし、その規模でさえ、効率は王様のままです。

「曲がりくねった通りと混合交通で都市を設計することができます」と彼は言いました。

彼は、いくつかの企業が、ハードウェアユニットの調整されたクラスター（「インテリジェントコロニー」と呼んでいるものを作成するための努力を強調しました。

「AIチップを解き放ち、建築の飛躍を介してロックされている機能は変革的です」とSirak氏は付け加えました。 「そして、この革命には人類に利益をもたらすためには、イノベーションは開かれ、アクセスしやすく、グローバルに共有されなければなりません。その中心には、驚異的な複雑さのサプライチェーンがあります。ある大陸で採掘された希土類要素、別の大陸からの洗練された化学物質、3分の1の最終的な製造です。」

グローバルな相互依存を説明するために、彼は、最終目的地に到達する前に、単一のチップが12か国を横断する可能性があることを指摘しました。これは、TSMC（Taiwan Semiconductor Manufacturing Company）が世界の高度な半導体チップの大部分を生産していることを知っている人にとって完全に理にかなっています。

1つ確かなことは、私たちは今、ホッケースティックカーブの垂直方向の急増に深く深くなっています。これは、ハードウェア加速の歴史的な波です。未来が来るだけではありません。すでにここにあります。

以上がハードウェアアクセラレーションは未来を促進しますの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。