テキスト生成人工知能は、最近インターネットを席巻しています。ChatGPT は、考えられるほぼすべての質問に対して、非常に詳細で現実に近い回答を提供する機能で人気があります。大規模なモデル アプリケーションの出現により、人々は AI テクノロジーの画期的な進歩に自信を深めていますが、その背後で分散型機械学習フレームワークがこの生成 AI 革命を推進していることを知っている人はほとんどいません。
A16z が支援するスタートアップ Anyscale の分散コンピューティング フレームワーク Ray は、OpenAI が ChatGPT のようなトレーニング モデルを強化できるようにする鍵となります。 Ray は、OpenAI の最近の大規模言語モデルすべての背後にあり、OpenAI の待望の GPT-4 の背後にあるフレームワークでもある可能性があります。大型モデル技術の導入が進む中、人間に近いコンテンツを生成することで数十億ドル規模の産業が形成されつつあると業界関係者らは考えている。
この分野では、Ray が最も影響力のあるフレームワークです。 OpenAI が登場する前は、カスタム ツールのコレクションを使用して大規模なモデルを開発していました。しかし、OpenAIの社長グレッグ・ブロックマンは、今年初めのRayサミットで、同社が直面する課題が増大したためRayに頼ったと述べた。
ソフトウェア会社 Weights & Biases の CEO、Lukas Biewald 氏は、Ray はすでに AI 界の注目の新星であると信じています。 「新しいツールのおかげで、ラップトップと大規模な分散サーバーで同じコードを実行できるようになりました。これは大きな変化であり、モデルが大きくなるにつれてその重要性はさらに高まるでしょう」とビーワルド氏は語った。
テクノロジーが成熟するにつれて、レイは資本市場の注目を集めています。事情に詳しい関係者によると、エニースケールの株式は希少商品となっており、ビジネス・インサイダーは、同社の価値を10億ドル以上としたシリーズCラウンドの延長である最新の資金調達ラウンドが数日以内に終了したと報じた。
一部の投資家は Anyscale を Horowitz の希望に満ちた「次の Databricks」であると表現しています。このスタートアップの共同創設者である Ion Stoica が Databricks の共同創設者であることを考えると、この説明は合理的だと思われます。時価総額310億ドルのデータ巨人。
「人工知能は信じられないほどのペースで発展しており、人々は常に新しいアプローチを試しています」と Anyscale の CEO、ロバート 西原氏は述べています。 「ChatGPT は、大規模な言語モデルに関する多くのこれまでの成果を組み合わせたものです。これに加えて、柔軟性、迅速なイノベーション、さまざまなアルゴリズムやメソッドの拡張を可能にするインフラストラクチャが必要です。」
ChatGPT のような注目の新ツールの背後にあるモデルがますます大規模になっているため、テクノロジー企業は AI の開発方法を根本から再考する必要があります。 Ray は、これらの大規模なモデルのトレーニングを容易にするために生まれました。Ray は、数千億のデータ ポイントを含めることができるため、それぞれの応答にまるで本物のような感覚を与えることができます。
Ray は、メモリ共有に基づく分散コンピューティング フレームワークであり、きめ細かい並列コンピューティングとヘテロジニアス コンピューティングに適しています。これは、機械学習モデルのトレーニング作業を分散するという複雑なタスクを管理するための基盤となるインフラストラクチャを提供します。
2017 年、カリフォルニア大学バークレー校の研究者は、Ray の論文「Ray: A Distributed Framework for Emerging AI Applications」を初めて提出しました。
#この研究では、研究者たちは次世代の AI アプリケーションがどのようなものになるかを予測しています。つまり、継続的なインタラクションを伴うものです。環境とともに学び、インタラクティブなアクションから学びます。これらのアプリケーションは、長期的な目標を達成するために、動的環境でタスクを完了し、環境の変化に対応し、一連のアクションを実行する必要がますます高まっています。これらの特性により、動作環境のパフォーマンスと柔軟性に対する新しく厳しいシステム要件が求められるため、研究者は分散ベースの Ray フレームワークを提案しました。
Ray は、タスクの並列処理とアクターベースの計算を表現できる統合インターフェイスを実装しており、単一の動的実行エンジンによってサポートされています。パフォーマンス要件を満たすために、Ray は分散スケジューラと分散フォールト トレラント ストレージを使用してシステムの制御状態を管理します。トレーニング、シミュレーション、サービスを統合する初の分散コンピューティング フレームワークであり、動的タスク実行エンジンに基づいてロール並列 (アクター) とタスク並列 (タスク) の計算を統合し、フレームワークの高い拡張性と高性能を保証します。許容範囲。
Ray のアーキテクチャ。
この成果に基づいて、2019 年 12 月にカリフォルニア大学バークレー校のロバート 西原氏、フィリップ モリッツ氏、イオン ストイカ氏、およびバークレー教授のマイケル I. ジョーダン氏が Anyscale を設立しました。これまでに2億6000万ドルを調達しています。
#機械学習の実践者は、ユーザーがどの製品を購入するかを予測する単純なモデルなど、ラップトップ上の限られたデータセットを使用して小規模なモデルを実行できることがよくあります。ただし、ラップトップは、トレーニングに大規模なサーバーを必要とする ChatGPT のような非常に大規模なモデルには適していません。
多数のデバイスを使用してモデルをトレーニングする場合、さまざまなハードウェアでのトレーニングを調整するという重要な課題に直面します。 Ray はまさにこの問題を解決します。さまざまなハードウェアを 1 つの単位として管理して、どのデータがどこに送信されるかを決定し、障害に対処するためのメカニズムを実務者に提供します。ハードウェアの種類は、Google Cloud、AWS などにまたがります。同じ問題に対処する製品のポートフォリオです。 。さらに、レイは、他の言語では主要なプログラミング概念である「アクター」を、機械学習プログラムに最適な言語として知られる Python にも拡張しました。
分散コンピューティング フレームワークとして、Ray には 2 つの重要な利点があります。それは、位置認識 (Locality-aware) とタスク配置 (タスク配置) です。 。以下の図に示すように、Ray はシステムをスケールアウトして、フォールト トレランスと低遅延タスク スケジューリングを維持しながら、高スループットのきめ細かいタスクをサポートできます。
Ray は、OpenAI 用の大規模モデルのトレーニングから大幅な複雑さを取り除き、企業を解放してモデルの重要な機能に集中できるようにします。
次世代 AI には新しい開発ツールが必要ですが、Ray は、AI 開発方法を急速に破壊しつつある、急速に出現している次世代機械学習ツールの 1 つにすぎません。たとえば、Google の JAX フレームワークも大きな注目を集めており、JAX は Google の中核となる機械学習ツールのバックボーンとなることが期待されており、DeepMind や Google Brain で広く採用されています。
同様に、FirstMark Capital と Bessemer Venture Partners が支援するスタートアップ企業である Coinled は、Dask と呼ばれる並列コンピューティング フレームワークを開発しました。
大規模な言語モデルは最近、さらなる可能性を解き放ちつつあり、これらの新しい機械学習ツールは、業界の大手テクノロジー企業や新興企業向けに、より強力な言語モデルを構築することになります。
以上がChatGPT を支えるオープンソース AI フレームワークである Ray の価値は現在 10 億ドルの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。
![[Web フロントエンド] Node.js クイック スタート](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
