CNCF のクラウドネイティブ AI ホワイトペーパーの詳細

KubeCon EU 2024 中に、CNCF は初のクラウドネイティブ AI ホワイトペーパーを発表しました。この記事では、このホワイトペーパーの内容を詳細に分析します。

KubeCon EU 開催中の 2024 年 3 月、クラウドネイティブ コンピューティング財団 (CNCF) は、クラウドネイティブ人工知能 (CNAI) ¹ に関する最初の詳細なホワイトペーパーをリリースしました。このレポートでは、クラウド ネイティブ テクノロジーと人工知能の統合の現状、課題、将来の開発の方向性を幅広く調査しています。この記事では、このホワイトペーパーの中核となる内容について詳しく説明します。

この記事は、中型 MPP プランで初めて公開されました。ミディアムユーザーの方はミディアムでフォローしてください。誠にありがとうございます。

クラウドネイティブAIとは何ですか?

クラウドネイティブ AI とは、クラウドネイティブのテクノロジー原則を使用して人工知能アプリケーションとワークロードを構築およびデプロイすることを指します。これには、AI アプリケーションのスケーラビリティ、再利用性、操作性を強化するために、マイクロサービス、コンテナ化、宣言型 API、継続的インテグレーション/継続的デプロイ (CI/CD) などのクラウドネイティブ テクノロジーを活用することが含まれます。

次の図は、ホワイトペーパーに基づいて再描画されたクラウドネイティブ AI のアーキテクチャを示しています。

クラウドネイティブ AI とクラウドネイティブ テクノロジーの関係

クラウドネイティブ テクノロジーは、AI アプリケーションの開発と運用をより効率的にする、柔軟でスケーラブルなプラットフォームを提供します。コンテナ化とマイクロサービス アーキテクチャを通じて、開発者はシステムの高可用性とスケーラビリティを確保しながら、AI モデルを迅速に繰り返してデプロイできます。リソースのスケジューリング、自動スケーリング、サービス検出としての Kuuch。

ホワイトペーパーでは、クラウド ネイティブ AI とクラウド ネイティブ テクノロジ、つまりクラウド ネイティブ インフラストラクチャでの AI の実行の関係を説明する 2 つの例が提供されています。

• Hugging Face が Microsoft と協力して Azure 上で Hugging Face モデル カタログを開始²
• OpenAI Kubernetes を 7,500 ノードに拡張³

クラウドネイティブ AI の課題

AI アプリケーションに強固な基盤を提供しているにもかかわらず、AI ワークロードをクラウドネイティブ プラットフォームと統合する際には依然として課題があります。これらの課題には、データ準備の複雑さ、モデル トレーニングのリソース要件、マルチテナント環境でのモデルのセキュリティと分離の維持などが含まれます。さらに、クラウドネイティブ環境でのリソース管理とスケジューリングは大規模な AI アプリケーションにとって重要であり、効率的なモデルのトレーニングと推論をサポートするにはさらなる最適化が必要です。

クラウドネイティブ AI の開発パス

ホワイトペーパーでは、AI ワークロードをより適切にサポートするためのリソース スケジューリング アルゴリズムの改善、AI アプリケーションのパフォーマンスとセキュリティを強化するための新しいサービス メッシュ テクノロジの開発、クラウドネイティブ AI の革新と標準化の促進など、クラウドネイティブ AI のいくつかの開発パスを提案しています。オープンソース プロジェクトとコミュニティ コラボレーションによる AI テクノロジー。

クラウドネイティブ AI テクノロジーの展望

クラウドネイティブ AI には、コンテナーやマイクロサービスからサービス メッシュやサーバーレス コンピューティングに至るまで、さまざまなテクノロジーが含まれます。 Kubernetes は AI アプリケーションのデプロイと管理において中心的な役割を果たし、Istio や Envoy などのサービス メッシュ テクノロジーは堅牢なトラフィック管理とセキュリティ機能を提供します。さらに、Prometheus や Grafana などの監視ツールは、AI アプリケーションのパフォーマンスと信頼性を維持するために不可欠です。

以下は、ホワイトペーパーで提供されているクラウドネイティブ AI ランドスケープ図です。

• Kubernetes
• 火山
• 無敵艦隊
• キュベレイ
• NVIDIA NeMo
• ユニコーン
• キュー
• 炎

分散型トレーニング

• Kubeflow トレーニング オペレーター
• パイトーチ DDP
• TensorFlow 分散
• MPI を開く
• ディープスピード
• メガトロン
• ホロヴォド
• アプラ
• …

ML サービング

• クサーブ
• セルドン
• VLLM
• TGT
• スカイパイロット
• …

CI/CD — 配信

• Kubeflow パイプライン
• マルフロー
• TFX
• BentoML
• MLRun
• …

データサイエンス

• ジュピター
• Kubeflow ノートブック
• PyTorch
• TensorFlow
• アパッチ・ツェッペリン

ワークロードの可観測性

• プロメテウス
• 流入データベース
• グラファナ
• 重みとバイアス (wandb)
• OpenTelemetry
• …

AutoML

• ハイパーオプト
• オプチュナ
• Kubeflow カティブ
• NNI
• …

ガバナンスとポリシー

• カイベルノ
• Kyverno-JSON
• OPA/ゲートキーパー
• StackRox マインダー
• …

データアーキテクチャ

• クリックハウス
• アパッチ ピノ
• アパッチドルイド
• カサンドラ
• スキュラDB
• Hadoop HDFS
• Apache HBase
• プレスト
• トリノ
• Apache Spark
• Apache フリンク
• カフカ
• パルサー
• 流体
• Memcached
• レデ​​ィス
• アリュシオ
• Apache スーパーセット
• …

ベクトルデータベース

• クロマ
• ウィービエイト
• 象限
• 松ぼっくり
• 拡張機能
• レデ​​ィス
• Postgres SQL
• エラスティックサーチ
• …

モデル/LLM 可観測性

• • トルレンス
• ラングフューズ
• ディープチェック
• OpenLLMetry
• …

結論

最後に、次の重要なポイントをまとめます:

• オープンソース コミュニティの役割 : このホワイトペーパーでは、オープンソース プロジェクトや広範なコラボレーションによるイノベーションの加速やコスト削減など、クラウドネイティブ AI の推進におけるオープンソース コミュニティの役割が示されています。
• クラウド ネイティブ テクノロジーの重要性 : クラウド ネイティブの原則に従って構築されたクラウド ネイティブ AI は、再現性と拡張性の重要性を強調しています。クラウドネイティブ テクノロジーは、特にリソース スケジューリングとサービスのスケーラビリティにおいて、AI アプリケーションの効率的な開発および運用環境を提供します。
• 既存の課題 : クラウドネイティブ AI は多くの利点をもたらしますが、データの準備、モデルのトレーニング リソース要件、モデルのセキュリティと分離において依然として課題に直面しています。
• 将来の開発の方向 : ホワイトペーパーでは、AI ワークロードをサポートするリソース スケジューリング アルゴリズムの最適化、パフォーマンスとセキュリティを強化する新しいサービス メッシュ テクノロジの開発、オープンソース プロジェクトとコミュニティ コラボレーションを通じた技術革新と標準化の促進などの開発パスを提案しています。 .
• 主要な技術コンポーネント : クラウドネイティブ AI に関連する主要なテクノロジーには、コンテナー、マイクロサービス、サービス メッシュ、サーバーレス コンピューティングなどが含まれます。 Kubernetes は AI アプリケーションの展開と管理において中心的な役割を果たし、Istio や Envoy などのサービス メッシュ テクノロジーは必要なトラフィック管理とセキュリティを提供します。

詳細については、クラウドネイティブ AI ホワイトペーパー ⁴ をダウンロードしてください。

参考リンク

---

1. ホワイトペーパー: ↩︎

2. Hugging Face が Microsoft と協力して Azure 上で Hugging Face モデル カタログを開始 ↩︎

3. OpenAI Kubernetes を 7,500 ノードにスケーリング: ↩︎

4. クラウドネイティブ AI ホワイトペーパー: ↩︎

以上がCNCF のクラウドネイティブ AI ホワイトペーパーの詳細の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。