Kimi Chat の内部テストが開始、Volcano Engine が高速化ソリューションを提供、Moonshot AI 大規模モデル サービスのトレーニングと推論をサポート

10月9日、北京月撃AI技術有限公司(Moonshot AI)は「長文」分野における画期的な進歩を発表し、20万字の漢字の入力をサポートする初のインテリジェントアシスタント製品「キミチャット」を発売した。これは、世界市場で商業的に使用できる大規模モデル サービスでサポートできるコンテキスト入力の長さとしては最長であり、この重要なテクノロジーにおける Moonshot AI の世界的リーダーシップを示しています。

Volcano Engine は Moonshot AI と緊密に連携し、安定性とコスト効率の高い AI トレーニングおよび推論高速化ソリューションを独占的に提供しており、両社は共同で技術研究開発を実施し、大規模な言語モデルの適用を共同で推進しています。垂直フィールドと一般的なシナリオ。同時に、Kimi Chat はまもなく Volcano Engine 大型モデル サービス プラットフォームである Volcano Ark に加わります。両社は引き続き、大型モデル エコロジーの分野で、より豊富な AI アプリケーションを企業と消費者に提供していきます。

現在市販されている英語研修をベースとした大型モデルサービスと比較して、キミチャットは多言語対応力が高く、例えば中国語では大きなメリットがあり、実際の利用効果では約20万人の中国語をサポート可能ですAnthropic の Claude-100k (実測約 80,000 ワード) の 2.5 倍、OpenAI の GPT-4-32k (実測約 25,000 ワード) の 8 倍です。同時に、Kimi Chat は、革新的なネットワーク構造とエンジニアリングの最適化を通じて、数千億のパラメーターの下で損失のない長距離注意メカニズムを実現でき、スライディング ウィンドウ、ダウンサンプリング、小規模モデルなどの「近道」ソリューションに依存しません。性能を大きく損なう可能性があります。

Moonshot AI の創設者である Yang Zhilin 氏は、以前のインタビューで、テキスト、音声、ビデオを問わず、大量のデータを可逆圧縮することで高度なインテリジェンスを実現できると述べました。大規模なモデルの能力 (可逆圧縮率) の上限は、シングル ステップ能力と実行されるステップ数の両方によって決まります。前者はパラメータの数に関係し、後者はコンテキスト長に関係します

大規模な言語モデルの実装の課題に対処し、業界アプリケーションの実装を促進する

Moonshot AI は、コンテキストの長さを増やすことで大規模モデル アプリケーションに新たな開発の機会をもたらし、LLM 時代から Long LLM (LLLM) 時代に入り、さまざまな業界への正確な適応を実現できると考えています。長いテキスト シーンを処理するための効果的な方法を模索する場合、大規模モデル アプリケーションは、パーソナライズされた大規模モデル機能の開発のための新しい道を模索しながら、モデルの錯覚の問題を解決し、生成されたコンテンツの制御性を向上させるための新しい手段を継続的に模索する必要があります。 。大規模な言語モデルの開発プロセスでは、言語モデルのトレーニング効率を向上させるために、コンピューティング リソース要件の拡大、タスク エンジニアリングの不安定性、プロジェクト コストの高さ、セキュリティと信頼性などの複数のしきい値を克服する必要もあります。モデル

上記の問題を解決するために、Moonshot AI は Volcano Engine と協力して AI テクノロジーを革新し、Volcano Engine 機械学習プラットフォーム veMLP 上で AGI 実践を実施しました。 Moonshot AI は、GPU リソース プールを最大限に活用し、大規模な事前トレーニング モデルに基づいて、1 日あたり数千カロリーの規模で通常の安定したトレーニングを実現し、6 か月以内に大規模言語 Kimi Chat をトレーニングできます数千億のパラメータ規模のモデルを構築し、プロのシーンライティングや超長文テキストを解き放つ分析、超長期記憶によるパーソナライズされた対話、大量のドキュメントに基づく知識Q&Aなどの複雑なシナリオを理解できます。多くの有名企業で使用され、成功を収めています。

Moonshot AI の共同創設者、Zhou Xinyu 氏は次のように述べています。「Moonshot AI は、一般的な人工知能の境界を探索することに重点を置き、コンピューティング能力をインテリジェントな最適ソリューションに変換することに取り組んでいます。Volcano Engine は、国内をリードするインフラストラクチャ機能とコンピューティング能力の予備力を備えています。今後、両社はAIコンピューティングインフラストラクチャとアプリケーションシナリオの拡張においてさらに協力し、共同で人工知能技術の開発を促進し、安定した効率的でインテリジェントなサービス体験をユーザーに提供していきます。」

Volcano Engine 機械学習プラットフォームを使用すると、大規模なモデルのトレーニングをより安定して高速化できます

Volcano Engine は、大規模モデルの構築とトレーニングのための、安定性とコスト効率の高い AI トレーニングと推論高速化ソリューションを提供します。その機械学習プラットフォーム veMLP は、Douyin などの大規模なユーザー ビジネスによって長年にわたって磨き上げられ、フルスタック AI 開発エンジニアリング最適化ソリューション、タスク障害の自己修復、実験的可観測性、その他のソリューションとベスト プラクティスにより、効率的、安定性、安全性、信頼性の高いワンストップ AI アルゴリズム開発および反復サービスを提供し、大規模なモデルのトレーニングをより速く、より安定させます。より信頼性を高め、高いコストパフォーマンスを実現。 Moonshot AI は、Volcano Engine が提供する超大規模 AI トレーニングおよび推論高速化ソリューションに基づいており、チームが継続的なトレーニングの反復、微調整、大規模な言語モデルの推論を迅速かつ安定して低コストで実現できるように支援します。

1. IaaS のコンピューティング能力とストレージ リソースのスケーリングされたスケジューリング

高性能コンピューティング クラスターを構築して、10,000 ka レベルの大規模モデル トレーニング、マイクロ秒レベルの遅延ネットワーク、エラスティック コンピューティングを実現し、コンピューティング電力コストの 70% を節約します。vePFS TOS ホットおよびコールド階層型アクセラレーション ソリューションを使用して、トレーニング データの高スループットに対応し、全体的なストレージ コストが 65% 削減されます。大規模モデルのファイル システムの読み取りおよび書き込みパターンに対して、グラフィック カードの使用率を大幅に向上させる専用のファイル キャッシュ システムを共同開発しました。

2. PaaS コンピューティング クラスターの安定性を確保する

超大規模トレーニング クラスターの安定性を最適化し、ハードウェア障害の自己修復最適化と独立した診断機能を提供し、ユーザー タスクがトレーニングを迅速に再試行して再開できるようにし、月次レベルの安定したトレーニングを実現します。通信アフィニティの最適化、RingAllReduce のクロススイッチ通信の削減。

3. 高い可観測性の実験

複数のトレーニング タスクの実験管理を実施し、視覚化を通じてトレーニング結果を比較し、反復的に起動するモデルを決定します。完全なモニタリング ログを使用して、ビジネスが 3D 並列パラメータを最適化し、トレーニングの欠陥を特定できるようにします

大規模モデルサービス向けのセキュリティ相互信頼ソリューション

トラステッド プライバシー コンピューティングと LLM アプリケーションを組み合わせて、セキュリティ サンドボックス機能を提供し、開発者の権限制御を改善します。また、Volcano Engine は Moonshot AI と連携して、大規模モデルの開発習慣に適したワークフローを設計し、データへの階層的なアクセスを確保し、作業効率を確保しながらデータのセキュリティを確保します。

Volcano Engine のインテリジェント アルゴリズム責任者である

Wu Di 氏は次のように述べています。「Volcano Engine は常にテクノロジーに焦点を当て、パートナーに力を与え、価値観の共生を図るという協力的な姿勢を堅持してきました。Moonshot AI は最先端の大型モデルの研究開発を行っています」 「チームは中国にあり、AI テクノロジーに対する深い理解と理解を持っています。アプリケーションの経験、両者の協力により、マルチモデルの生態サービスの分野で、より豊富な AI アプリケーションを企業と消費者にさらに提供できるようになります。」

ボルケーノ アークの機能のパノラマ

現在、Volcano Ark は、Zhipu AI、Minimax、ByteDance Skylark など、多くの AI テクノロジー企業や科学研究機関から大型モデルを引き付けています。 Moonshot AI の大規模モデル サービス Kimi Chat も Volcano Ark に登場します。 Volcano Engineは、国内の優れた大型モデルサービスプロバイダーと協力して、モデルのトレーニング、推論、評価、微調整などのあらゆる機能とサービスを提供し、あらゆる分野のAI開発の加速を支援します。ボルケーノアークでは企業の皆様も大型模型を体験していただけますので、ボルケーノアークは皆様と一緒に成長していきたいと思っております！

以上がKimi Chat の内部テストが開始、Volcano Engine が高速化ソリューションを提供、Moonshot AI 大規模モデル サービスのトレーニングと推論をサポートの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。