Moore Thread「Kua'e Intelligent Computing Cluster KUAE」バージョン 1.2 リリース: 64K の長いテキストをサポート、LLaMA2 フルシリーズの大型モデルなどを追加。-IT業界-php.cn

このサイトは、8 月 19 日にムーア氏のスレッド「KUAE Intelligent Computing Cluster」のバージョン 1.2 が正式にリリースされたと報告しました。このバージョンでは、ソフトウェアおよびハードウェアレベルの包括性が最適化され、64K の長いテキストがサポートされ、LLaMA2 大型モデル、Baichuan、Yayi、Qwen2、Mixtral (MoE 8x7B) およびその他のモデルの全範囲が追加されています。

摩尔线程“夸娥智算集群 KUAE” 1.2 版本发布：支持 64K 长文本、新增 LLaMA2 全系列大模型等

更新内容:

MFUの改善
- キロカードクラスターを使用して1,000億のモデルをトレーニングし、MFUが10%増加しました。
- 高密度モデルクラスタートレーニング MFU は最大 55% に達します。
Flash Attendant2 最適化
- MUSA SDK プラットフォームの最適化された Flash Attendant2 テクノロジーを統合して、大規模モデルのトレーニング効率とリソース使用率を向上させます。
64K の長いテキストのサポート
- 長いテキストの大規模モデルのトレーニングのサポートを強化し、長いテキストの理解と生成タスクを処理する機能を最適化します。
ハイブリッドエキスパートモデルMoE
- All2All最適化をサポートし、muDNNオペレーターのさまざまな形状の下で行列演算を最適化し、MoE大規模モデルトレーニングをサポートします。
ブレークポイントでトレーニングを継続
- チェックポイントの読み取りおよび書き込みパフォーマンスを向上させ、トレーニング効率を向上させます。
DeepSpeedを最適化
- DeepSpeedとUlyssesをMooreスレッドのGPUクラスターに適応させて、長いテキストトレーニングのサポートを強化します。
- 国内外の多くの大型モデルに適しています。
安定性の向上
- 成熟したソフトウェアとハードウェアにより、15日間連続でトラブルのないトレーニングを達成しました。
- KUAE Aegisの信頼性機能を導入し、監視、自動診断、障害回復機能を強化します。
視覚化/可観測性
- PerfSight パフォーマンス監視システムを導入して、トレーニングプロセス中のリソース消費とパフォーマンスデータをリアルタイムで表示します。
新しい大型モデルが内蔵モデルライブラリに追加されました
- LLaMA2 フルシリーズ、Baichuan、Yayi、Qwen2、Mixtral (MoE 8x7B) およびその他のモデルが追加されました。

以上がMoore Thread「Kua'e Intelligent Computing Cluster KUAE」バージョン 1.2 リリース: 64K の長いテキストをサポート、LLaMA2 フルシリーズの大型モデルなどを追加。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。