本站 8 月 19 日訊息,摩爾線程「誇娥智算集群 KUAE」 1.2 版本正式發布。此版本對軟硬體層面的綜合性進行最佳化,支援 64K 長文本、新增 LLaMA2 全系列大模型、百川、雅意、Qwen2、Mixtral(MoE 8x7B)等模型。
![摩尔线程“夸娥智算集群 KUAE” 1.2 版本发布:支持 64K 长文本、新增 LLaMA2 全系列大模型等](https://img.php.cn/upload/article/000/000/000/172411036623962.gif)
更新內容:
MFU 提升
- 使用千卡集群訓練千億模型,MFU 提升 10%。
- 稠密模型群集訓練 MFU 最高達 55%。
Flash Attention2 最佳化
- 整合 MUSA SDK 平台最佳化後的 Flash Attention2 技術,提升大模型訓練效率與資源利用率。
64K 長文本支持
- 增強對長文本大模型訓練的支持,優化處理長文本理解和生成任務的能力。
支援混合專家模型 MoE
- All2All 優化,針對 muDNN 算子優化不同形狀下的矩陣運算,支援 MoE 大模型訓練。
斷點續訓
- 提升 Checkpoint 讀寫性能,提升訓練效率。
優化 DeepSpeed
- 適配摩爾線程 GPU 集群的 DeepSpeed 與 Ulysses,強化長文本訓練支援。
- 適配國內外多款大模型。
穩定性提升
- 軟硬體成熟,實現連續無故障訓練 15 天。
- 引入 KUAE Aegis 可靠性功能,加強監控、自動診斷與故障復原能力。
視覺化 / 可觀測
- 引入 PerfSight 效能監控系統,即時顯示訓練過程中的資源消耗與效能資料。
內建模型庫新增大模型
- 新增 LLaMA2 全系列、百川、雅意、Qwen2、Mixtral(MoE 8x7B)等模型。
以上是摩爾線程'誇娥智算集群 KUAE” 1.2 版本發布:支援 64K 長文本、新增 LLaMA2 全系列大模型等的詳細內容。更多資訊請關注PHP中文網其他相關文章!