Moore Thread 'KUAE Intelligent Computing Cluster KUAE' versi 1.2 dikeluarkan: menyokong teks panjang 64K, menambah LLaMA2 siri penuh model besar, dsb.

Tapak ini melaporkan pada 19 Ogos bahawa versi 1.2 urutan Moore "Kluster Pengkomputeran Pintar KUAE" telah dikeluarkan secara rasmi. Versi ini mengoptimumkan kelengkapan tahap perisian dan perkakasan, menyokong teks sepanjang 64K, menambah rangkaian penuh model besar LLaMA2, Baichuan, Yayi, Qwen2, Mixtral (MoE 8x7B) dan model lain.

1. Peningkatan MFU

   • Menggunakan kluster kilokad untuk melatih 100 bilion model, MFU meningkat sebanyak 10%.
   • Latihan kluster model padat MFU mencapai sehingga 55%.

2. Flash Attention2 pengoptimuman

   • Sepadukan teknologi Flash Attention2 yang dioptimumkan bagi platform MUSA SDK untuk meningkatkan kecekapan latihan model besar dan penggunaan sumber.

3. 64K sokongan teks panjang

   • Sokongan yang dipertingkatkan untuk latihan model besar teks panjang, mengoptimumkan keupayaan untuk mengendalikan pemahaman teks panjang dan tugas penjanaan.

4. Menyokong model pakar hibrid MoE

   • All2All pengoptimuman, mengoptimumkan operasi matriks di bawah bentuk yang berbeza untuk pengendali muDNN, dan menyokong latihan model besar MoE.

5. Teruskan latihan di titik putus

   • Tingkatkan prestasi membaca dan menulis di pusat pemeriksaan serta meningkatkan kecekapan latihan.

6. Optimumkan DeepSpeed

   • Suaikan DeepSpeed dan Ulysses kepada kluster GPU benang Moore untuk meningkatkan sokongan latihan teks panjang.
   • Sesuai untuk banyak model besar di dalam dan luar negara.

7. Meningkatkan kestabilan

   • Perisian dan perkakasan matang, mencapai latihan tanpa masalah selama 15 hari berturut-turut.
   • Memperkenalkan fungsi kebolehpercayaan KUAE Aegis untuk mengukuhkan pemantauan, diagnosis automatik dan keupayaan pemulihan kerosakan.

8. Visualisasi/observability

   • Memperkenalkan sistem pemantauan prestasi PerfSight untuk memaparkan penggunaan sumber dan data prestasi semasa proses latihan dalam masa nyata.

9. Model besar baharu telah ditambah pada perpustakaan model terbina dalam

   • Tambahan siri penuh LLaMA2, Baichuan, Yayi, Qwen2, Mixtral (MoE 8x7B) dan model lain.

Atas ialah kandungan terperinci Moore Thread 'KUAE Intelligent Computing Cluster KUAE' versi 1.2 dikeluarkan: menyokong teks panjang 64K, menambah LLaMA2 siri penuh model besar, dsb.. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!