Moore Thread 'Kua'e 지능형 컴퓨팅 클러스터 KUAE' 버전 1.2 출시: 64K 긴 텍스트 지원, 대형 모델의 LLaMA2 전체 시리즈 추가 등

8월 19일 본 사이트의 소식에 따르면 무어의 스레드 “KUAE 지능형 컴퓨팅 클러스터” 1.2 버전이 공식 출시되었습니다. 이 버전은 소프트웨어 및 하드웨어 수준의 포괄성을 최적화하고 64K 긴 텍스트를 지원하며 전체 범위의 LLaMA2 대형 모델, Baichuan, Yayi, Qwen2, Mixtral(MoE 8x7B) 및 기타 모델을 추가합니다.

1. MFU 프로모션# #

   킬로카드 클러스터를 사용하여 1,000억 개의 모델을 훈련하면 MFU가 10% 증가했습니다.
   • 밀도 모델 클러스터 학습 MFU가 최대 55%에 도달합니다.

2. Flash Attention2 최적화

   통합 MUSA SDK 플랫폼 최적화 Flash Attention2 기술은 대규모 모델 훈련 효율성과 리소스 활용도를 향상시킵니다.

3. 64K 긴 텍스트 지원

   긴 텍스트를 위한 향상된 대형 모델 긴 텍스트 이해 및 생성 작업을 처리하는 능력을 최적화하기 위한 교육 지원.

4. 혼합 전문가 모델 지원 MoE

   All2All muDNN에 최적화됨 연산자는 다양한 형태에서 매트릭스 작업을 최적화하고 MoE 대규모 모델 교육을 지원합니다.

5. 중단점에서 계속 교육

   검사점 읽기 및 쓰기 성능 향상 , 훈련 효율성을 향상시킵니다. ### ## ## ## ## ## ## ############ ## #####딥 스피드는 무어 스레드 GPU에 적응했습니다. 클러스터 Ulysses를 사용하면 향상된 긴 텍스트 학습 지원이 가능합니다.
   • 국내외 많은 대형 모델에 적합합니다.

6. 안정성 개선

   • 성숙한 소프트웨어 및 하드웨어로 지속적인 안정성 달성 15일 동안 결함 훈련을 실시합니다.
   • 모니터링, 자동 진단, 장애 복구 기능을 강화하는 KUAE Aegis 신뢰성 기능을 도입합니다.

7. 시각화/관찰 가능성

   • PerfSight 성능 모니터링 시스템 소개, 훈련 중 리소스 소비 및 성능 데이터를 실시간으로 표시합니다.

8. 내장 모델 라이브러리에 새로운 대형 모델이 추가되었습니다

   # #LLaMA2 Full 시리즈, Baichuan, Yayi, Qwen2, Mixtral(MoE 8x7B) 및 기타 모델이 추가되었습니다.

위 내용은 Moore Thread 'Kua'e 지능형 컴퓨팅 클러스터 KUAE' 버전 1.2 출시: 64K 긴 텍스트 지원, 대형 모델의 LLaMA2 전체 시리즈 추가 등의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!