화웨이, 대형 모델 시대에 새로운 AI 스토리지 제품 출시

7월 14일, 화웨이는 대형 모델 시대를 위한 새로운 AI 스토리지 제품을 출시해 기본 모델 훈련, 산업 모델 훈련, 분할된 시나리오 모델 훈련 및 추론을 위한 최적의 스토리지 솔루션을 제공하며 새로운 AI 모멘텀을 발표했습니다.

대형 모델 애플리케이션을 개발하고 구현하는 과정에서 기업은 네 가지 주요 과제에 직면합니다.

첫째, 데이터 준비 시간이 오래 걸리고, 데이터 소스가 분산되어 있고, 수집 속도가 느립니다. 100TB의 데이터를 전처리하는 데 약 10일이 걸립니다. 둘째, 다중 모드 대형 모델은 방대한 텍스트와 이미지를 훈련 세트로 사용합니다. 현재 대용량 파일의 로딩 속도가 100MB/s로 부족하고, 훈련 세트 로딩 효율이 낮습니다. 셋째, 대형 모델의 매개변수가 자주 조정되고 훈련 플랫폼이 2일에 한 번씩 중단됩니다. 평균적으로 훈련을 재개하려면 체크포인트 메커니즘이 필요하며 오류 복구에는 하루 이상이 소요됩니다. 결국 대형 모델 모델 구현의 임계값이 높고 시스템 구성이 복잡하며 리소스 예약이 어렵고 GPU 리소스 활용률이 일반적으로 높습니다. 40% 미만.

Huawei는 대형 모델 시대의 AI 개발 추세에 맞춰 다양한 산업 및 시나리오의 대형 모델 애플리케이션을 위한 OceanStor A310 딥 러닝 데이터 레이크 스토리지와 FusionCube A3000 교육/푸시 하이퍼 컨버지드 올인원 머신을 출시했습니다.

Zhou Yuefeng, Huawei 데이터 스토리지 제품 라인 사장

OceanStor A310 딥러닝 데이터 레이크 스토리지는 기초/산업용 대형 모델 데이터 레이크 시나리오를 지향하며, 데이터 수집 및 전처리부터 모델 훈련 및 추론 적용까지 AI 전과정 대용량 데이터 관리를 실현합니다.

OceanStor A310 단일 프레임 5U는 업계 최고 대역폭인 400GB/s와 최고 성능인 1,200만 IOPS를 지원하며, 4096개 노드까지 선형적으로 확장하여 여러 프로토콜과 무손실 상호 운용성을 달성할 수 있습니다. 글로벌 파일 시스템 GFS는 지역 간 지능형 데이터 위빙을 실현하고 데이터 수집 프로세스를 단순화합니다. 근거리 메모리 컴퓨팅을 통해 근거리 데이터 전처리를 실현하고 데이터 이동을 줄이며 전처리 효율성을 30% 향상합니다.

FusionCube A3000 훈련/푸시 하이퍼 컨버지드 올인원 머신은 업계 대규모 모델 훈련/추론 시나리오와 수백억 개의 모델 애플리케이션을 위해 설계되었으며 OceanStor A300 고성능 스토리지 노드, 훈련/푸시 노드, 스위칭을 통합합니다. 장비, AI 플랫폼 소프트웨어 및 관리 및 운영 이 소프트웨어는 대규모 모델 파트너에게 턴키 배포 경험을 제공하고 원스톱 제공을 가능하게 합니다. 즉시 사용 가능하며 2시간 이내에 배포할 수 있습니다. 다양한 크기의 모델 요구 사항에 적응하기 위해 훈련 노드와 저장 노드를 독립적으로 수평으로 확장할 수 있습니다. 동시에 FusionCube A3000은 고성능 컨테이너를 사용하여 여러 모델 교육 및 추론 작업에 GPU를 공유함으로써 리소스 활용도를 40%에서 70% 이상으로 높입니다. FusionCube A3000은 개방형 컴퓨팅, 네트워크, AI 플랫폼 소프트웨어를 위한 화웨이의 Ascend 원스톱 솔루션과 타사 파트너의 원스톱 솔루션을 포함해 두 가지 유연한 비즈니스 모델을 지원합니다.

Zhou Yuefeng은 빅데이터 시대에는 데이터가 인공지능의 수준을 결정한다고 말했습니다. 데이터 전달자로서 데이터 스토리지는 대규모 AI 모델의 핵심 인프라가 되었습니다. 화웨이 데이터 스토리지는 앞으로도 계속 혁신하고, AI 대형 모델 시대를 위한 다양한 솔루션과 제품을 제공하며, 파트너와 협력하여 다양한 산업에서 AI 역량 강화를 촉진할 것입니다. ”

재인쇄를 제외한 본 웹사이트의 콘텐츠(텍스트, 사진, 오디오 및 비디오를 포함하되 이에 국한되지 않음)의 저작권은 Times Online에 있으며, 서면 승인 없이 복제, 링크, 재게시 또는 기타 사용을 금지합니다. 위의 내용을 위반하는 사람은 본 웹사이트에서 관련 법적 책임을 지게 될 것입니다. 다른 미디어, 웹사이트 또는 개인이 이 웹사이트를 재인쇄하기를 원할 경우 Mr. Ding(news@time-weekly.com)에게 연락하여 본 웹사이트의 재인쇄 허가를 받으시기 바랍니다

위 내용은 화웨이, 대형 모델 시대에 새로운 AI 스토리지 제품 출시의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!