Google의 슈퍼 AI 슈퍼컴퓨터가 NVIDIA A100을 압도했습니다! TPU v4 성능 10배 향상, 세부정보 최초 공개

Google은 당시 가장 강력한 AI 칩인 TPU v4를 이르면 2020년에 자체 데이터 센터에 배포했습니다.

하지만 올해 4월 4일이 되어서야 Google은 이 AI 슈퍼컴퓨터의 기술적 세부 사항을 처음으로 발표했습니다.

논문 주소: https://arxiv.org/abs/2304.01433

TPU v3에 비해 TPU v4의 성능은 2.1배 향상되었으며, 4096개의 칩을 통합한 후 성능이 향상되었습니다. 슈퍼컴퓨팅 성능이 10배 향상되었습니다.

또한 Google은 자체 칩이 NVIDIA A100보다 빠르고 에너지 효율적이라고 주장합니다.

A100과 경쟁하면 속도가 1.7배 빠릅니다

문서에서 Google은 비슷한 크기의 시스템에서 TPU v4가 Nvidia A100보다 1.7배 더 나은 성능을 제공하는 동시에 에너지 효율성도 향상시킬 수 있다고 밝혔습니다. 1.9배.

또한 Google의 슈퍼컴퓨팅 속도는 Graphcore IPU Bow보다 약 4.3~4.5배 빠릅니다.

Google은 TPU v4 패키지와 회로 기판에 탑재된 4개의 패키지를 선보였습니다.

TPU v3과 마찬가지로 각 TPU v4에는 2개의 TensorCore(TC)가 포함되어 있습니다. 각 TC에는 4개의 128x128 MXU(행렬 곱셈 장치), 128개 채널(채널당 16개의 ALU)이 있는 벡터 처리 장치(VPU) 및 16MiB 벡터 메모리(VMEM)가 포함되어 있습니다.

두 TC는 128MiB 공통 메모리(CMEM)를 공유합니다.

A100 칩이 구글의 4세대 TPU와 동시에 출시되었다는 점에 주목할 필요가 있는데 구체적인 성능을 비교하면 어떨까?

Google은 5개의 MLPerf 벤치마크에서 개별적으로 각 DSA의 가장 빠른 성능을 시연했습니다. 여기에는 BERT, ResNET, DLRM, RetinaNet 및 MaskRCNN이 포함됩니다.

그 중 Graphcore IPU는 BERT 및 ResNET에 결과를 제출했습니다.

다음은 ResNet과 BERT에서 두 시스템의 결과를 보여줍니다. 점 사이의 점선은 칩 수에 따른 보간입니다.

TPU v4 및 A100에 대한 MLPerf 결과는 IPU보다 더 큰 시스템으로 확장됩니다(4096 칩 대 256 칩).

비슷한 크기의 시스템에서 TPU v4는 BERT의 A100보다 1.15배 빠르며 IPU보다 약 4.3배 빠릅니다. ResNet의 경우 TPU v4는 각각 1.67배, 약 4.5배 더 빠릅니다.

MLPerf 벤치마크의 전력 사용량에서 A100은 평균 1.3배~1.9배 더 많은 전력을 사용했습니다.

피크 FLOPS가 실제 성능을 예측합니까? 기계 학습 분야의 많은 사람들은 초당 최대 부동 소수점 연산이 성능을 나타내는 좋은 지표라고 믿지만 실제로는 그렇지 않습니다.

예를 들어 TPU v4는 초당 최대 부동 소수점 연산에서 1.10배의 이점만 있음에도 불구하고 동일한 크기 시스템의 IPU Bow보다 2개의 MLPerf 벤치마크에서 4.3~4.5배 더 빠릅니다.

또 다른 예는 A100의 초당 최대 부동 소수점 연산이 TPU v4의 1.13배이지만 동일한 수의 칩에 대해 TPU v4가 1.15배~1.67배 더 빠르다는 것입니다.

아래에 표시된 것처럼 Roofline 모델은 최대 FLOPS/초와 메모리 대역폭 간의 관계를 보여주는 데 사용됩니다.

그래서 질문은 왜 Google이 Nvidia의 최신 H100과 비교하지 않는 걸까요?

Google은 H100이 Google 칩 출시 이후 새로운 기술을 사용하여 만들어졌기 때문에 자사의 4세대 제품을 Nvidia의 현재 주력 제품인 H100 칩과 비교하지 않았다고 밝혔습니다.

그러나 Google은 Nvidia H100과 경쟁하기 위해 새로운 TPU를 개발하고 있음을 암시했지만 자세한 내용은 제공하지 않았습니다. Google 연구원인 Jouppi는 Reuters와의 인터뷰에서 Google이 "미래 칩을 위한 생산 라인"을 보유하고 있다고 말했습니다.

TPU 대 GPU

ChatGPT와 Bard가 "싸움"을 벌이는 동안 두 거대 기업도 이를 계속 실행하기 위해 뒤에서 열심히 노력하고 있습니다. 바로 Nvidia의 CUDA 기반 GPU(그래픽 처리 장치)와 Google의 맞춤형 TPU(Tensor)입니다. 처리 장치).

즉, 이것은 더 이상 ChatGPT 대 Bard가 아니라 TPU 대 GPU와 그들이 행렬 곱셈을 얼마나 효율적으로 수행할 수 있는지에 관한 것입니다.

NVIDIA의 GPU는 뛰어난 하드웨어 아키텍처 설계로 인해 행렬 곱셈 작업에 매우 적합합니다. 즉, 여러 CUDA 코어 간의 병렬 처리를 효과적으로 달성하는 것입니다.

따라서 GPU에서의 모델 훈련은 2012년부터 딥러닝 분야에서 합의가 되었으며 오늘날까지도 변함이 없습니다.

NVIDIA DGX 출시로 NVIDIA는 지적 재산권 부족으로 경쟁업체가 제공할 수 없는 거의 모든 AI 작업에 대한 원스톱 하드웨어 및 소프트웨어 솔루션을 제공할 수 있게 되었습니다.

이에 반해 Google은 2016년에 1세대 텐서 처리 장치(TPU)를 출시했습니다. 여기에는 텐서 컴퓨팅에 최적화된 맞춤형 ASIC(Application-Specific Integrated Circuit)이 포함되었을 뿐만 아니라 자체 TensorFlow 프레임워크도 포함되어 있습니다. 최적화되었습니다. 이는 또한 행렬 곱셈 외에 다른 AI 컴퓨팅 작업에서도 TPU에 이점을 제공하고 미세 조정 및 추론 작업을 가속화할 수도 있습니다.

또한 Google DeepMind의 연구원들은 더 나은 행렬 곱셈 알고리즘인 AlphaTensor를 만드는 방법도 발견했습니다.

Google은 자체 개발한 기술과 새로운 AI 컴퓨팅 최적화 방법을 통해 좋은 결과를 얻었음에도 불구하고 Microsoft와 NVIDIA 간의 장기적인 심층 협력은 각자의 축적을 활용하여 양 당사자의 범위를 동시에 확장했습니다. 업계의 경쟁 우위.

4세대 TPU

2021년 Google I/O 컨퍼런스에서 Pichai는 Google의 최신 세대 AI 칩 TPU v4를 처음으로 발표했습니다.

"이것은 우리가 Google에 배포한 시스템 중 가장 빠른 시스템이며 우리에게 역사적인 이정표입니다."

이러한 개선은 회사가 AI 슈퍼컴퓨터를 구축하는 계기가 되었습니다. 이것이 경쟁의 핵심 포인트입니다. Google의 Bard 또는 OpenAI의 ChatGPT와 같은 대규모 언어 모델의 매개변수 크기가 폭발적으로 증가했습니다.

이는 단일 칩이 저장할 수 있는 용량보다 훨씬 크고, 컴퓨팅 파워에 대한 수요가 거대한 "블랙홀"이라는 것을 의미합니다.

따라서 이러한 대형 모델은 수천 개의 칩에 분산되어야 하며, 그런 다음 해당 칩은 모델을 훈련하기 위해 몇 주 또는 그 이상 동안 함께 작동해야 합니다.

현재 구글이 공개한 언어 모델 중 최대 규모인 PaLM은 5,400억 개의 매개변수를 갖고 있는데, 이를 4,000칩 슈퍼컴퓨터 2대로 나누어 50일 이내에 학습시킨다.

Google은 자사의 슈퍼컴퓨터가 칩 간의 연결을 쉽게 재구성하여 문제를 방지하고 성능 조정을 수행할 수 있다고 말했습니다.

Google 연구원 Norm Jouppi와 Google의 저명한 엔지니어 David Patterson은 시스템에 대한 블로그 게시물에서 다음과 같이 썼습니다.

"회로 전환을 사용하면 실패한 구성 요소를 쉽게 우회할 수 있습니다. 이러한 유연성을 통해 울트라 컴퓨팅 상호 연결 토폴로지를 변경할 수도 있습니다.

Google은 현재 슈퍼컴퓨터에 대한 세부 정보를 공개하고 있지만 2020년부터 오클라호마에 있었습니다. Mayes County 데이터 센터에서 온라인으로 접속하세요.

Google은 Midjourney가 이 시스템을 사용하여 모델을 훈련했으며 최신 버전의 V5를 사용하면 누구나 놀라운 이미지 생성을 볼 수 있다고 말했습니다.

최근 Pichai는 New York Times와의 인터뷰에서 Bard가 LaMDA에서 PaLM으로 이적할 것이라고 말했습니다.

이제 TPU v4 슈퍼컴퓨터의 축복으로 바드는 더욱 강해질 것입니다.

위 내용은 Google의 슈퍼 AI 슈퍼컴퓨터가 NVIDIA A100을 압도했습니다! TPU v4 성능 10배 향상, 세부정보 최초 공개의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!