단일 테넌트 AI 공장이 최신 데이터 센터 트렌드가 될까요?

코로케이션 데이터 센터는 일반적으로 다양한 애플리케이션에 대해 수십 또는 수백 명의 고객을 수용하도록 설계되었습니다. 그러나 Nvidia는 단일 고객을 위해 특정 애플리케이션을 실행하는 데 전념하는 고유한 데이터 센터 모델을 제공합니다.

"인공지능 공장"의 등장

이 새로운 유형의 데이터 센터는 기존 데이터 센터와 달리 보다 효율적이고 유연한 인프라 서비스를 제공하는 데 중점을 둡니다. 기존 데이터 센터는 여러 애플리케이션과 테넌트를 호스팅하는 경우가 많은 반면, 새로운 데이터 센터는 다양한 애플리케이션과 테넌트의 요구 사항을 충족하기 위해 리소스의 동적 할당 및 최적화에 더 중점을 둡니다. 이 새로운 데이터 센터의 설계는 더욱 유연하고 지능적이며 필요에 따라 리소스 할당을 실시간으로 조정하여 전반적인 효율성과 성능을 향상시킬 수 있습니다. 이 혁신적인 디자인 컨셉으로

이 새로운 데이터 센터는 주로 단일 테넌트가 사용하는 소수의 애플리케이션을 호스팅하는 데 사용됩니다. 그들은 인공 지능을 생성하기 위해 데이터 처리, 모델 교육 및 토큰 생성을 담당합니다. 우리는 이러한 새로운 데이터 센터를 “AI 공장”이라고 부릅니다.

인공지능 공장은 이제 어디서나 볼 수 있는 현상이 되었습니다. 나는 거의 모든 주요 지역이 모든 주요 국가와 마찬가지로 자체 AI 클라우드를 갖게 될 것이라고 믿습니다. 따라서 우리는 중요한 변곡점인 컴퓨팅 혁신의 시작점에 있습니다.

현재 이러한 추세는 인도, 스웨덴, 일본, 프랑스 등의 국가에서 점차 나타나고 있습니다. 인공지능을 효과적으로 활용하려면 국가 간 언어, 문화적 차이를 고려해야 한다. 인공지능에 대한 수요도 일본, 스웨덴 등 국가마다 다르다. 이 때문에 AI 데이터 센터와 단일 테넌트 AI 공장은 특정 국가로 제한되는 경향이 있습니다.

인공 지능 배포 규모를 평가하세요

Amazon, Google과 같은 대규모 클라우드 서비스 제공업체와 Equinix와 같은 주요 호스팅 제공업체의 데이터 센터 규모는 일반적으로 축구장 크기를 수용할 수 있을 만큼 상당히 큽니다. Nvidia Hopper 프로세서의 높은 전력 소비를 고려할 때 이러한 AI 공장의 규모는 McDonald's 레스토랑과 비슷할 것입니다.

데이터 센터 랙의 전력 소비 예산은 일반적으로 6kW에서 8kW 사이입니다. 그러나 LLM 실행에 최적화된 서버가 필요한 경우 단일 서버의 전력 소비는 약 11kW입니다. 이는 범용 서버 약 14대의 평균 전력 소모량과 맞먹는다.

이 경우 일반 데이터센터에서는 DGXH100 등 제한된 수의 GPU 서버만 실행할 수 있습니다. 1MW 데이터센터라면 약 50대 정도의 DGXH100 서버를 배치할 수 있습니다. 많은 수의 동시 사용자에게 AI를 대규모로 배포하려면 그러한 서버의 대규모 클러스터가 필요합니다. 이는 일반적인 데이터 센터가 제한된 수의 고객(대부분 단일 고객)의 요구 사항만 충족할 수 있음을 의미합니다.

AI 공장의 미래

AI 공장과 같은 단일 목적 GPU 환경을 설계할 때 가장 비용 효율적인 옵션은 전용 데이터 센터를 구축하는 것이며, 더 높은 밀도와 액체 냉각을 중심으로 설계 및 배치됩니다. AI 비즈니스를 위한 최적의 위치에 있습니다.

AI 클러스터의 전력 소비는 서버 수가 많은 데이터 센터에서 제한 요소가 될 것이며, 이러한 데이터 센터 중 일부는 AI 전용이 될 가능성이 높습니다. AI를 둘러싼 안전 및 규제 프레임워크도 이러한 추세를 주도할 수 있습니다. 생성 및 일반 인공 지능의 성장으로 인해 여러 가지 보안 및 규정 준수 문제가 발생하므로 기업은 매우 안전한 특수 목적 시설에서 이러한 워크로드를 실행하기로 결정할 수 있습니다.

인공지능 공장 및 데이터센터

인공지능의 전력밀도는 기존 데이터센터의 5~10배이기 때문에 인공지능 공장의 규모는 100평 규모의 기존 데이터센터 규모에 미치지 못할 것입니다. 10만 평방피트가 넘는다.

기존 데이터 센터와 AI 공장의 또 다른 차이점은 위치입니다. 거대 데이터센터는 재생에너지원 옆의 외딴 곳에 건설되는 경향이 있는 반면, AI 공장은 도심이나 대도시 지역, 가용 전력량이 많은 기존 시설에 건설될 수 있다.

현재 활용도가 낮은 사무실 및 소매 공간이 많이 있으며 매우 매력적인 것은 버려진 건물, 활용도가 낮은 도시 공간 또는 이미 전기가 들어오지 않는 한가운데에 있는 오래된 창고의 일부입니다. 일부 AI 장비, 일부 액체 냉각 장치를 떨어뜨리고 연결할 수 있습니다.

데이터 센터 산업의 미래를 예측하는 것은 불가능하지만, 인공 지능의 급속한 성장은 디지털 인프라 운영자가 증가하는 수요를 충족하기 위해 안간힘을 쓰면서 AI 공장이 머지않아 필수품이 될 수 있음을 시사합니다.