대규모 AI 모델 뒤에는 엄청난 탄소 배출량이 있습니다.-일체 포함-php.cn

ChatGPT와 같은 대규모 언어 모델이 세계적인 센세이션을 일으킨 이후 대규모 언어 모델을 훈련하고 실행하면 엄청난 탄소 배출량이 발생한다는 사실을 알아차린 사람은 거의 없습니다.

대규모 AI 모델 뒤에는 엄청난 탄소 배출량이 있습니다.

OpenAI나 Google 모두 해당 제품의 컴퓨팅 비용이 얼마인지 밝히지 않았지만 타사 연구원의 분석에 따르면 교육의 ChatGPT 부분은 1287MWh를 소비하고 550MWh 이상의 결과를 가져왔습니다. 이는 사람이 뉴욕과 샌프란시스코를 550번 왕복하는 것과 같은 양입니다.

사실 이는 훈련 중 배출되는 양일 뿐입니다. AI 대형 모델이 실행되면 더 많은 이산화탄소가 배출됩니다.

캐나다 데이터 센터 회사인 QScale의 공동 창업자인 Martin Bouchard는 증가하는 검색 엔진 사용자의 요구를 충족하기 위해 Microsoft와 Google이 ChatGPT와 같은 생성 AI를 검색에 추가했으며 이로 인해 검색 엔진이 증가할 것이라고 믿습니다. 검색당 최소 4~5배의 계산량이 필요합니다.

모델을 자주 재교육하고 매개변수를 더 추가해야 한다면 계산 규모가 완전히 달라집니다.

국제에너지기구(International Energy Agency)에 따르면 데이터 센터의 온실가스 배출량은 이미 전 세계 온실가스 배출량의 약 1%를 차지하고 있습니다.

이 숫자는 대규모 AI 모델과 클라우드 컴퓨팅에 대한 수요가 증가함에 따라 증가할 것으로 예상됩니다.

AI 대형 모델은 중요한 탄소 배출원이 되고 있습니다.

1. 대형 AI 모델의 탄소 배출을 줄인다

AI 모델의 훈련 및 운영 과정에서 많은 에너지가 소모되지만, 단일 머신러닝 실험으로 온실가스 배출량을 어떻게 파악하고 측정하는지가 핵심 문제입니다. 생산하고 있는데, 얼마나 줄일 수 있나요? 얼마나 줄일 수 있나요?

현재 데이터 과학자들은 여전히 이 분야에서 쉽고 안정적으로 측정 결과를 얻을 수 없으며, 이는 또한 실현 가능한 대응 전략의 추가 개발을 방해합니다.

이 문제에 대응하여 Google은 LaMDA의 초기 및 대규모 버전을 포함하여 최첨단 언어 모델의 에너지 비용을 자세히 설명하는 연구를 발표했습니다.

연구 결과에 따르면 효율적인 모델, 프로세서 및 데이터 센터를 청정 에너지와 결합하면 기계 학습 시스템의 탄소 배출량을 1,000배까지 줄일 수 있는 것으로 나타났습니다.

팀은 현재 Google에서 사용 중이고 Google Cloud 서비스를 사용하는 모든 사람이 사용할 수 있는 기계 학습 워크로드의 탄소(및 에너지) 발자국을 크게 줄이기 위한 네 가지 기본 방법을 고안했습니다.

Google 에너지 및 탄소 배출량 감소 모범 사례(4Ms)는 다음과 같습니다.

모델: 연구원들은 계산 시간을 통합하는 동시에 ML 품질을 향상시킬 수 있는 잠재력이 있으므로 효율적인 ML 모델 아키텍처를 선택하는 것이 중요하다고 말합니다. 반으로 자르다.
기계: ML 훈련 전용 프로세서와 시스템을 사용하면 범용 프로세서에 비해 성능과 에너지 효율성을 2배~5배 높일 수 있습니다.
기계화: 대부분의 경우 온프레미스 데이터 센터는 오래되고 규모가 더 작습니다. 따라서 새로운 에너지 효율적인 냉각 및 배전 시스템의 비용은 상각될 수 없습니다.

클라우드 기반 데이터 센터는 50,000대의 서버를 수용할 수 있는 에너지 효율적인 기능을 갖춘 새로운 맞춤형 설계 창고입니다. 이는 매우 효율적인 전력 활용(PUE)을 제공합니다.

따라서 로컬이 아닌 클라우드에서 컴퓨팅을 수행하면 에너지를 1.4~2배 절약하고 오염을 줄일 수 있습니다.

최적화: 클라우드를 통해 고객은 가장 깨끗한 에너지가 있는 지역을 선택할 수 있으므로 총 탄소 배출량을 5~10배 줄일 수 있습니다. 이러한 부하 증가는 4M, 기계 학습 전용 하드웨어 및 효율적인 데이터 센터를 기반으로 한 개선된 모델을 통해 크게 상쇄됩니다.

Google 데이터에 따르면 지난 3년간 Google의 전체 에너지 사용량 중 기계 학습 훈련과 추론이 차지하는 비중은 10~15%에 불과합니다. 매년 추론에 35%, 훈련에 25%가 사용됩니다.

향상된 기계 학습 모델을 찾기 위해 Google은 NAS(신경망 아키텍처 검색)를 사용합니다.

NAS는 일반적으로 문제 도메인/검색 공간 조합당 한 번만 수행되며 결과 모델은 수백 개의 애플리케이션에서 재사용될 수 있으며 NAS의 일회성 비용은 지속적인 사용 감소로 상쇄되는 경우가 많습니다.

연구원들은 Transformer 모델을 훈련시키기 위한 연구를 수행했습니다.

이를 위해 그들은 글로벌 평균과 유사한 에너지 혼합으로 일반적인 데이터 센터에서 Nvidia P100 GPU를 사용하는 동시에 TPUv4와 같은 차세대 ML 하드웨어를 사용하여 P100보다 성능이 14배 향상되었습니다.

동시에 효율적인 클라우드 데이터 센터는 일반 데이터 센터보다 1.4배의 에너지를 절약하여 총 에너지 소비량을 83배 절감합니다.

또한, 저탄소 에너지로 구동되는 데이터 센터는 탄소 배출량을 추가로 9배, 4년 동안 총 747배까지 줄일 수 있습니다.

Google 팀은 정보 기술 분야에서 다양한 유형과 크기의 컴퓨팅 장치를 제조하는 데 드는 수명주기 비용이 기계 학습의 운영 비용보다 훨씬 높다고 믿습니다.

배출량 추정 제조 비용에는 칩부터 데이터 센터 건물까지 모든 관련 부품을 제조하면서 배출되는 내장 탄소가 포함됩니다.

물론 4Ms 접근 방식을 사용하는 것 외에도 서비스 제공업체와 사용자는 탄소 배출량 성능을 개선하기 위해 다음과 같은 간단한 조치를 취할 수도 있습니다.

고객은 데이터 센터 효율성과 에너지 청정도 기준을 보고해야 합니다. 에너지 사용과 탄소 배출량을 분석하고 줄이기 위해 각 위치에 공급합니다.

엔지니어는 클라우드에서 점점 더 많이 사용되고 있는 가장 친환경적인 데이터 센터에서 가장 빠른 프로세서에서 모델을 교육해야 합니다.

기계 학습 연구자는 희소성 활용 또는 모델 축소를 위한 검색 포함과 같은 보다 효율적인 모델 설계에 집중해야 합니다.

또한 에너지 소비와 탄소 영향도 보고해야 합니다. 이는 모델 품질을 넘어서는 경쟁을 장려할 뿐만 아니라 그들의 작업이 적절하게 설명되도록 보장할 것입니다.

2.AI는 탄소 배출 감소에 도움을 줍니다

대형 AI 모델은 탄소 배출량이 많지만, AI로 대표되는 첨단 기술도 탄소 감소에 기여하고 있습니다.

바이두와 컨설팅 기관인 IDC(International Data Corporation)가 공동으로 실시한 연구에 따르면 AI 관련 기술의 탄소 감소 기여도는 매년 증가해 2060년에는 최소 70%에 도달하고, 총 탄소량은 감축량은 3,500억 톤을 초과할 것으로 예상된다.

운송 산업을 예로 들어보겠습니다. 2020년 중국 운송 산업의 탄소 배출량은 10억 4천만 톤으로 중국 전체 배출량의 9%를 차지할 것으로 추산됩니다.

탄소 배출을 줄이기 위해 교통 산업을 추진하는 과정에서 지능형 정보 제어를 기반으로 한 혼잡 완화 지능형 교통 기술을 사용하면 인구가 많은 도시에서 주요 도시 도로 교차로의 교통 효율성을 효과적으로 향상시킬 수 있습니다. 매년 수천만 달러의 탄소 배출을 줄일 수 있으며, 이는 승용차 14,000대가 1년 동안 주행하는 탄소 배출량과 맞먹습니다.

현재 관행에서 배출 감소를 이해하고 달성하는 핵심은 배출 감소 효과를 예측하고 모니터링하는 것이며, AI는 에너지 절약 및 배출 감소에서 배출 예측, 배출 모니터링, 배출 감소라는 세 가지 주요 응용 프로그램을 갖습니다. .

"탄소 중립 산업 발전 백서"에 따르면, 배출량 예측 측면에서 AI는 현재의 배출량 감축 노력과 요구 사항을 바탕으로 미래 탄소 배출량을 예측하는 동시에 탄소 배출량에 대한 배출 지침을 설정할 수 있습니다.

배출 모니터링 측면에서 AI는 탄소 배출량 데이터를 실시간으로 추적하고 조달, 생산, 판매, 운영 및 유지 관리, 물류 등 모든 측면에서 데이터를 수집하여 모니터링 정확도를 향상시킬 수 있습니다.

배출 감소 측면에서 AI는 각 링크에서 데이터를 수집한 후 글로벌 관점에서 각 링크의 워크플로우를 최적화하고 조정할 수 있습니다.

실제로 탄소 배출 감소에 도움을 주는 AI라는 측면에서는 국내 여러 분야에 적용되어 왔습니다.

신에너지 분야에서 가장 큰 문제는 변동성, 무작위성, 간헐적 특성에 있습니다.

AI 기술과 시뮬레이션 계산을 결합하여 풍력 및 태양광 발전의 불안정성을 예측합니다. 예: 풍속, 풍향, 조도 및 기타 자연적인 기상 특성을 결합하여 미래 발전량 및 전력 출력을 합리적으로 예측합니다. 발전 계획은 기술 계층 아래에서 새로운 에너지의 불확실성과 불안정성을 보호합니다.

또 다른 예로 Water Group의 관할 분야에는 원수, 물 생산, 물 공급, 배수, 하수, 물 절약 등이 포함됩니다.

주민을 위한 물 공급을 예로 들어보겠습니다. 수압이 너무 높으면 많은 에너지가 필요하고 배관망의 누수율이 높아져 배관 폭발이 발생할 수 있습니다. 수압이 너무 낮아 주민들이 물을 사용하는 데 불편을 줄 수 있습니다.

이 문제를 해결하기 위해 워터 그룹은 지하에 하드웨어 센서를 배치하여 수압을 모니터링하고 워터 브레인을 구축했습니다. 안전하고 안정적인 물 공급을 전제로 AI 기술은 지능형 압력 조절 제어 및 에너지 소비를 달성할 수 있습니다. 최적화.

이뿐만 아니라 AI 탄소 저감 기술은 발전소, 공원, 데이터 센터 등 에너지 소비가 많은 비즈니스 시나리오에도 사용되어 생산 전력 수요를 정확하게 예측 및 제어하고 전력을 소비하는 장비 및 탄소 발자국 최적화.