100억 달러를 벌어들인 ChatGPT가 그렇게 TA에 의존한다고요?-일체 포함-php.cn

지난 며칠간 "마이크로소프트가 OpenAI에 수백억 달러를 투자한다"는 소식이 미친 듯이 화면에 넘쳐났습니다.

100억 달러를 벌어들인 ChatGPT가 그렇게 TA에 의존한다고요?

비즈니스 모델이 없는 회사에서 OpenAI의 가치가 어떻게 수백억 달러로 평가될 수 있습니까? 투자자들이 그렇게 속이기 쉽나요?

사실 OpenAI 뒤에 있는 ChatGPT를 꺼내보면 누구나 어느 정도 이해할 수 있습니다. 이 언어 모델은 "최고 수준"이며 최근에는 아무도 모른다고 할 수 있습니다.

그리고 1위에 가까운 마이크로소프트는 인터넷 거대 기업들의 난전에서 조용히 선두에 섰습니다.

방금 ChatGPT가 자체 검색 엔진 Bing에 통합될 것이라고 말한 다음 ChatGPT가 Office "패밀리 버킷"에 합류할 계획이라는 폭탄 선언을 발표했습니다.

100억 달러를 벌어들인 ChatGPT가 그렇게 TA에 의존한다고요?

AIGC 혁명이 다시 컴퓨팅 파워의 단계에 이르렀습니다

2022년은 AIGC 혁명의 원년입니다.

DALL·E 2의 탄생으로 "Vincent Pictures"는 1년 내내 인기를 끌었고, 이어 수많은 사람들에게 예술적 영감을 불어넣어 주었고 심지어 많은 화가들에게 "실업 위기"를 느끼게 한 Stable Diffusion과 Midjourney가 바짝 뒤따랐습니다. ".

연말에 ChatGPT가 사람들 사이에 AIGC 폭풍을 일으켰습니다. 비록 피날레였지만 '강화학습'(RLHF)이 부여한 마법은 전국적인 카니발을 성공적으로 일으켰다.

방금 언급한 애플리케이션이 화려해 보일 수도 있지만 여전히 잘 알려진 대형 모델에서 지원됩니다.

100억 달러를 벌어들인 ChatGPT가 그렇게 TA에 의존한다고요?

우리 모두 알고 있듯이 대규모 모델의 경우 초기 훈련이든 나중에 추론이든 엄청난 양의 "컴퓨팅 성능"은 분리될 수 없습니다.

예를 들어 '인기 프라이드치킨' ChatGPT와 DALL·E 2는 GPT-3을 기반으로 하고 있으며, 국내 자체 개발한 Yuan 1.0, Wudao, Wenxin 등도 매개변수에 도달했을 뿐만 아니라 수천억, 데이터 세트의 크기는 TB 수준입니다.

이러한 "괴물"의 훈련을 처리하려면 최소한 1000PetaFlop/s-day(PD) 이상의 컴퓨팅 리소스를 투자해야 합니다.

OpenAI가 GPT-3을 개선하기 전에 당시 세계 5위 안에 들었던 슈퍼컴퓨터를 독점적으로 맞춤화하기 위해 Microsoft에 10억 달러를 지출하도록 요청한 것은 놀라운 일이 아닙니다.

하지만 문제는 AI 컴퓨팅 파워가 많이 필요한 모든 기업이나 대학이 자체적으로 '인공지능 고성능 컴퓨팅 센터'를 구축하기 위해 막대한 비용을 지출할 여력이 없다는 점입니다.

그럼 우리가 생각을 바꾸고 컴퓨팅 파워를 더욱 "보편적이고 유익하게" 만들면 동일하거나 더 나은 결과를 얻을 수 있을까요?

그래서 2020년 12월 국가정보센터와 인스퍼정보가 공동으로 "지능형컴퓨팅센터 기획 및 구축 가이드"를 발간하였습니다. 그 중 새로운 개념이 언급됐다. 바로 지능형 컴퓨팅 센터(줄여서 지능형 컴퓨팅 센터)였다.

100억 달러를 벌어들인 ChatGPT가 그렇게 TA에 의존한다고요?

지능컴퓨팅센터란?

인공지능 분야의 문제를 더 잘 해결하려면 최신 AI 이론과 고급 AI 컴퓨팅 아키텍처를 기반으로 지능형 컴퓨팅 센터를 개발해야 하며 AI 칩, AI 서버 및 AI 클러스터를 컴퓨팅으로 사용해야 합니다. 전력 캐리어.

현재 주류인 AI 가속 컴퓨팅은 GPU, FPGA, ASIC 등 이종 AI 가속 칩을 탑재한 CPU 시스템을 주로 사용하고 있다.

원래 그래픽 계산용으로 설계된 GPU 칩에는 수많은 산술 논리 장치(ALU)가 포함되어 있어 텐서 계산을 기반으로 하는 딥 러닝 계산에 좋은 가속 효과를 제공할 수 있어 학계와 업계에서 널리 환영받고 있습니다.

100억 달러를 벌어들인 ChatGPT가 그렇게 TA에 의존한다고요?

GPU 칩 자체도 텐서 컴퓨팅 유닛, TF32/BF16 수치 정확도, 트랜스포머 엔진( 변압기 엔진) 등

보다 "특정한" AI 컴퓨팅 가속 칩은 주로 GPU 칩에서 파생됩니다.

100억 달러를 벌어들인 ChatGPT가 그렇게 TA에 의존한다고요?

Tesla Dojo 인공지능 트레이닝 칩

둘째, 지능형 컴퓨팅 센터의 컴퓨팅 유닛인 AI 서버로 CPU+AI 가속 칩의 이기종 아키텍처를 채택합니다. 여러 AI 가속 칩을 통합하면 초고속 컴퓨팅 성능을 얻을 수 있습니다. 다양한 분야의 시나리오와 복잡한 AI 모델의 컴퓨팅 요구 사항을 충족하기 위해 AI 서버는 컴퓨팅 칩 간의 상호 연결 및 확장성에 대한 요구 사항도 매우 높습니다.

마지막으로 지능형 컴퓨팅 센터는 업계의 주류, 오픈 소스 및 개방형 소프트웨어 생태계에 대한 전폭적인 지원을 제공해야 합니다.

예를 들어 AI 알고리즘 개발을 위한 딥 러닝 프레임워크 TensorFlow 및 PyTorch, CV 및 NLP 등과 같은 특정 시나리오 개발에 적응하기 위해 구축된 일련의 오픈 소스 라이브러리입니다.

100억 달러를 벌어들인 ChatGPT가 그렇게 TA에 의존한다고요?

지능형컴퓨팅센터의 전체적인 구조

다만 외국의 대형 제조사가 맞춤화한 고성능 컴퓨팅센터와는 달리 지능형컴퓨팅센터는 사실 공공을 위한 인프라, 더 나은 국민을 위한 인프라입니다. 컴퓨팅 파워를 구축하거나 사용할 수 없는 문제를 해결합니다.

가장 직관적인 것은 "신경 센터"인 지능형 컴퓨팅 OS(지능형 컴퓨팅 센터 운영 체제)가 지능형 컴퓨팅 센터가 컴퓨팅 리소스 풀을 효율적으로 관리하고 지능적으로 예약할 수 있도록 하여 보다 나은 서비스를 제공한다는 것입니다. 컴퓨팅 성능, 데이터, 알고리즘 및 기타 서비스를 외부 세계로 보내는 것입니다.

이제 2020년판 『지능형컴퓨팅센터 계획 및 구축 안내서』가 출간된 지 2년이 지났고, 우리나라 지능형컴퓨팅센터 발전도 새로운 국면에 접어들었습니다.

이를 위해 국가정보센터와 인스퍼정보는 공동으로 시대에 발맞추는 연구를 진행하여 업데이트된 "지능형 컴퓨팅 센터 혁신 개발 가이드"(이하 " 가이드").

그렇다면 왜 지능형 컴퓨팅 센터를 구축해야 할까요?

지능컴퓨팅센터는 디지털 경제 시대에 산업 변혁과 고도화를 촉진하고, 산업 구조를 최적화하며, 도시 경쟁력을 높이는 핵심 인프라로, 급증하는 인공지능 컴퓨팅 파워 수요에 필수적인 지원을 제공한다.

구체적으로는 4가지 측면으로 나눌 수 있습니다:

AI 산업화 촉진, 산업 AI 역량 강화, 지능형 거버넌스 지원, 산업 클러스터링 촉진.

AI 산업화

AI 산업화의 중요한 예는 자율주행입니다.

자율주행 시나리오에서는 차량이 인간 운전자처럼 운전 환경의 주요 정보를 정확하게 식별하고 주변 이동 유닛의 잠재적 궤적을 예측할 수 있도록 AI 기술을 기반으로 해야 합니다.

훈련 컴퓨팅 전력 소비 측면에서 자율 주행에 사용되는 인지 모델은 일반적인 컴퓨터 비전 인식 모델보다 훨씬 큽니다.

예를 들어 Tesla의 L2 레벨 FSD 자율주행 융합 인식 모델은 훈련 과정에서 수백만 개의 도로 수집 비디오를 사용하며 컴퓨팅 파워 투자는 약 500PD입니다.

더욱이, 자율주행 수준이 L2에서 L4로 높아지면서 컴퓨팅 파워에 대한 수요도 더욱 늘어날 것입니다.

이와 관련하여 지능형 컴퓨팅 센터에서 제공하는 포괄적인 컴퓨팅 파워는 자율주행에 필요한 컴퓨팅 파워 비용을 크게 줄일 수 있습니다.

산업용 AI

2022년에는 "과학을 위한 AI"라는 매우 인기 있는 개념이 있습니다.

과학자가 AI 기술을 생산 도구로 활용하는 것을 말하는 새로운 과학 연구 패러다임입니다.

올해 가장 잘 알려진 과학용 AI 사례 중 하나는 DeepMind가 개발한 AlphaFold 2입니다.

100억 달러를 벌어들인 ChatGPT가 그렇게 TA에 의존한다고요?

지금까지 AlphaFold 2는 거의 전체 "단백질 우주"를 포괄하는 2억 개 이상의 단백질 구조를 예측할 수 있습니다. AlphaFold 2를 통해 단일 단백질 구조 예측 시간은 1분 이내로 단축되었으며, 정확도는 92.4%에 달했습니다.

AlphaFold 2의 개발은 엄청난 양의 컴퓨팅 성능으로 지원됩니다. 훈련 데이터 준비 단계에서만 AlphaFold 2는 약 2억 코어 시간의 CPU 컴퓨팅 성능을 소비했으며, 훈련 과정 동안 약 300PD의 AI 컴퓨팅 성능이 소비되었습니다.

AI for Science의 컴퓨팅 성능 요구에 매우 적합한 지능형 컴퓨팅 센터는 대학 및 연구 기관의 고품질 과학 연구를 지원하는 중요한 인프라가 될 것입니다.

지능형 거버넌스

또한 지능형 컴퓨팅 센터는 도시 공공 서비스 및 지능형 거버넌스를 위한 지능형 컴퓨팅 기능 지원도 제공할 수 있습니다.

산업 클러스터링

지능형 컴퓨팅 센터는 지역 인공 지능 R&D 장점, 인재 장점, 제품 장점 및 산업 투자를 통합하여 산업 체인 협업을 달성하고 산업 클러스터의 발전을 촉진할 수 있습니다.

100억 달러를 벌어들인 ChatGPT가 그렇게 TA에 의존한다고요?

지능형 컴퓨팅 센터 산업 체인

이제 지능형 컴퓨팅 센터는 국제 경쟁력을 높이는 핵심 인프라가 되었습니다.

우리 모두는 1인당 GDP 지표가 국가의 경제 발전을 측정할 수 있고, 1인당 컴퓨팅 능력 수준이 국가의 지능 수준을 측정할 수 있다는 것을 모두 알고 있습니다.

"2021-2022 글로벌 컴퓨팅 파워 지수 평가 보고서"에 따르면, 국가 컴퓨팅 파워 지수는 GDP 추세와 유의미한 양의 상관관계를 가지고 있으며, 평균적으로 컴퓨팅 파워 지수가 1포인트 증가할 때마다 디지털 '14차 5개년 계획' 동안 경제와 GDP는 각각 ‰, 1.8‰

100억 달러를 벌어들인 ChatGPT가 그렇게 TA에 의존한다고요?

컴퓨팅 파워 지수 및 GDP 회귀 분석 동향

이 성장할 것입니다. 지능형 컴퓨팅 센터가 80% 적용 수준을 달성하는 기간 동안 도시의 지능형 컴퓨팅 센터에 대한 투자는 핵심 인공지능 산업의 성장을 약 2.9~3.4배, 관련 산업의 투자 성장을 약 36~42배 촉진할 수 있습니다. 도시/지역별 지능형 컴퓨팅 센터 건설은 대략 14%-17%의 혁신 성과를 달성합니다.

지능컴퓨팅센터가 도시 경제 발전에 있어서 무시할 수 없는 세력을 형성했다고 보는 것은 어렵지 않습니다.

100억 달러를 벌어들인 ChatGPT가 그렇게 TA에 의존한다고요?

지능형 컴퓨팅 센터 프로젝트의 경제적, 사회적 이점

이러한 이유로 지능형 컴퓨팅 센터 개념이 제안되자마자 건설 붐이 일어났습니다. 통계에 따르면 현재 전국 30개 이상의 도시에서 지능형 컴퓨팅 센터를 건설 중이거나 건설을 제안하고 있습니다.

그러나 문제도 발생합니다

본격적인 건설 과정에서 이러한 지능형 컴퓨팅 센터도 많은 문제와 과제를 노출했다는 점을 무시할 수 없습니다.

우선 우리나라의 지능형 컴퓨팅 파워에 대한 수요가 나날이 증가하고 있습니다.

'2022~2023년 중국 인공지능 컴퓨팅 파워 발전 평가 보고서' 데이터에 따르면 2021년 우리나라의 지능형 컴퓨팅 파워 규모는 155.2EFLOPS(FP16)에 도달할 것으로 예상됩니다. 2026년에는 우리나라의 지능형 컴퓨팅 능력은 1,271.4EFLOPS에 도달할 것입니다.

미래에는 시나리오의 80%가 AI를 기반으로 할 것이며, 그들이 차지하는 컴퓨팅 자원의 대부분은 지능형 컴퓨팅 센터에서 운반될 것입니다.

100억 달러를 벌어들인 ChatGPT가 그렇게 TA에 의존한다고요?

중국의 지능형 컴퓨팅 파워 발전

둘째, 알고리즘을 둘러싼 서비스 모델도 개선되어야 합니다.

2011년부터 글로벌 AI 선도 기업과 연구기관들이 AI 대형 모델 연구에 동참하면서 모델 매개변수가 비약적으로 증가했습니다. 불과 3~4년 만에 매개변수 규모가 수십억에서 수조로 급속히 돌파했고, 구글이 출시한 BERT, 오픈AI가 출시한 GPT-3 등 대표적인 대형 모델이 많이 등장했다.

전통적인 컴퓨팅 패러다임의 변화는 필연적으로 컴퓨팅 파워를 주로 제공하는 것에서 "알고리즘 + 컴퓨팅 파워"를 제공하는 지능형 컴퓨팅 센터의 서비스 모델로의 전환을 촉진할 것입니다.

100억 달러를 벌어들인 ChatGPT가 그렇게 TA에 의존한다고요?

마지막으로 불명확한 개념 이해, 일관되지 않은 건설 표준, 불충분한 적용 시나리오, 미성숙한 운영 모델 등 현재의 문제도 지능형 컴퓨팅 센터의 발전에 직접적인 영향을 미칩니다.

어떻게 해결하나요?

이와 관련하여 "가이드"가 제공하는 솔루션은 다음과 같습니다. 1. 보편적이고 보편적으로 유익함 2.

먼저 "보편적 보편적 혜택"이 무엇을 의미하는지 이야기해 보겠습니다. 보편성과 포용성은 공공 인프라의 사회적 가치를 최대한 활용하는 것을 의미하며, 이는 일반적인 컴퓨팅 능력에 대한 사용자의 요구를 충족할 뿐만 아니라 다양한 컴퓨팅에 대한 다양한 사용자의 요구도 충족해야 합니다. 다양한 시나리오에서 전력을 공급합니다.

구체적으로 지능형 컴퓨팅 센터는 표준화, 저비용, 낮은 문턱의 방향으로 발전하여 지능형 컴퓨팅이 물, 전기와 같은 사회의 기본 공공 서비스가 되고 다양한 사용자의 다양한 요구를 충족할 수 있도록 해야 합니다. 다양한 시나리오에서의 컴퓨팅 성능.

둘째, "개방성과 호환성"이 있어야 합니다. 구체적으로는 소스를 공개하고 생태계를 육성하는 것입니다. 주로 개방형 하드웨어와 오픈 소스 소프트웨어에 중점을 두고 여러 컴퓨팅 성능을 통합하며 컴퓨팅 성능의 집계, 예약 및 릴리스를 실현하여 지능형 컴퓨팅 센터가 "사용하고 잘 사용할" 수 있도록 합니다. 동시에 지능형 컴퓨팅 센터의 핵심 소프트웨어 및 하드웨어 제품에 대한 연구 개발 지원과 대규모 응용 홍보를 강화해야 합니다.

100억 달러를 벌어들인 ChatGPT가 그렇게 TA에 의존한다고요?

지능전산센터 건립건축

컴퓨팅 파워 서비스의 보편적인 혜택과 효율적인 활용, 즉 지능형 컴퓨팅 센터가 어떻게 "사용하기 쉽고 잘 활용될 수 있는지"를 실현하기 위해 "가이드"는 지능형 컴퓨팅 구축이 다음과 같이 지적합니다. 센터도 "컴퓨팅 파워"를 구축해야 합니다. "4대 현대화" 기술 경로는 "인프라 기반, 알고리즘 기반 인프라, 서비스 인텔리전스 및 시설 녹색화"입니다.

컴퓨팅 인프라 구축은 지능형 컴퓨팅 센터가 외부 세계에 비용 효율적이고 포괄적이며 안전한 컴퓨팅 리소스를 제공할 수 있는 능력을 갖추어 AI 컴퓨팅 파워가 공공 자원이 되도록 해야 함을 의미합니다. 물, 전기와 같은 도시는 정부, 기업, 대중이 독립적으로 사용할 수 있는 기본 자원입니다.

알고리즘 인프라는 사전 설정된 산업 알고리즘을 제공하고, 사전 훈련된 대형 모델을 구축하고, 알고리즘 모델의 지속적인 업그레이드를 촉진하고, 더 많은 사용자가 보편적인 즐거움을 누릴 수 있도록 전문 데이터 및 알고리즘 서비스를 제공하는 지능형 컴퓨팅 센터를 의미합니다. "데이터를 가져오고 결과를 남기는" 효과를 달성하기 위한 포괄적인 지능형 컴퓨팅 서비스:

서비스 인텔리전스는 지능형 컴퓨팅 센터의 개발이 전통적인 방식에서 전환될 것임을 의미합니다. 하드웨어와 소프트웨어가 업그레이드됩니다. "스마트웨어"로. '스마트웨어'란 지능형컴퓨팅센터가 인공지능 활용 촉진을 위해 제공하는 미들웨어 제품 및 서비스를 말한다. "스마트웨어"의 구축은 시각적 운영 인터페이스와 로우 코드 개발 또는 심지어 노 코드 개발 모델을 통해 기능이 풍부하고 사용하기 쉬운 인공 지능 컴퓨팅 파워 스케줄링, 알고리즘 공급 및 맞춤형 개발 서비스를 사용자에게 제공합니다.

마지막으로 녹색 시설도 달성해야 합니다. 현재 주요 개발 추세는 액체 냉각 기술을 사용하는 것입니다.