하드웨어 가속은 미래를 주도합니다

그러나 이러한 발전을 무어의 법칙으로 거슬러 올라가서 점진적인 두 배의 기능이 어떻게 포장을 풀면, 그림이 명확 해집니다.

현명한 사람의 비유를 상기하십시오 (때로는 체스의 발명가라고 함)는 왕에게 단일 쌀 한 쌀을 요청했으며 64 번 보드의 각 광장에서 두 배가되었습니다. 이 이야기는 기하 급수적 인 성장이 어떻게 겸손하게 시작되는지 (1, 2, 4, 8, 16, 32) 갑자기 상상력을 무시하는 숫자로 갑자기 폭발합니다. 마지막 광장에서, 당신은 18 Quintillion, 446 20, 744 조 쌀의 쌀을 다루고 있습니다.

간단한 수학이지만 마법처럼 느껴집니다. 그리고 나는 이야기의 기원에 대해 Wikipedia 의이 각주를 좋아합니다.“버전에 따라 영리한 발명가는 신뢰할 수있는 왕실 고문이되거나 즉시 실행됩니다.”

이 같은 원칙은 이제 오늘날의 AI 붐에서 진행되고 있습니다. 실제로, AI 비전의 Ray Kurzweil은 지수 진행이 거의 눈에 띄지 않는 것에서 완전히 변형 된 것으로 바뀌는 순간을 설명하기 위해“체스 판의 후반부”라는 용어를 만들어 냈습니다. 전반전은 관리 가능해 보입니다. 후반은 현실을 재구성합니다. 그때 곡선이 올라가지 않을 때, 우리는 한때 영구적으로 생각한 천장을 뚫고 로켓을 위쪽으로 돌립니다.

하드웨어 혁신의 브레이크 넥 속도

나는 Cerebras의 WSE 칩에 대해 전에 글을 썼습니다. 실리콘은 약 90,000 코어로 포장 된 디너 플레이트 크기의 실리콘 다이.

IEEE Spectrum과 같은 소스의 보고서에 따르면 WSE-2 (Cerebras CS-2 시스템에 사용 된)는 FP16 Compute의 7.5 PETAFLOPS (초당 7,500 조 작업)를 달성합니다. 새로운 WSE-3? 놀라운 125 페타 플롭으로 도약합니다.

이 칩 중 하나를 잡는 것은 미래의 조각을 들고있는 것과 같습니다. 그것은 거대한 평행의 원시력을 구현합니다. 얼마 전, 우리는 듀얼 코어 프로세서를 축하했습니다. 그런 다음 쿼드 코어, 옥타 코어가 왔습니다. 이제 우리는 수만 개의 코어가 일로 운영되는 영역에 들어갔다.

그런 다음 Huawei Cloudmatrix와 같은 시스템이 있으며 정확한 사양이 밀접하게 보호되지만 기본 메시지는 틀림 없습니다. 컴퓨팅 능력은 대부분의 사람들이 개념화 할 수있는 것 이상으로 진행되었습니다.

생태계로서의 하드웨어

최근 TED 행사에서 젊은 기술자 인 Caleb Sirak은 일종의“실리콘 교도소”로 매력적인 대화 프레임 하드웨어를 전달했습니다.

그는 초기 기계에서 초당 수백만 건의 작동을 처리하는 초기 기계에서 오늘날의 시스템조차, 심지어 2 천만에 이르기까지 하드웨어 가속의 진화를 진행했습니다. 그는 게임이 초기 혁신을 불러 일으키는 데 도움이되었지만 Nvidia의 CUDA와 같은 플랫폼이 일반 목적 GPU 컴퓨팅의 문을 열었을 때 실제 획기적인 발전이 발생했다고 지적했다.

그는 이제 새로운 패러다임을위한 시간이라고 주장했다.

Sirak은“우리는 전체 아키텍처를 다시 생각해야합니다.

하드웨어 이점을 주장합니다

그는 차세대 GPU 성능을 잠금 해제하는 핵심 중 하나는 양자화라고 강조했다.

예를 들어, 4 비트 승수는 전력, 공간 및 시간을 적게 요구하는 32 비트 대응 물보다 크게 효율적입니다.

그는 데이터 움직임을 최소화하는 것이 AI 효율을 감독 할 수있는 방법의 주요 예로 뇌의 WSE와 같은 칩을 인용했습니다.

"매개 변수가 더 작을 때는 매초마다 더 많은 사람들을 움직일 수 있으며 메모리와 네트워크 상호 연결에서 병목 현상을 크게 줄일 수 있습니다."

그는 Xai의 Colossus 프로젝트와 야심 찬“로드맵”을 언급하여 최대 백만 개의 GPU를 확장했습니다. 그럼에도 불구하고 효율성은 여전히 왕이 남아 있습니다.

"당신은 구불 구불 한 거리와 교통량이 혼합 된 도시를 디자인 할 수 있습니다. 또는 F1 경마장을 만들 수도 있습니다. 그 트랙에서 F1 차량은 단지 빠르게 진행되지는 않습니다."

그는 여러 회사의 조정 된 하드웨어 유닛 (“지능형 식민지”라고 부르는 조정 된 하드웨어 클러스터를 만들기위한 노력을 강조했다.

Sirak은“AI 칩을 통해 잠금 해제하는 기능과 건축 도약은 변형 적입니다. "그리고이 혁명이 인류에게 도움이 되려면 혁신은 개방적이고 접근 가능하며 전 세계적으로 공유되어야합니다. 그 핵심에는 한 대륙에 채굴 된 희귀 한 지구의 원소, 다른 대륙의 세련된 화학 물질 및 세 번째의 최종 제작이 있습니다."

글로벌 상호 의존성을 설명하기 위해, 그는 단일 칩이 최종 목적지에 도달하기 전에 12 개국에 걸쳐 횡단 될 수 있다고 지적했다. 이는 TSMC (3 대 반도체 제조 회사)가 세계 고급 반도체 칩의 대부분을 생산한다는 것을 알고있는 모든 사람에게 완벽하게 이해됩니다.

한 가지 확실한 점은 이제 우리는 이제 하키 스틱 곡선의 수직 서지, 역사적인 하드웨어 가속의 물결에 깊이 빠져 있습니다. 미래는 그냥 오지 않습니다. 이미 여기에 있습니다.

위 내용은 하드웨어 가속은 미래를 주도합니다의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!