대형 모델을 카메라에 담으려면 어떤 AI 칩이 필요한가? Aixin Yuanzhi의 대답은 AX650N입니다.

Xinxixi (공개 계정: aichip001)

저자 ZeR0

편집자

다시 쓰는 한 가지 방법은 AI 대형 모델 경쟁이 전례 없는 열풍을 일으키고 있다는 것입니다. 5월 30일 핵심 보고서에 따르면 ChatGPT의 부상이 이 경쟁의 핵심 원동력입니다. 이 경쟁에서는 속도가 선점 우위를 확보하는 열쇠입니다. 모델 훈련부터 구현까지 고성능 AI 칩이 절실히 필요합니다.

올해 3월, AI 시각 인식 칩 R&D 및 기본 컴퓨팅 플랫폼 회사인 Aixin Yuanzhi는 높은 컴퓨팅 성능과 높은 에너지 효율성을 갖춘 3세대 SoC 칩 AX650N을 출시했습니다. Aixin Yuanzhi의 공동 창립자이자 부사장인 Liu Jianwei는 최근 Xinxi 및 기타 미디어와의 인터뷰에서 AX650N 칩이 Transformer를 실행할 때 분명한 장점이 있으며 Transformer는 현재 대형 모델에서 일반적으로 사용되는 구조라고 말했습니다.

Transformer는 처음에는 자연어 처리 분야의 작업을 처리하는 데 사용되었으며 점차 컴퓨터 비전 분야로 확장되어 점점 더 많은 시각적 작업에서 전통적인 주류 컴퓨터 비전 알고리즘 CNN을 대체할 수 있는 잠재력을 보여주었습니다. 장치 측과 에지 측에 Transformer를 효율적으로 배포하는 방법은 플랫폼을 선택할 때 대규모 모델 배포 요구 사항이 있는 점점 더 많은 사용자의 핵심 고려 사항이 되었습니다.

GPU를 사용하여 Transformer 대형 모델을 클라우드에 배포하는 것과 비교했을 때, Aixin Yuanzhi는 Transformer를 엣지 측과 엔드 측에 배포할 때 가장 큰 과제는 전력 소비에서 비롯된다고 생각합니다. 이를 통해 Aixin Yuanzhi는 고성능 및 저전력으로 혼합 정밀도를 달성할 수 있습니다. 소비 NPU는 엔드 및 에지 측에 Transformer를 배포하는 데 선호되는 플랫폼이 되었습니다.

데이터에 따르면 Aixin Yuanzhi AX650N 플랫폼에서 주류 비주얼 모델 Swin Transformer(SwinT)를 실행할 때 성능은 최대 361FPS, 정확도는 최대 80.45%, 전력 소비는 최저 199FPS/W입니다. 이는 착륙 배치에서 매우 경쟁력이 있습니다.

1. 높은 컴퓨팅 성능과 높은 에너지 효율성을 모두 갖추고 있으며 다양한 트랜스포머 모델에 적용되었습니다

AX650N 칩은 AX620 및 AX630 시리즈 이후 Aixin Yuanzhi가 출시한 또 다른 고성능 지능형 비전 칩입니다.

이 SoC는 8코어 A55 CPU, 43.2TOPs@INT4 또는 10.8TOPs@INT8의 높은 컴퓨팅 성능 NPU, 8K@30fps를 지원하는 ISP, H.264 및 H를 통합하는 이기종 멀티 코어 설계를 채택합니다. 265 코덱.

인터페이스 측면에서 AX650N은 64비트 LPDDR4x, 다중 MIPI 입력, 기가비트 이더넷, USB 및 HDMI 2.0b 출력을 지원하고 1080p@30fps 디코딩의 32개 채널을 지원합니다.

엣지와 엔드 측면에 대형 모델을 배치하는 경우 AX650N은 고성능, 고정밀, 저전력 소비 및 쉬운 배치라는 장점을 가지고 있습니다.

구체적으로 Aixin Yuanzhi AX650N이 SwinT를 실행할 때 361 프레임의 고성능은 자동차 자율 주행 분야의 고급 GPU 기반 도메인 제어 SoC와 비교할 수 있으며 80.45%의 높은 정확도는 시장 평균보다 높습니다. 199FPS/W의 속도를 반영해 현재의 하이엔드 GPU 기반 도메인 제어 SoC보다 전력 소모가 적고 몇 배 더 유리하다.

Aixin Yuanzhi는 초기 엣지 측 및 엔드 측 고객이 얼마나 많은 테라바이트의 컴퓨팅 성능이 있는지에 더 많은 관심을 기울였지만 이는 사용자가 궁극적으로 관심을 갖는 것은 실제 비즈니스에서 모델이 얼마나 빨리 실행될 수 있는지에 대한 간접적인 데이터라고 설명했습니다. 배포 비용과 사용 비용이 얼마나 저렴합니까?

이와 관련하여 AX650N은 낮은 비트 혼합 정밀도를 지원합니다. 사용자가 INT4를 채택하면 메모리 및 대역폭 사용량을 크게 줄이고 엔드사이드 및 에지사이드 배포 비용을 효과적으로 제어할 수 있습니다.

현재 AX650N은 ViT/DeiT, Swin/SwinV2, DETR 등과 같은 Transformer 모델에 적용되었으며 DINOv2에서도 30개 이상의 프레임을 실행할 수 있어 감지, 분류, 분할 및 기타 작업이 사용자에게 더욱 편리해졌습니다. AX650N 기반 제품은 이미 스마트 시티, 스마트 교육, 지능형 제조 등 중요한 컴퓨터 비전 시나리오에 적용되었습니다.

2. 대규모 모델 배포가 쉽고 GitHub 원본 모델을 실행할 수 있습니다

Aixin Yuanzhi는 또한 차세대 AI 도구 체인 Pulsar2를 만들었습니다. 툴 체인에는 모델 변환, 오프라인 정량화, 모델 컴파일 및 이기종 스케줄링의 4가지 기능이 포함되어 있어 NPU 아키텍처를 심층적으로 최적화하는 동시에 운영자 및 모델 지원도 확장합니다. . 기능 및 범위는 물론 Transformer 구조 네트워크에 대한 지원도 제공됩니다.

Aixin Yuanzhi는 SwinT를 실행할 수 있는 칩을 홍보하는 시장 회사가 일반적으로 모델을 일부 수정해야 한다는 사실을 실제로 발견했습니다. 이러한 수정으로 인해 일련의 문제가 발생하고 사용자에게 더 큰 불편을 초래할 수 있습니다.

이전에는 GPU가 MHA 구조 계산 지원에 더 친숙하기 때문에 SwinT와 유사한 시각적 Transformer 모델의 대부분이 클라우드 서버에 배포되었습니다. 반대로 에지 측/장치 측 AI 칩은 CNN 구조 모델을 보장해야 합니다. 기본적으로 MHA 구조에는 성능 최적화가 많이 이루어지지 않았으며 네트워크 구조를 마지 못해 배포하기 전에 수정해야 합니다.

AX650N은 배포가 쉽습니다. 원래 모델을 수정하거나 QAT를 재교육하지 않고도 Aixin Yuanzhi 플랫폼의 GitHub에서 원본 모델을 효율적으로 실행할 수 있습니다.

"우리 사용자들은 우리 플랫폼이 현재 Transformer 지원을 위한 최고의 플랫폼이라고 보고했으며, 또한 우리 플랫폼에서 대형 모델을 구현할 가능성도 보고 있습니다." Liu Jianwei는 고객이 AX650N을 AI로 평가할 수 있다고 말했습니다. 컴퓨팅 성능 플랫폼은 더욱 실용적이고, 사용하기 쉽고, 시나리오에 더 잘 적응하고, 시작하기가 더 빠르므로 사용자 효율성이 크게 향상되고 대량 생산 주기가 단축됩니다.

Aixin Yuanzhi가 수집한 고객 피드백에 따르면 Aixin Yuanzhi의 개발 보드와 문서를 받은 후 데모 재현을 완료하고 개인 네트워크 모델을 실행하는 데 기본적으로 1시간이 소요됩니다.

AX650N 칩은 하드웨어 및 소프트웨어 설계의 어느 정도 유연성과 프로그래밍 가능성 유지 관리 덕분에 새로운 네트워크 구조에 빠르게 적응할 수 있습니다. 다음으로 Aixin Yuanzhi AX650N은 Transformer 구조를 계속 최적화하고 다중 모드 대형 모델과 같은 더 큰 Transformer 모델을 탐색할 것입니다.

Aixin Yuanzhi는 또한 AX650N을 기반으로 하는 AXera-Pi Pro 개발 보드를 출시하고 개발자가 더 풍부한 제품 애플리케이션을 빠르게 탐색할 수 있도록 GitHub에 더 많은 정보와 AI 예제를 게시할 예정입니다.

3. 시각적 응용 시나리오로 인해 Transformer 모델이 긴급하게 필요해졌습니다

Aixin Yuanzhi의 관점에서는 엣지 측이나 터미널 측에 대규모 시각적 모델을 배포하면 롱테일 시나리오에서 AI 지능형 애플리케이션에 대한 너무 높은 투자 문제를 해결하는 데 도움이 될 수 있습니다.

기존 하천 쓰레기 모니터링 방식은 하천에서 쓰레기를 발견한 후 데이터 수집과 라벨링을 먼저 거쳐 모델 훈련을 진행하는 방식이었습니다. 이전에 데이터 주석과 훈련된 모델로 다루지 않았던 강 수로에 새로운 쓰레기가 나타나면 모델이 이를 식별하지 못할 수도 있습니다. 처음부터 다시 교육하는 것은 시간이 많이 걸리고 노동 집약적입니다.

Transformer 대형 모델은 의미론적 이해 기능을 갖추고 있으며 기존 CNN 모델보다 더 다재다능합니다. 복잡한 시각적 장면을 모두 미리 알지 못해도 더 넓은 범위의 다운스트림 작업을 이해하고 수행할 수 있습니다. 사전 훈련된 대형 모델과 비지도 학습을 사용하면 이전에 볼 수 없었던 새로운 쓰레기를 식별할 수 있습니다.

Aixin Yuanzhi는 현재 카메라를 사용하여 이미지를 캡처하는 모든 애플리케이션 시나리오에서 Transformer 대형 모델에 대한 긴급한 수요가 발생하기 시작했다고 말했습니다. 구체적인 구현 속도는 각 부문의 고객의 R&D 및 리소스 투자 조건에 따라 달라집니다.

칩 아키텍처 설계의 관점에서 Transformer 모델이 에지 또는 엔드 측에서 더 빠르게 배포될 수 있도록 하려면 한편으로는 대형 모델의 대역폭 사용량을 줄여야 하며 다른 한편으로는 다음과 같은 노력이 필요합니다. Transformer의 구조를 최적화합니다. Aixin Yuanzhi 담당자는 AX650N의 실제 배포에서 축적된 엔지니어링 경험이 차세대 칩 플랫폼에 반복되어 Transformer 모델이 더 빠르고 더 잘 실행될 수 있게 되어 이전 제품에 비해 확실한 선점자 이점을 제공할 것이라고 말했습니다. 다른 동료.

“Aixin의 칩 플랫폼이 Transformer 구현을 위한 최선의 선택인 이유는 모든 사람이 모델을 더 작게 만들 때 최종적으로 실행되는 효과를 보고 싶어하기 때문입니다. 폐쇄 루프 실험”이라고 그는 말했다.

Transformer 추론 효과를 더욱 최적화하기 위해 Aixin Yuanzhi는 하드웨어가 개별 데이터를 효율적으로 읽을 수 있도록 하고, 데이터 판독과 일치하도록 지원 계산을 활성화하는 방법에 중점을 둘 것입니다. 또한 Aixin Yuanzhi는 4비트를 사용하여 대형 모델 매개변수 문제를 해결하고 일부 희소 또는 혼합 전문가 시스템(MOE, Mixture of Experts) 모델에 대한 지원을 모색하고 있습니다.

결론: 고성능 AI 칩은 대형 모델 배포의 초석을 형성합니다

2020년 최초의 고성능 AI 비전 칩 AX630A 양산부터 2021년 자체 개발한 2세대 엣지 사이드 스마트 칩 AX620A, 새로 출시된 3세대 AX650N 칩까지, Aixin Yuanzhi는 계속해서 컴퓨팅 성능과 높은 에너지 효율성을 갖춘 AI 비전 칩은 엔드와 엣지 모두에서 AI 애플리케이션의 요구 사항을 충족합니다.

Aixin Yuanzhi의 창립자이자 회장 겸 CEO인 Qiu Xiaoxin 박사는 인공 지능 기술의 발전이 계속해서 새로운 기회를 창출하고 있다고 말했습니다. 이전 기술의 물결은 시각 처리 및 자동차 전자 장치와 같은 칩 기술 분야에서 Aixin Yuanzhi의 발전을 촉진했습니다. Progress, 최근 대형 모델의 폭발적인 증가는 지난 몇 년간 Aixin의 엔드 사이드와 엣지 사이드에 대한 지속적인 탐구에 새로운 기회를 창출했습니다.

Aixin의 관련 R&D 및 구현 계획은 모두 하나의 목표를 목표로 합니다. 즉, 사용자 또는 잠재 사용자가 Transformer를 생각할 때 Aixin Yuanzhi를 떠올린 다음 Aixin Yuanzhi의 AI 컴퓨팅 플랫폼에서 더 많은 Transformer 기반 모델을 개발할 수 있다는 것입니다. 궁극적으로 엔드 측과 엣지 측에서 대규모 모델과 지능형 애플리케이션의 구현을 가속화할 것입니다.

더 많은 배포 경험의 축적은 Aixin Yuanzhi의 칩과 소프트웨어의 지속적인 발전을 촉진하여 더 높은 성능과 사용하기 쉬운 도구를 제공함으로써 알고리즘 엔지니어가 Transformer 모델의 혁신적인 응용 프로그램을 더욱 촉진하는 데 도움이 될 것입니다. 상상의 문.

위 내용은 대형 모델을 카메라에 담으려면 어떤 AI 칩이 필요한가? Aixin Yuanzhi의 대답은 AX650N입니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!