NVIDIA RTX 그래픽 카드는 AI 추론 속도를 5배 향상시킵니다! RTX PC는 대형 모델을 로컬에서 쉽게 처리합니다.

Microsoft Iginte 글로벌 기술 컨퍼런스에서 Microsoft는 개발자가 하드웨어 성능을 최대한 활용하고 AI 응용 분야를 확장할 수 있도록 돕기 위해 일련의 새로운 AI 관련 최적화 모델 및 개발 도구 리소스를 출시했습니다.

특히 현재 AI 분야에서 절대적인 우위를 점하고 있는 엔비디아에 대해 마이크로소프트가 이번에 큰 선물 꾸러미를 보내왔습니다. OpenAI Chat API를 위한 TensorRT-LLM 패키징 인터페이스인지, RTX 드라이버의 성능 향상인지 Llama 2용 DirectML과 기타 널리 사용되는 LLM(대형 언어 모델)은 NVIDIA 하드웨어에서 더 나은 가속 및 애플리케이션을 달성할 수 있습니다.

그 중 TensorRT-LLM은 LLM 추론을 가속화하는 데 사용되는 라이브러리로, AI 추론 성능을 크게 향상시킬 수 있으며 점점 더 많은 언어 모델을 지원하기 위해 지속적으로 업데이트되고 있으며 오픈 소스이기도 합니다.

NVIDIA는 10월에 Windows 플랫폼용 TensorRT-LLM을 출시했습니다. RTX 30/40 시리즈 GPU 그래픽 카드가 장착된 데스크톱 및 노트북의 경우 그래픽 메모리가 8GB 이상이면 까다로운 AI 작업 부하를 더 쉽게 완료할 수 있습니다

이제 Windows용 Tensor RT-LLM은 새로운 패키징 인터페이스를 통해 OpenAI의 인기 있는 채팅 API와 호환될 수 있으므로 클라우드에 연결할 필요 없이 다양한 관련 애플리케이션을 로컬에서 직접 실행할 수 있어 PC에 보관하는 데 도움이 됩니다. 개인 정보 유출을 방지하기 위한 개인 및 독점 데이터입니다.

TensorRT-LLM에 최적화된 대규모 언어 모델이라면 Llama 2, Mistral, NV LLM 등을 포함하여 이 패키지 인터페이스와 함께 사용할 수 있습니다.

개발자의 경우 지루한 코드 재작성과 이식이 필요하지 않습니다. 코드 한두 줄만 수정하면 AI 애플리케이션이 로컬에서 빠르게 실행될 수 있습니다.

↑↑↑TensorRT-LLM 기반 Microsoft Visual Studio 코드 플러그인 - Continue.dev 코딩 도우미

TensorRT-LLM v0.6.0은 이번 달 말에 업데이트되어 RTX GPU의 추론 성능이 최대 5배 향상되고 새로운 70억 매개변수 Mistral, The 8을 포함하여 더 많은 인기 있는 LLM을 지원합니다. 10억 매개변수 Nemotron-3을 사용하면 데스크탑과 노트북에서 언제라도 빠르고 정확하게 LLM을 로컬에서 실행할 수 있습니다.

실제 측정 데이터에 따르면, TenroRT-LLM과 결합된 RTX 4060 그래픽 카드는 추론 성능이 초당 319개 토큰에 도달할 수 있는데, 이는 다른 백엔드의 초당 61개 토큰보다 4.2배 빠른 속도입니다.

RTX 4090은 초당 토큰에서 초당 829개의 토큰으로 2.8배 증가한 속도를 낼 수 있습니다.

강력한 하드웨어 성능, 풍부한 개발 생태계, 광범위한 애플리케이션 시나리오를 갖춘 NVIDIA RTX는 로컬 AI에 없어서는 안될 강력한 보조자가 되고 있습니다. 동시에 최적화, 모델 및 리소스가 지속적으로 풍부해지면서 수억 대의 RTX PC에서 AI 기능의 인기도 가속화되고 있습니다

현재 400개 이상의 파트너가 RTX GPU 가속을 지원하는 AI 애플리케이션과 게임을 출시했습니다. 모델의 사용 편의성이 계속 향상됨에 따라 Windows PC 플랫폼에 점점 더 많은 AIGC 기능이 나타날 것이라고 믿습니다.

위 내용은 NVIDIA RTX 그래픽 카드는 AI 추론 속도를 5배 향상시킵니다! RTX PC는 대형 모델을 로컬에서 쉽게 처리합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!