AI 시스템을위한 현대 아키텍처를 발전시키는 6 가지 방법

프로젝트는 메모리 제한에 직면하고 있습니다. 매개 변수가 수십억과 수조에 도달함에 따라 데이터 센터는 속도를 유지해야합니다. 이해 관계자는 공급 업체 서비스 임계 값을 면밀히 모니터링해야합니다. 비용은 지속적인 관심사로 남아 있습니다.

그러나이 메모리 사용 및 계산 수요를 처리 할 수있는 신흥 기술이 나타나서보다 관리하기 쉽습니다.

오늘날의 혁신가들은 이것을 어떻게 달성하고 있습니까?

탐험합시다.

입력 및 데이터 압축

우선 입력 압축이 있습니다.

손실 알고리즘을 개발하여 모델을 압축하거나 전체 버전 대신 압축 버전을 실행할 수 있습니다. 이러한 압축 기술은 특수 신경 네트워크 기능의 공간을 보존합니다.

다음은 Apple의 기계 학습 연구 사이트에 발표 된 논문의 발췌문입니다.

“최근에, 여러 연구에서 LLM의 훈련이없고 데이터가없는 압축 (가지 치기 및 양자화)에서 주목할만한 성공을 보여 주었으며, 50-60%의 희소성을 달성하고 무게 당 3 ~ 4 비트로 비트 폭을 감소시키고 비 압축 기준선에 비해 최소한의 혈관성 저하를 줄였습니다. "

이것이이 접근법이 어떻게 적용되는지의 한 예일뿐입니다.

이 Microsoft 리소스는 또한 시스템 내에서 데이터를 최소화하거나 간소화하는 또 다른 측면 인 프롬프트 압축을 탐색합니다.

희소성 접근법 : 초점과 변형

때로는 시스템 설계의 일부를 제거하여 리소스를 절약 할 수 있습니다.

모든주의 영역이 동일하게 기능하는 모델을 상상해보십시오. 그러나 입력의 특정 부분은 본질적으로 빈 공간 일 수 있지만 다른 부분은 복잡하고 중요합니다. 모델이 균일 한 적용 범위를 적용해야합니까? 높은주의 영역과 낮은주의 지역 모두에 대해 동일한 양의 계산을 사용하고 있습니다.

또는 시스템 엔지니어는 중요성에 따라 거의 관심을받지 않는 토큰을 제거 할 수 있습니다.

이 개발 단계에서 하드웨어 혁신도 분명합니다. 보다 전문화 된 GPU 및 멀티 코어 프로세서는 이러한 종류의 차별화에 대한 이점을 제공하므로 제조업체가 새로운 세대의 GPU 기술을 도입하기 위해 무엇을하고 있는지 조사 할 가치가 있습니다.

컨텍스트 문자열 수정

네트워크 크기와 관련된 또 다른 주요 과제는 시스템에서 사용하는 컨텍스트 Windows와 관련이 있습니다.

시퀀스에서 작동하는 표준 대형 언어 모델이라면 해당 시퀀스의 길이가 중요합니다. 컨텍스트는 더 큰 기능을 제공하지만 추가 리소스가 필요합니다.

컨텍스트를 조정함으로써 시스템의 '식욕'을 변경합니다. 다음은 앞에서 언급 한 프롬프트 압축 리소스의 일부입니다.

"더 긴 프롬프트는 상당한 잠재력을 유지하지만 채팅 창의 최대 한도를 초과하고 상황에 맞는 유지 기능 감소 및 API 비용 증가와 같은 다양한 문제를 재정적으로나 계산합니다."

그 직후, 저자들은 이론적으로 다른 수정에 대한 광범위한 적용 가능성을 가질 수있는 솔루션을 탐구합니다.

동적 모델과 강한 추론

현재 트랙션을 얻는 두 가지 주요 트렌드에는 시간이 지남에 따라 과거 경험에서 배우는 강력한 추론 시스템의 상승과 입력 가중치가 정적으로 남아있는 대신 진화하는 동적 시스템의 상승이 포함됩니다.

두 가지 접근법 모두 이러한 시스템을 개발하는 사람들의 설계 및 엔지니어링 요구 사항을 충족시키기위한 약속을 보여줍니다.

소음을 소개하고 분석 한 다음 새로운 생성 결과를 생성하기 위해 제거하는 확산 모델도 있습니다. 우리는 지난 주에 최적의 AI 전략에 관한 게시물에서 다루었습니다.

마지막으로, 우리는 디지털 트윈과 같은 전통적인 방법을 다시 방문 할 수 있습니다. Twinning은 정확한 시뮬레이션에서 탁월하지만 상당한 리소스를 소비합니다. 더 나은 방법이 존재하면 상당한 컴퓨팅 전력을 절약 할 수 있습니다.

이들은 우리가 듣고있는 솔루션 중 일부이며, 네트워크 가장자리의 엔드 포인트 장치에서 더 많은 처리가 발생하는 Edge Computing Concepts와 잘 맞습니다. 마이크로 컨트롤러 및 소규모 구성 요소는 데이터를 중앙 클라우드 위치로 전송하지 않고 데이터를 처리하는 효율적인 방법으로 사용될 수 있습니다.

오늘날 AI 분야에서 사람들이 성취하고있는 것을 계속 관찰 할 때 이러한 모든 발전을 고려하십시오.

위 내용은 AI 시스템을위한 현대 아키텍처를 발전시키는 6 가지 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!