Microsoft의 최신 연구에서는 LLM 정리 및 지식 복구를 위한 LoRAShear 기술을 탐구합니다.

LoRAShear는 언어 모델 모델(llm)을 최적화하고 지식을 보존하기 위해 Microsoft에서 개발한 새로운 방법입니다. 구조적 가지치기가 가능해 계산 요구 사항이 줄어들고 효율성이 향상됩니다.

LHSPG 기술(Lora Half-Space Projected Gradient)은 점진적인 구조화 가지치기 및 동적 지식 복구를 지원합니다. 종속성 그래프 분석 및 희소성 최적화를 통해 다양한 LLM에 적용 가능

LoRAPrune은 LoRA와 반복적 구조화 프루닝을 결합하여 매개변수의 효율적인 미세 조정을 달성합니다. LLAMA v1에서 많은 가지치기 작업을 수행하더라도 성능은 상당히 높습니다

진화하는 인공 지능 분야에서 언어 모델 모델(llm)은 대량의 텍스트 데이터를 처리하고 관련 정보를 빠르게 검색하는 데 점점 더 인기를 얻고 있습니다. , 지식 접근성 향상을 위한 핵심 도구. 이들의 광범위한 영향은 검색 엔진 및 질문 답변 시스템 강화에서부터 데이터 분석 활성화에 이르기까지 다양한 분야에 걸쳐 연구자, 전문가 및 지식 추구자 모두에게 혜택을 줍니다.

현재 가장 큰 문제는 LLM이 정보의 역동적인 요구 사항을 충족하기 위해 지속적으로 지식을 업데이트해야 한다는 것입니다. 일반적으로 개발자는 도메인별 데이터를 사용하여 사전 훈련된 모델을 미세 조정하여 최신 상태를 유지하고 모델에 최신 통찰력을 주입합니다. LLM이 끊임없이 변화하는 정보 환경에 보조를 맞추려면 조직과 연구자에게 정기적인 업데이트가 중요합니다. 그러나 미세 조정 비용이 비싸고 주기가 길다

이러한 긴급한 요구에 부응하여 Microsoft 연구원들은 획기적인 방법인 LoRAShear를 출시했습니다. 이 혁신적인 접근 방식은 LLM을 단순화할 뿐만 아니라 구조적 지식의 복구도 촉진합니다. 구조적 가지치기의 핵심은 신경망 아키텍처의 특정 구성 요소를 제거하거나 줄여 효율성, 소형화 및 계산 요구 사항을 최적화하는 것입니다.

Microsoft의 LoRAShear는 LHSPG 기술을 사용하여 점진적인 구조화 가지치기를 지원합니다. 이 접근 방식은 LoRA 모듈 간에 지식을 원활하게 전송할 수 있으며 동적 지식 복구 단계를 통합할 수도 있습니다. 미세 조정 프로세스는 LLM이 업데이트되고 관련성을 유지하도록 사전 훈련 및 안내형 미세 조정과 유사합니다.

다음과 같이 다시 작성됨: 종속성 그래프 분석을 활용하여 LoRAShear는 특히 다음 지원 내에서 일반 LLM으로 확장될 수 있습니다. LoRA 모듈. 이 방법은 원본 LLM 및 LoRA 모듈을 사용하여 종속성 그래프를 생성하고 LoRA 모듈의 정보를 활용하여 가중치 업데이트 프로세스 중 지식 보존을 향상시키는 구조화된 희소성 최적화 알고리즘을 도입합니다.

논문에서도 LoRAPrune이라는 통합 기술은 LoRA와 반복적인 구조화 프루닝을 결합하여 매개변수의 효율적인 미세 조정과 직접적인 하드웨어 가속을 달성합니다. 이 메모리 절약 방법은 잘라내기 기준에 대한 LoRA의 가중치 및 기울기에 전적으로 의존합니다. 구체적인 프로세스에는 추적 그래프 구성, 압축해야 할 노드 그룹 결정, 학습 가능한 변수 분할 및 최종적으로 LLM

으로 반환하는 작업이 포함됩니다. 이 논문은 오픈 소스 LLAMAv1에서의 구현을 통해 LoRAShear의 효율성을 입증합니다. 특히, 20% 프루닝을 적용한 LLAMAv1은 성능 손실이 1%에 불과한 반면, 50% 프루닝을 적용한 모델은 평가 벤치마크에서 82%의 성능을 유지했습니다.

LoRAShear는 인공 지능 분야의 주요 발전을 나타냅니다. 이는 LLM 사용 방식을 단순화하여 더욱 효율적으로 만들 뿐만 아니라 중요한 지식의 보존도 보장합니다. 이를 통해 AI 기반 애플리케이션이 진화하는 정보 환경에 보조를 맞추는 동시에 컴퓨팅 리소스를 최적화할 수 있습니다. 조직이 데이터 처리 및 지식 검색을 위해 인공 지능에 점점 더 의존함에 따라 LoRAShear와 같은 솔루션은 시장에서 효율성과 지식 탄력성을 제공하는 핵심 역할을 할 것입니다.

논문 주소: https://arxiv.org/abs/2310.18356

위 내용은 Microsoft의 최신 연구에서는 LLM 정리 및 지식 복구를 위한 LoRAShear 기술을 탐구합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!