REFT가 필요한 모든 것이 있습니까?

스탠포드의 2024 년 5 월 논문에 소개 된 Reft (표현 조정)는 LLMS (Lange Language Models)를 효율적으로 미세 조정하기위한 획기적인 방법을 제공합니다. Oxen.ai의 2024 년 7 월 실험 미세 조정 LLAMA3 (8B)에 의해 단 14 분 만에 단일 NVIDIA A10 GPU에 의해 그 잠재력이 즉시 명백 해졌다. 모델 가중치 또는 입력을 수정하는 LORA와 같은 기존 매개 변수 효율적인 미세 조정 (PEFT) 메소드와 달리 DII (Displeed Interchange Intervention) 방법을 활용합니다. DII 프로젝트는 저 차원 하위 ​​공간에 포함 되어이 부분 공간을 통해 미세 조정을 가능하게합니다. 이 기사는 먼저 인기있는 PEFT 알고리즘 (LORA, 프롬프트 튜닝, 접두사 튜닝)을 검토 한 다음 REFT와 실험 결과를 탐구하기 전에 DII를 설명합니다.

파라미터 효율적인 미세 조정 (PEFT) 기술