Tsinghua NLP Group, InfLLM 출시: 추가 교육 필요 없음, '1024K 초장 컨텍스트' 100% 리콜!

대형 모델은 제한된 상황만 기억하고 이해할 수 있으며, 이는 실제 적용에 큰 제한이 되었습니다. 예를 들어, 대화형 AI 시스템은 전날의 대화를 지속적으로 기억하지 못하는 경우가 많으며, 이로 인해 대규모 모델을 사용하여 구축된 에이전트가 일관되지 않은 동작과 메모리를 나타내는 결과를 낳습니다.

대형 모델이 더 긴 컨텍스트를 더 잘 처리할 수 있도록 연구원들은 InfLLM이라는 새로운 방법을 제안했습니다. 칭화대학교, MIT, 런민대학교 연구진이 공동으로 제안한 이 방법을 사용하면 LLM(대형 언어 모델)이 추가 교육 없이 매우 긴 텍스트를 처리할 수 있습니다. InfLLM은 소량의 컴퓨팅 리소스와 그래픽 메모리 오버헤드를 활용하여 매우 긴 텍스트를 효율적으로 처리합니다.

논문 주소: https://arxiv.org/abs/2402.04617

코드 저장소: https://github.com/thunlp/InfLLM

실험 결과에 따르면 InfLLM은 효과적 Mistral 및 LLaMA의 컨텍스트 처리 창을 크게 확장하고 1024K 컨텍스트로 건초 더미에서 바늘을 찾는 작업에서 100% 재현율을 달성합니다.

연구 배경

대규모 사전 훈련된 언어 모델(LLM)은 최근 몇 년 동안 많은 작업에서 획기적인 발전을 이루었으며 많은 응용 프로그램의 기본 모델이 되었습니다.

이러한 실제 응용 프로그램은 긴 시퀀스를 처리하는 LLM의 능력에 더 높은 도전 과제를 제기합니다. 예를 들어, LLM 기반 에이전트는 외부 환경에서 받은 정보를 지속적으로 처리해야 하므로 더 강력한 메모리 기능이 필요합니다. 동시에 대화형 AI는 보다 개인화된 응답을 생성하기 위해 사용자와의 대화 내용을 더 잘 기억해야 합니다.

현재 대규모 모델은 일반적으로 수천 개의 토큰이 포함된 시퀀스에 대해서만 사전 훈련되므로 매우 긴 텍스트에 적용할 때 두 가지 주요 문제가 발생합니다.

1. 길이: 더 긴 텍스트에 LLM을 직접 적용하려면 LLM이 훈련 범위를 넘어서는 위치 인코딩을 처리해야 하는 경우가 많으며, 이로 인해 배포 외 문제가 발생하고 일반화에 실패합니다.

2. 컨텍스트가 지나치게 길면 모델의 주의가 관련 없는 정보에 지나치게 주의가 분산되어 컨텍스트에서 장거리 의미론적 종속성을 효과적으로 모델링하는 것이 불가능해집니다. Method Introduction

InfLLM Schematic

저자는 대형 모델의 길이 일반화 능력을 효율적으로 달성하기 위해 훈련 없는 메모리 향상 방법인 InfLLM을 제안하여 매우 긴 시퀀스의 스트리밍 처리를 제안합니다.

InfLLM은 제한된 계산 비용으로 초장거리 컨텍스트에서 장거리 의미 종속성을 포착하는 LLM의 본질적인 능력을 자극하여 효율적인 긴 텍스트 이해를 가능하게 하는 것을 목표로 합니다.

전체 프레임워크: 긴 텍스트 주의가 희박하다는 점을 고려하면 일반적으로 각 토큰을 처리하는 데에는 해당 컨텍스트의 작은 부분만 필요합니다.

저자는 슬라이딩 윈도우 메커니즘을 사용하여 매우 긴 컨텍스트 정보를 저장하기 위해 외부 메모리 모듈을 구축했습니다. 각 계산 단계에서 현재 토큰에 가까운 토큰(로컬 토큰)만 소량과 관련됩니다. 외부 메모리 모듈 정보는 주의 계층 계산에 포함되며 기타 관련 없는 노이즈는 무시됩니다.

따라서 LLM은 제한된 창 크기를 사용하여 전체 긴 시퀀스를 이해하고 노이즈 발생을 방지할 수 있습니다.

그러나 매우 긴 시퀀스의 대규모 컨텍스트는 메모리 모듈에서 효과적인 관련 정보 위치 및 메모리 검색 효율성에 심각한 문제를 가져옵니다.

이러한 문제를 해결하기 위해 컨텍스트 메모리 모듈의 각 메모리 단위는 의미 블록으로 구성되며 의미 블록은 여러 개의 연속된 토큰으로 구성됩니다.

구체적으로, (1) 관련 메모리 단위를 효과적으로 찾기 위해 각 의미 블록의 일관된 의미는 조각화된 토큰보다 관련 정보 쿼리의 요구를 더 효과적으로 충족할 수 있습니다.

또한 저자는 각 의미 블록에서 의미상 가장 중요한 토큰, 즉 가장 높은 attention 점수를 받은 토큰을 의미 블록의 표현으로 선택합니다. 이 방법은 상관관계 계산의 부정확성을 방지하는 데 도움이 됩니다. . 중요한 토큰의 간섭.

(2) 효율적인 메모리 검색을 위해 시맨틱 블록 수준의 메모리 단위는 토큰별 및 어텐션별 상관 계산을 피하여 계산 복잡성을 줄입니다.

또한 시맨틱 블록 수준 메모리 장치는 지속적인 메모리 액세스를 보장하고 메모리 로딩 비용을 줄입니다.

덕분에 저자는 컨텍스트 메모리 모듈에 대한 효율적인 오프로딩 메커니즘(Offloading)을 설계했습니다.

대부분의 메모리 유닛이 자주 사용되지 않는다는 점을 고려하여 InfLLM은 모든 메모리 유닛을 CPU 메모리로 오프로드하고 자주 사용되는 메모리 유닛을 GPU 메모리에 동적으로 유지하여 비디오 메모리 사용량을 크게 줄입니다.

InfLLM은 다음과 같이 요약할 수 있습니다.

1. 슬라이딩 윈도우를 기반으로 장거리 컨텍스트 메모리 모듈을 추가합니다.

2. 역사적 맥락을 의미론적 덩어리로 나누어 맥락 기억 모듈에서 기억 단위를 형성합니다. 각 메모리 단위는 이전 어텐션 계산의 어텐션 점수를 통해 메모리 단위의 표현인 대표 토큰을 결정합니다. 이를 통해 컨텍스트에서 노이즈 간섭을 피하고 메모리 쿼리 복잡성을 줄입니다

실험 분석

저자는 이를 Mistral-7b-Inst-v0.2(32K) 및 Vicuna-7b-v1.5(4K) 모델 InfLLM에 적용했습니다. , 각각 4K와 2K의 로컬 창 크기를 사용합니다.

원본 모델과 비교하여 위치 인코딩 보간, Infinite-LM 및 StreamingLLM은 긴 텍스트 데이터 Infinite-Bench 및 Longbench에서 상당한 성능 향상을 달성했습니다.

매우 긴 텍스트에 대한 실험

또한 저자는 더 긴 텍스트에 대한 InfLLM의 일반화 능력을 계속 탐구했으며 여전히 "건초 더미 속의 바늘"에서 수행할 수 있습니다. " 1024K 길이의 태스크는 100%의 재현율을 유지합니다.

건초 더미에서 바늘 찾기 실험 결과

Summary

이 기사에서 팀은 LLM의 초장문 텍스트 처리를 훈련 없이 확장하고 장거리 의미 체계를 캡처할 수 있는 InfLLM을 제안했습니다. 정보 .

InfLLM은 슬라이딩 윈도우를 기반으로 장거리 상황 정보가 포함된 메모리 모듈을 추가하고 캐시 및 오프로드 메커니즘을 사용하여 적은 양의 계산 및 메모리 소비로 스트리밍 긴 텍스트 추론을 구현합니다.