변경된 제목은 다음과 같습니다: ByteDance와 화동 사범대학의 협력: 소규모 모델의 상황별 학습 기능 탐색

대형 언어 모델(LLM)은 모델 미세 조정 없이 상황별 학습을 통해 소수의 예제로부터 학습할 수 있다는 것은 잘 알려져 있습니다. 현재 이러한 상황별 학습 현상은 대형 모델에서만 관찰할 수 있습니다. 예를 들어 GPT-4, Llama 등과 같은 대형 모델은 여러 분야에서 뛰어난 성능을 보여왔지만 리소스 제약이나 높은 실시간 요구 사항으로 인해 대형 모델을 많은 시나리오에서 사용할 수 없습니다

그런 다음 일반- 사이즈 모델 당신에게 이런 능력이 있나요? 소형 모델의 상황별 학습 기능을 탐색하기 위해 Byte와 East China Normal University의 연구팀은 장면 텍스트 인식 작업에 대한 연구를 수행했습니다.

현재 실제 적용 시나리오에서 장면 텍스트 인식은 다양한 장면, 텍스트 레이아웃, 변형, 조명 변경, 흐릿한 필기, 글꼴 다양성 등 다양한 문제에 직면해 있습니다. 따라서 이에 대처할 수 있는 기계를 훈련시키기가 어렵습니다. 모든 시나리오. 통합된 텍스트 인식 모델.

이 문제를 해결하는 직접적인 방법은 해당 데이터를 수집하고 특정 시나리오에서 모델을 미세 조정하는 것입니다. 그러나 이 프로세스에는 계산 집약적인 모델 재교육이 필요하며 다양한 시나리오에 적응하기 위해 여러 모델 가중치를 저장해야 합니다. 텍스트 인식 모델에 상황 학습 기능이 있으면 새로운 장면을 접할 때 새로운 장면에서 성능을 향상시키기 위한 프롬프트로 주석이 달린 소량의 데이터만 필요하므로 위의 문제가 해결됩니다. 그러나 장면 텍스트 인식은 리소스에 민감한 작업이므로 대규모 모델을 텍스트 인식기로 사용하면 리소스가 많이 소모됩니다. 예비 실험 관찰을 통해 연구원들은 전통적인 대형 모델 훈련 방법이 장면 텍스트 인식 작업에 적합하지 않다는 것을 발견했습니다

이 문제를 해결하기 위해 ByteDance와 화동 사범 대학교 연구팀은 자체 진화하는 텍스트 인식기를 제안했습니다. E2STR(자아 진화 장면 텍스트 인식기). 이는 상황별 학습 기능을 통합하고 미세 조정 없이 다양한 텍스트 인식 시나리오에 빠르게 적응할 수 있는 일반 크기의 텍스트 인식기입니다

문서 링크: https://arxiv.org/pdf/2311.13120 pdf

E2STR은 기존 데이터 세트의 SOTA 수준에 도달할 뿐만 아니라 단일 모델을 사용하여 다양한 시나리오에서 인식 성능을 향상하고 빠른 적응을 달성할 수 있는 상황별 훈련 및 상황별 추론 모드를 갖추고 있습니다. 새로운 시나리오, 미세 조정 후에도 전문 모델의 인식 성능을 능가합니다. E2STR은 일반 크기 모델이 텍스트 인식 작업에서 효과적인 상황 학습 기능을 달성하는 데 충분하다는 것을 보여줍니다. methodo in 그림 1, E2STR의 훈련 및 추론 과정이 표시됩니다. 프레임워크 시각적 인코더 및 언어 디코더 훈련의 목적은 텍스트 인식 기능을 얻는 것입니다.

2. 상황 훈련

그림 2에서 볼 수 있듯이 이 기사에서는 장면 텍스트 데이터를 무작위로 분할하고 변환하여 "하위 샘플" 집합을 생성하는 ST 전략을 제안합니다. 하위 샘플은 시각적으로나 언어적으로 본질적으로 연결되어 있습니다. 본질적으로 관련된 이러한 샘플은 시퀀스로 이어지며, 모델은 의미가 풍부한 이러한 시퀀스로부터 문맥 지식을 학습하여 문맥을 학습하는 능력을 얻습니다. 이 단계에서는 훈련을 위해 자동회귀 프레임워크도 사용합니다.

다시 작성해야 하는 내용은 다음과 같습니다. 3. 상황에 따른 추론 재작성된 콘텐츠: 3. 상황에 따른 추론

테스트 샘플의 경우 프레임워크는 시각적 잠재 공간에서 테스트 샘플과 가장 높은 유사성을 갖는 상황별 큐 풀에서 N개의 샘플을 선택합니다. 특히 이 기사에서는 시각적 토큰 시퀀스에서 풀링을 평균하여 이미지 임베딩 I를 계산합니다. 그런 다음 이미지 임베딩과 I 사이의 코사인 유사성이 가장 높은 상위 N개 샘플이 컨텍스트 풀에서 선택되어 컨텍스트 큐가 형성됩니다.

상황별 단서와 테스트 샘플을 함께 연결하여 모델에 입력한 후 E2STR은 훈련 없이 상황별 단서에서 새로운 지식을 학습하여 테스트 샘플의 인식 정확도를 향상시킵니다. 상황별 큐 풀은 시각적 인코더에 의해 출력된 토큰만 유지하므로 상황별 큐 선택 프로세스가 매우 효율적이라는 점에 유의하는 것이 중요합니다. 또한 상황별 힌트 풀이 작고 E2STR은 훈련 없이 추론을 수행할 수 있으므로 추가 계산 오버헤드도 최소화됩니다

Experiments

실험은 주로 세 가지 측면에서 수행됩니다: 전통적인 텍스트 인식 각각 Set, Cross -영역 장면 인식 및 어려운 샘플 수정

1. 기존 데이터 세트

훈련 세트에서 무작위로 몇 개의 샘플(1000, 0.025%)을 선택하여 Context Prompt Pool에서 12개의 공통 장면 텍스트 인식 테스트 세트를 대상으로 테스트를 진행한 결과, 그 결과는 다음과 같습니다.

인식 성능이 떨어지는 기존 데이터 세트에서는 E2STR이 여전히 향상된 것을 확인할 수 있습니다. SOTA 모델의 성능을 능가하는 거의 포화 상태입니다.

다시 작성해야 하는 내용은 다음과 같습니다. 2. 교차 도메인 시나리오

교차 도메인 시나리오에서 각 테스트 세트는 100개의 도메인 내 훈련 샘플만 제공합니다. 훈련이 없는 경우의 비교 결과입니다. E2STR은 SOTA 방식의 Fine-tuning 결과를 능가합니다.

다시 작성해야 하는 내용은 다음과 같습니다. 3. 어려운 샘플 수정

연구원들은 어려운 샘플을 일괄 수집하여 E2STR과 비교하여 이러한 샘플에 대해 10%~20%의 주석을 제공했습니다. 훈련 없는 상황 학습 방법과 SOTA 방법의 미세 조정 학습 방법의 결과는 다음과 같습니다.

미세 조정 방법에 비해 E2STR-ICL은 어려운 샘플의 오류율을 크게 줄입니다.

미래 전망

E2STR은 적절한 교육 및 추론 전략을 사용하면 소규모 모델도 LLM과 유사한 상황 내 학습 기능을 가질 수 있음을 증명합니다. 강력한 실시간 요구 사항이 있는 일부 작업에서는 작은 모델을 사용하여 새로운 시나리오에 빠르게 적응할 수도 있습니다. 더 중요한 것은 단일 모델을 사용하여 새로운 시나리오에 신속하게 적응하는 방법이 통합되고 효율적인 소규모 모델 구축에 한 걸음 더 가까워진다는 것입니다.

위 내용은 변경된 제목은 다음과 같습니다: ByteDance와 화동 사범대학의 협력: 소규모 모델의 상황별 학습 기능 탐색의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!