"청명절 강변"에 낙타가 몇 마리 있는지 알고 싶으십니까? UHD 입력을 지원하는 멀티모달 모델을 살펴보겠습니다.
최근 Nanyang Polytechnic의 중국 팀은 Fuyu-8B를 기반으로 80억 매개변수 다중 모드 대형 모델 OtterHD를 구축했습니다.
문서 주소: https://arxiv.org/abs/2311.04219
고정 크기 비주얼 인코더로 제한되는 기존 모델과 달리 OtterHD-8B는 유연한 입력 크기를 처리할 수 있는 기능을 갖추고 있습니다. 이는 다양한 추론 요구에 따른 다양성을 보장합니다.
동시에 팀에서는 대형 이미지에서 개체의 미세한 세부 사항과 공간적 관계를 구별하는 LLM의 능력을 신중하게 평가할 수 있는 새로운 벤치마크 테스트 MagnifierBench도 제안했습니다.
실험 결과 고해상도 입력을 직접 처리하는 데 있어서 OtterHD-8B의 성능이 동급 모델에 비해 월등히 우수함을 보여줍니다
아래 그림과 같이 청명절(부분에 낙타가 몇 마리 있습니까?), 이미지 입력이 2446x1766 픽셀에 도달하고 모델이 질문에 성공적으로 답할 수 있습니다.
GPT4-V가 한때 혼동했던 사과 계산 문제에 직면하여 모델은 11개의 사과가 포함되어 있다고 성공적으로 계산했습니다. 예를 들어, 다음 그림에서는 모델이 사용자가 캠브리지 대학의 박사 학위라고 가정하고 이 수치가 의미하는 바를 설명하도록 했습니다.
모델님의 답변으로 사진 속 블랙홀과 화이트홀 정보를 정확하게 파악하였고, 터널 같은 구조로 확인하신 후 자세한 설명을 해주셨습니다.
아래 차트에서 모델은 에너지 공유와 관련된 상황을 설명하도록 요청받습니다. 모델은 그림에 표시된 여러 에너지 유형을 성공적으로 식별하고 시간에 따른 비율을 정확하게 제시했습니다.
아래 흐름도는 전구 교체에 대한 흐름도를 정확하게 이해하고 자세한 단계를 제공합니다. 단계별 지침.
80억 매개변수 명령 미세 조정 OtterHD-8B
또한 추론 중에 더 큰 해상도(예: 1440×1440)로 확장할 수 있습니다.
팀은 예비 실험에서 Fuyu가 일부 벤치마크에서 특정 지침에 제대로 응답하지 않아 MME 및 MMBench에서 모델 성능이 매우 저하되었음을 발견했습니다.
In 이러한 문제를 해결하기 위해 팀은 명령어 미세 조정을 수행하고 370K 혼합 데이터를 기반으로 Fuyu 모델을 조정했으며 LLaVA-1.5의 유사한 명령어 템플릿을 참조하여 모델 답변 형식을 표준화했습니다교육 단계에서 , 모든 데이터 세트는 명령/응답 쌍으로 구성되고 통합 데이터 로더로 집계되며 균일하게 샘플링되어 대표 무결성을 보장합니다.
모델링 코드의 성능을 향상시키기 위해 팀은 FlashAttention-2와 FlashAttention 리소스 라이브러리의 연산자 융합 기술을 채택했습니다.
Fuyu의 단순화된 아키텍처 덕분에 그림 2와 같이 이러한 수정이 크게 이루어졌습니다. 향상된 GPU 활용도 및 처리량 향상
구체적으로 팀이 제안한 방법은 8×A100 GPU에서 3시간/epoch의 속도로 전체 매개변수 교육을 완료할 수 있지만 각 에포크에는 1시간만 필요합니다.
AdamW 최적화 프로그램을 사용하여 모델을 훈련할 때 배치 크기는 64, 학습률은 1×10^-5, 가중치 감소는 0.1입니다.
인간의 시각 시스템은 자연스럽게 시야 내 물체의 세부 사항을 인식할 수 있지만, LMM 테스트에 사용되는 현재 벤치마크는 이 능력을 평가하는 데 특별히 중점을 두지 않습니다.
Fuyu 및 OtterHD 모델의 등장으로 입력 이미지의 해상도를 처음으로 더 넓은 범위로 확장하고 있습니다.
이를 위해 팀은 PVSG(Panoptic Scene Graph Generation) 데이터 세트를 기반으로 166개의 이미지와 총 283개의 질문 세트를 다루는 새로운 테스트 벤치마크 MagnifierBench를 만들었습니다.
PVSG 데이터 세트는 비디오 데이터로 구성되어 있으며, 여기에는 특히 1인칭 집안일 비디오와 같은 지저분하고 복잡한 장면이 많이 포함되어 있습니다.
주석 단계에서 팀은 데이터세트의 각 질문-답변 쌍을 주의 깊게 조사하여 큰 물체와 관련된 쌍이나 상식적으로 쉽게 대답할 수 있는 쌍을 제거했습니다. 예를 들어 리모콘은 대부분 검은색이어서 짐작하기 쉽지만, 빨간색, 노란색 등의 색상은 이 목록에 포함되지 않습니다.
그림 3에서 볼 수 있듯이 MagnifierBench에서 디자인한 질문 유형에는 인식, 숫자, 색상 관련 질문 등이 포함됩니다. 이 데이터 세트의 중요한 기준은 주석 작성자도 전체 화면 모드에 있어야 하고 이미지를 확대해야 정확하게 답변할 수 있을 정도로 질문이 복잡해야 한다는 것입니다.
LMM은 짧은 답변에 비해 대화식 답변에 더 좋습니다. 확장된 답변을 생성하는 환경에 응답합니다.
- 객관식 질문
이 모델이 직면한 문제는 선택할 수 있는 옵션이 다양하다는 것입니다. 모델이 문자(예: A, B, C)를 답변으로 선택하도록 안내하기 위해 팀은 프롬프트로 주어진 선택의 문자를 질문 앞에 제시했습니다. 이 경우 올바른 옵션과 정확히 일치하는 답변만 정답으로 간주됩니다.
- 공개 질문
다양한 옵션은 무작위 추측의 정답 확률이 25%이므로 작업을 단순화합니다. . 또한 사용자는 일반적으로 모델에 미리 정의된 옵션을 제공하지 않기 때문에 이는 채팅 도우미가 직면한 실제 시나리오를 반영하지 않습니다. 이러한 잠재적 편향을 제거하기 위해 팀에서는 즉각적인 옵션 없이 간단하고 개방적인 방식으로 모델 질문을 했습니다.
연구 결과에 따르면 많은 모델이 MME 및 POPE와 같은 기존 벤치마크에서 높은 점수를 달성했지만 MagnifierBench에서의 성능은 만족스럽지 못한 경우가 많습니다. 반면에 OtterHD-8B는 MagnifierBench에서 좋은 성능을 보였습니다.
해상도 증가 효과를 더 자세히 살펴보고 다양한, 더 높은 해상도에서 OtterHD의 일반화 능력을 테스트하기 위해 팀은 고정 또는 동적 해상도를 사용하여 Otter8B를 교육했습니다.
x축 해상도가 증가할수록 더 많은 이미지 토큰이 언어 디코더로 전송되어 더 많은 이미지 세부 정보를 제공합니다.
실험 결과 해상도가 높아질수록 MagnifierBench의 성능도 그에 따라 향상되는 것으로 나타났습니다.
해상도가 높아질수록 이미지와 텍스트의 비율이 점차 증가합니다. 이는 평균 텍스트 토큰 수가 변경되지 않기 때문입니다
이 변경은 특히 복잡한 시각적 연관성이 필요한 작업에서 LMM 해결의 중요성을 강조합니다.
또한 고정 훈련 방법과 동적 훈련 방법의 성능 차이는 특히 특정 해상도에서 과적합을 방지하는 데 있어 동적 크기 조정의 장점을 강조합니다.
동적 전략의 또 다른 장점은 모델이 훈련 중에 표시되지 않은 경우에도 더 높은 해상도(1440)에 적응할 수 있다는 것입니다.
한편, OtterHD-8B는 고해상도 이미지 처리에 탁월합니다. 
위 내용은 80억 개의 매개변수 OtterHD를 통해 중국 난양 폴리테크닉 팀이 '청명절 동안 강을 따라'에서 낙타 세기 체험을 선사합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
