최근 Yan Shuicheng 교수가 이끄는 Kunlun Technology 2050 글로벌 연구소, 싱가포르 국립 대학교, 싱가포르 난양 기술 대학교 팀이 공동으로 을 출시하고 Vitron 범용 픽셀 수준 비주얼을 오픈 소스로 제공했습니다. 다중 모드 대형 언어 모델 .
시각적 이해부터 시각적 생성까지, 낮은 수준에서 높은 수준까지 일련의 시각적 작업을 지원하고, 대형 화면을 괴롭히는 이미지 문제를 해결하는 견고한 범용 시각적 멀티모달 대형 모델입니다. /비디오 모델 분할 문제는 정적 이미지와 동적 비디오의 이해, 생성, 분할, 편집 및 기타 작업을 포괄적으로 통합하는 픽셀 수준의 일반 시각적 다중 모드 대형 모델을 제공합니다. 차세대 일반 시각적 대형 모델의 기반을 마련하는 콘텐츠입니다. 궁극적인 형태는 대형 모델의 일반 인공 지능(AGI)을 향한 또 다른 큰 발걸음을 내딛습니다.
Vitron은 통합된 픽셀 수준의 시각적 다중 모달 대형 언어 모델로서 낮은 수준에서 높은 수준까지 시각적 작업을 포괄적으로 지원하며, 복잡한 시각적 작업을 처리할 수 있으며 및 이미지와 비디오 콘텐츠를 이해하고 생성하여 강력한 시각적 이해와 작업 실행 기능을 제공합니다. 동시에 Vitron은 사용자와의 지속적인 작업을 지원하여 유연한 인간-컴퓨터 상호 작용을 가능하게 하며 보다 통합된 시각적 다중 모드 범용 모델을 향한 큰 잠재력을 보여줍니다.
Vitron 관련 논문, 코드 및 데모가 모두 공개되었습니다. 이는 포괄성, 기술 혁신, 인간-컴퓨터 상호 작용 및 응용 가능성 측면에서 독특한 장점과 잠재력을 보여주었습니다. 다중 모드 대형 모델의 개발을 촉진할 뿐만 아니라 미래 시각적 대형 모델 연구에 새로운 방향을 제시합니다.
Kunlun Wanwei2050글로벌 연구소는 미래 세계를 위한 뛰어난 과학 연구 기관을 구축하고 과학계와 협력하여 "특이점 을 건너기 위해 노력해 왔습니다. ”, 미지의 세계를 탐험해보세요, 더 나은 미래를 만들어보세요. 이전 Kunlun Wanwei 2050글로벌 연구소는 디지털 에이전트 연구 개발 툴킷AgentStudio을 출시하고 오픈 소스화했습니다. 앞으로도 연구소는 인공 지능기술을 계속 홍보할 것입니다. 획기적인을 통해 중국의 인공지능 생태 건설에 기여합니다. 현재 시각적 대형 언어 모델(LLM) 개발은 만족스러운 진전을 이루었습니다. 커뮤니티는 점점 더 일반적이고 강력한 다중 모드 대형 모델(MLLM)을 구축하는 것이 일반 인공 지능(AGI)을 달성할 수 있는 유일한 방법이 될 것이라고 믿고 있습니다. 그러나 다중 모드 일반 모델(Generalist)로 전환하는 과정에는 여전히 몇 가지 주요 과제가 있습니다. 예를 들어, 작업의 상당 부분이 세밀한 픽셀 수준의 시각적 이해를 달성하지 못하거나 이미지 및 비디오에 대한 통일된 지원이 부족합니다. 혹은 다양한 시각적 작업에 대한 지원이 부족하여 보편적인 대형 모델과는 거리가 멀습니다. 이 격차를 메우기 위해 최근 Kunlun Worldwide 2050 글로벌 연구소, 싱가포르 국립 대학교 및 싱가포르 난양 기술 대학교 팀이 공동으로 오픈 소스 Vitron 범용 픽셀 수준 시각적 다중 모드 대형 언어 모델을 출시했습니다. . Vitron은 정적 이미지와 동적 비디오 콘텐츠에 대한 포괄적인 이해, 생성, 분할 및 편집을 포함하여 낮은 수준에서 높은 수준까지 시각적 이해부터 시각적 생성까지 일련의 시각적 작업을 지원합니다.
비트론은 비전과 관련된 4가지 주요 업무에 대한 기능적 지원을 종합적으로 설명했습니다. 그리고 그 주요 장점. Vitron은 또한 유연한 인간-기계 상호 작용을 달성하기 위해 사용자와의 지속적인 작업을 지원합니다. 이 프로젝트는 차세대 일반 비전 대형 모델의 궁극적인 형태를 위한 기반을 마련하면서 보다 통합된 비전 다중 모드 일반 모델에 대한 큰 잠재력을 보여줍니다. Vitron 관련 논문, 코드, 데모가 모두 공개되었습니다.
1
궁극의 통합 다중 모드 대형 언어 모델 최근 몇 년 동안 LLM(대형 언어 모델)은 전례 없는 강력한 기능을 선보였으며 AGI에 대한 기술적 경로로 점차 검증되었습니다. 다중 모드 대형 언어 모델(Multimodal Large Language Models, MLLM)은 많은 커뮤니티에서 빠르게 발전하고 있으며 시각적 인식을 수행할 수 있는 모듈을 도입하여 순수 언어 기반 LLM을 MLLM으로 확장하여 이미지 이해 기능이 뛰어나게 개발되었습니다. . BLIP-2, LLaVA, MiniGPT-4 등과 같은 동시에 VideoChat, Video-LLaMA, Video-LLaVA 등과 같이 비디오 이해에 중점을 둔 MLLM도 출시되었습니다. 이후 연구자들은 MLLM의 기능을 2차원에서 더욱 확장하려고 주로 노력했습니다. 한편, 연구자들은 대략적인 인스턴스 수준 이해에서 이미지에 대한 픽셀 수준의 세밀한 이해로 전환하여 MLLM의 비전에 대한 이해를 심화시켜 GLaMM, PixelLM과 같은 시각적 영역 포지셔닝(Regional Grounding) 기능을 달성하려고 노력하고 있습니다. , NExT-Chat 및 MiniGPT-v2 등 반면, 연구자들은 MLLM이 지원할 수 있는 시각적 기능을 확장하려고 노력하고 있습니다. 일부 연구에서는 MLLM이 어떻게 입력 시각적 신호를 이해할 뿐만 아니라 출력 시각적 콘텐츠 생성을 지원하는지 연구하기 시작했습니다. 예를 들어 GILL 및 Emu와 같은 MLLM은 이미지 콘텐츠를 유연하게 생성할 수 있으며 GPT4Video 및 NExT-GPT는 비디오 생성을 실현합니다. 현재 인공 지능 커뮤니티는 시각적 MLLM의 미래 추세가 필연적으로 고도로 통합되고 강력한 기능을 제공하는 방향으로 발전할 것이라는 데 점차 합의에 도달했습니다. 그러나 커뮤니티에서 개발한 수많은 MLLM에도 불구하고 여전히 명확한 격차가 존재합니다. 위 표는 기존 Visual MLLM의 성능을 간단히 요약한 것입니다(대표적으로 일부 모델만 포함되어 있으며, 적용 범위가 불완전합니다). 이러한 격차를 해소하기 위해 팀은 일반적인 픽셀 수준 시각적 MLLM인 Vitron을 제안합니다. 02. Vitron 시스템 아키텍처 : 세 가지 핵심 모듈 Vitron의 전체 프레임워크는 아래 그림에 나와 있습니다. Vitron은 1) 프런트 엔드 시각적 및 언어 인코딩 모듈, 2) 중앙 LLM 이해 및 텍스트 생성 모듈, 3) 시각적 제어를 위한 백엔드 사용자 응답 및 모듈 호출의 세 가지 핵심 부분을 포함하여 기존 관련 MLLM과 유사한 아키텍처를 채택합니다. 기준 치수. 03. Vitron모델 학습의 세 가지 주요 단계 위의 아키텍처를 기반으로 Vitron은 강력한 시각적 이해 및 작업 실행 기능을 제공하도록 학습되고 미세 조정됩니다. 모델 훈련에는 주로 세 가지 단계가 포함됩니다. 1) 사용자 응답 출력, 사용자의 명령에 직접 응답 입력 . 2) 수행할 기능이나 작업을 나타내는 모듈 이름입니다. 3) 작업 모듈의 메타 명령을 트리거하는 명령을 호출합니다. 4) 백엔드 모듈에 이 정보가 필요한 비디오 추적 또는 시각적 편집과 같은 특정 작업에 필요한 세분화된 시각적 기능을 지정하는 영역(선택적 출력)입니다. 영역의 경우 LLM의 픽셀 수준 이해를 기반으로 좌표로 설명되는 경계 상자가 출력됩니다. 04. 평가 실험 연구원들은 Vitron을 기반으로 22개의 공통 벤치마크 데이터 세트와 12개의 이미지/비디오 비전 작업에 대해 광범위한 실험 평가를 수행했습니다. Vitron은 4가지 주요 시각적 작업 그룹(분할, 이해, 콘텐츠 생성 및 편집)에서 강력한 기능을 보여주는 동시에 유연한 인간-컴퓨터 상호 작용 기능을 갖추고 있습니다. 다음은 대표적인 정성적 비교 결과입니다. 이미지 참조 이미지 분할 결과 이미지 참조 표현 이해 결과 . 영상 QA 결과 편집 결과 Vitron 시스템은 여전히 외부 도구를 호출하기 위해 반합동, 반에이전트 접근 방식을 사용합니다. 이 호출 기반 방법은 잠재적 모듈의 확장 및 교체를 용이하게 하지만 이 파이프라인 구조의 백엔드 모듈은 프런트엔드 및 LLM 핵심 모듈의 공동 학습에 참여하지 않는다는 의미이기도 합니다. 이러한 제한은 시스템의 전반적인 학습에 도움이 되지 않습니다. 즉, 다양한 비전 작업의 성능 상한이 백엔드 모듈에 의해 제한된다는 의미입니다. 향후 작업은 다양한 비전 작업 모듈을 단일 단위로 통합해야 합니다. 단일 생성 패러다임을 통해 생성 및 편집 기능을 지원하면서 이미지와 비디오의 통일된 이해와 출력을 달성하는 것은 여전히 어려운 과제입니다. 현재 유망한 접근 방식은 모듈식 영구 토큰화를 결합하여 다양한 입력 및 출력 및 다양한 작업에 대한 시스템 통합을 개선하는 것입니다. 단일 비전 작업(예: Stable Diffusion 및 SEEM)에 중점을 둔 이전 모델과 달리 Vitron은 업계 DALL-E 시리즈의 OpenAI와 유사하게 LLM과 사용자 간의 깊은 상호 작용을 촉진하는 것을 목표로 합니다. , 미드저니 등 최적의 사용자 상호 작용을 달성하는 것이 이 작업의 핵심 목표 중 하나입니다. Vitron은 적절한 교육 조정과 결합된 기존 언어 기반 LLM을 활용하여 특정 수준의 상호 작용을 달성합니다. 예를 들어, 시스템은 사용자가 입력할 것으로 예상되는 모든 메시지에 유연하게 응답하고 사용자 입력이 백엔드 모듈 조건과 정확히 일치하도록 요구하지 않고도 해당 시각적 작업 결과를 생성할 수 있습니다. 그러나 이 작업은 상호작용성을 향상시키는 측면에서 여전히 개선의 여지가 많이 남아 있습니다. 예를 들어, 비공개 소스 Midjourney 시스템에서 영감을 얻어 LLM이 각 단계에서 어떤 결정을 내리더라도 시스템은 사용자에게 적극적으로 피드백을 제공하여 해당 작업과 결정이 사용자 의도와 일치하는지 확인해야 합니다. 모달 기능 현재 Vitron은 7B Vicuna 모델을 통합하고 있는데, 이는 언어, 이미지 및 비디오를 이해하는 능력에 특정 제한이 있을 수 있습니다. 향후 탐색 방향은 비전에 대한 보다 철저하고 포괄적인 이해를 달성하기 위해 모델의 규모를 확장하는 등 포괄적인 End-to-End 시스템을 개발하는 것일 수 있습니다. 또한 LLM이 이미지와 비디오 양식에 대한 이해를 완전히 통일할 수 있도록 노력해야 합니다.
자세한 실험 내용과 내용은 논문으로 이동해주세요.
5
. 미래 방향 전망
위 내용은 Yan Shuicheng의 지도 아래 Kunlun Wanwei 2050 글로벌 연구소는 NUS 및 NTU와 공동으로 Vitron을 출시하여 일반적인 시각적 다중 모드 대형 모델의 궁극적인 형태를 확립했습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
