Vincent Tu의 새로운 SOTA! Pika, Peking University 및 Stanford가 Wenshengtu의 두 가지 주요 문제를 해결하는 데 도움이 되는 다중 모드 RPG를 공동 출시

최근 북경대학교, 스탠포드, 인기 있는 Pika Labs가 공동으로 대형 모델 빈첸시안 그래프의 능력을 새로운 차원으로 끌어올린 연구를 발표했습니다.

문서 주소: https://arxiv.org/pdf/2401.11708.pdf

코드 주소: https://github.com/YangLing0818/RPG-DiffusionMaster

제안 논문 작성자 MLLM(다중 모드 대형 언어 모델)의 추론 기능을 활용하여 텍스트-이미지 생성/편집 프레임워크를 개선하기 위한 혁신적인 접근 방식이 취해졌습니다.

즉, 이 방법은 여러 속성, 관계 및 개체가 포함된 복잡한 텍스트 프롬프트를 처리할 때 텍스트 생성 모델의 성능을 향상시키는 것을 목표로 합니다.

더 이상 고민하지 않고 사진은 다음과 같습니다.

오렌지색 드레스를 입은 녹색 트윈테일 소녀가 소파에 앉아 있고 왼쪽 큰 창문 아래 지저분한 책상이 있고 그 옆에는 활기찬 수족관이 있습니다. 소파 오른쪽 위, 사실적인 스타일

오렌지색 드레스를 입은 트윈 테일 소녀가 소파에 앉아 있습니다. 큰 창 옆에는 어지러운 책상이 있고, 오른쪽 위는 방입니다. 현실적인 스타일이다.

복잡한 관계를 맺고 있는 여러 사물을 마주한 가운데, 모델이 제시하는 전체 그림의 구조와 사람과 사물의 관계가 매우 합리적이어서 보는 이의 눈을 밝게 만든다.

동일한 메시지로 현재 최신 SDXL 및 DALL·E 3의 성능을 살펴보겠습니다.

새로운 프레임워크가 실행될 때의 성능을 살펴보겠습니다. 퍼포먼스:

왼쪽부터 흰색 셔츠를 입은 금발 포니테일 유럽 소녀, 새가 프린트된 파란색 셔츠를 입은 갈색 곱슬머리 아프리카 소녀, 아시아 젊은이 검은색 짧은 머리에 정장을 입은 남자가 즐겁게 캠퍼스를 걷고 있습니다.

왼쪽부터 흰색 셔츠와 금발 포니테일을 입은 유럽 소녀, 새가 프린트된 파란색 셔츠를 입은 갈색 곱슬머리의 아프리카 소녀 그 위에는 양복과 짧은 검은 머리의 젊은 아시아 남성이 캠퍼스를 즐겁게 걷고 있습니다.

연구원들은 이 프레임워크를 RPG(Recaption, Plan and Generation)라고 명명하고 MLLM을 글로벌 플래너로 사용하여 복잡한 이미지 생성 프로세스를 하위 영역 내에서 여러 개의 간단한 생성 작업으로 분해했습니다.

이 논문에서는 영역 조합 생성을 달성하기 위해 보완적인 영역 확산을 제안하고, 텍스트 기반 이미지 생성 및 편집을 폐쇄 루프 방식으로 RPG 프레임워크에 통합하여 일반화 기능을 향상시킵니다.

실험에 따르면 본 논문에서 제안한 RPG 프레임워크는 특히 다중 범주 개체 합성 및 텍스트 이미지 의미 정렬에서 DALL·E 3 및 SDXL을 포함한 현재 최첨단 텍스트 이미지 확산 모델보다 성능이 뛰어납니다.

RPG 프레임워크가 다양한 MLLM 아키텍처(예: MiniGPT-4) 및 확산 백본 네트워크(예: ControlNet)와 광범위하게 호환된다는 점은 주목할 가치가 있습니다.

RPG

현재 Vincentian 그래프 모델에는 두 가지 주요 문제가 있습니다. 1. 레이아웃 기반 또는 주의 기반 방법은 대략적인 공간 안내만 제공할 수 있으며 겹치는 개체를 처리하기 어렵습니다. 2. 피드백 기반 방법에는 수집이 필요합니다. 고품질 피드백 데이터를 제공하고 추가 교육 비용이 발생합니다.

이러한 문제를 해결하기 위해 연구자들은 아래 그림과 같이 RPG의 세 가지 핵심 전략을 제안했습니다.

여러 엔터티와 관계가 포함된 복잡한 텍스트 프롬프트가 주어지면 먼저 MLLM을 활용하여 다음과 같이 분해됩니다. 기본 단서와 고도로 설명적인 하위 단서, 이후 다중 모드 모델의 CoT 계획을 사용하여 이미지 공간을 보완적인 하위 영역으로 분할하고, 마지막으로 보완적인 영역 확산을 도입하여 각 하위 영역의 이미지를 독립적으로 생성합니다. 집계는 각 샘플링 단계에서 수행됩니다.

다중 모드 재조정

은 텍스트 단서를 매우 설명적인 단서로 변환하여 확산 모델에서 정보 강화 단서 이해 및 의미 체계 정렬을 제공합니다.

MLLM을 사용하여 사용자 프롬프트 y의 핵심 문구를 식별하고 그 안에 있는 하위 항목을 가져옵니다.

LLM을 사용하여 텍스트 프롬프트를 여러 하위 프롬프트로 분해하고 더 자세히 다시 설명합니다. :

이러한 방식으로 각 하위 큐에 대해 더 조밀하고 세밀한 세부 정보를 생성하여 생성된 이미지의 충실도를 효과적으로 향상시키고 큐와 이미지 간의 의미적 차이를 줄일 수 있습니다.

Thought Chain Planning

은 이미지 공간을 보완적인 하위 영역으로 나누고 각 하위 영역에 서로 다른 하위 단서를 할당하는 동시에 생성 작업을 여러 개의 간단한 하위 작업으로 나눕니다.

구체적으로, 이미지 공간 H×W는 여러 개의 보완적인 영역으로 나누어지고, 각 인핸서 프롬프트는 특정 영역에 할당됩니다. R:

MLLM의 강력한 사고 연쇄 추론 능력을 사용하여, 효과적인 구역화. 검색된 중간 결과를 분석함으로써 후속 이미지 합성을 위한 세부 원리와 정확한 지침을 생성할 수 있습니다.

보충 영역 확산

각 직사각형 하위 영역에서는 하위 큐에 의해 안내되는 콘텐츠가 독립적으로 생성된 다음 이러한 하위 영역을 공간적으로 병합하는 방식으로 크기가 조정되고 연결됩니다.

이 방법은 겹치는 객체를 처리하기 어려운 대형 모델의 문제를 효과적으로 해결합니다. 또한 이 논문에서는 이 프레임워크를 확장하여 편집 작업에 적응하고 윤곽 기반 영역 확산을 사용하여 수정이 필요한 일관되지 않은 영역에서 정확하게 작동합니다.

위 이미지와 같이 텍스트 안내 이미지 편집

. 다시 말하기 단계에서 RPG는 MLLM을 자막으로 사용하여 원본 이미지를 다시 말하고 강력한 추론 기능을 사용하여 이미지와 대상 큐 간의 세밀한 의미 차이를 식별하고 입력 이미지가 대상 큐와 어떻게 정렬되는지 직접 분석합니다.

MLLM(GPT-4, Gemini Pro 등)을 사용하여 수치 정확도, 속성 바인딩 및 개체 관계와 관련하여 입력과 대상 간의 차이를 확인하세요. 결과적인 다중 모드 이해 피드백은 추론 편집 계획을 위해 MLLM에 전달됩니다.

위의 세 가지 측면에서 생성 효과의 성능을 살펴보겠습니다. 첫 번째는 SDXL, DALL·E 3 및 LMD+를 비교하는 속성 바인딩입니다.

우리는 그것을 전체적으로 볼 수 있습니다. 세 가지 테스트 게임 중 RPG만이 프롬프트가 설명하는 내용을 가장 정확하게 반영합니다.

그리고 수치 정확도가 있고 표시 순서는 위와 동일합니다(SDXL, DALL·E 3, LMD+, RPG):

- 계산이 꽤 어려울 줄은 몰랐습니다. 대형 Vincent 피규어 모델의 경우 그렇습니다. RPG는 상대를 쉽게 물리칩니다.

마지막 항목은 프롬프트에서 복잡한 관계를 복원하는 것입니다.

또한 영역 확산은 계층적 형식으로 확장되어 특정 하위 영역을 더 작은 하위 영역으로 나눌 수 있습니다.

아래 그림과 같이 RPG는 영역 분할 계층을 추가하면 텍스트-이미지 생성이 크게 향상될 수 있습니다. 이는 복잡한 생성 작업을 처리하기 위한 새로운 관점을 제공하여 임의 구성의 이미지를 생성하는 것을 가능하게 합니다.