300개 이상의 관련 연구, 푸단대학교 및 난양기술대학교의 최신 다중 모드 이미지 편집 리뷰 논문

AIxiv 칼럼은 본 사이트에 학술적, 기술적 내용을 게재하는 칼럼입니다. 지난 몇 년 동안 이 사이트의 AIxiv 칼럼에는 전 세계 주요 대학 및 기업의 최고 연구실을 대상으로 한 2,000개 이상의 보고서가 접수되어 학술 교류 및 보급을 효과적으로 촉진하고 있습니다. 공유하고 싶은 훌륭한 작품이 있다면 자유롭게 기여하거나 보고를 위해 연락주시기 바랍니다. 제출 이메일: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com

이 기사의 첫 번째 저자인 Shuai Xincheng은 현재 푸단 대학교 FVL 연구소에서 박사 과정을 공부하고 있으며 Shanghai Jiao Tong University를 졸업했습니다. 학사 학위. 그의 주요 연구 관심 분야는 이미지 및 비디오 편집과 다중 모드 학습입니다.

• 논문 제목: A Survey of Multimodal-Guided Image Editing with Text-to-Image Diffusion Models
• 출판 단위: Fudan University FVL Laboratory, Nanyang Technological University
• 논문 주소: https://arxiv . org/abs/2406.14555
• 프로젝트 주소: https://github.com/xinchengshuai/Awesome-Image-Editing

그림 2. 일반 편집 알고리즘의 통합 프레임 워크

프레임 워크에는 두 개의 알고리즘 패밀리, 반전 알고리즘
및 편집 알고리즘

가 포함됩니다.

3.1 반전 알고리즘. 반전 알고리즘
은 소스 이미지 세트

를 특정 기능 또는 매개변수 공간으로 인코딩하고 해당 표현

(역전 단서)을 얻은 다음 해당 소스 텍스트 설명 을 소스 이미지의 식별자로 사용합니다. 튜닝 기반과 순방향 기반이라는 두 가지 유형의 반전 알고리즘이 포함됩니다. Tuning-based inversion

원본 이미지 세트는 원래 확산 훈련 프로세스를 통해 확산 모델의 세대 분포에 이식됩니다. 형식화 프로세스는 다음과 같습니다.

여기서 는 도입된 학습 가능한 매개변수이고

입니다.

Forward-based inversion
은 확산 모델의 역과정(

)에서 특정 순방향 경로(

)의 노이즈를 복원하는 데 사용됩니다. 공식화 프로세스는 다음과 같습니다.

여기서 는 메소드에 도입된 매개변수로, 를 최소화하는 데 사용됩니다. 여기서 .

3.2.알고리즘 편집. 편집 알고리즘 은 및 다중 모드 지침 세트 를 기반으로 최종 편집 결과 를 생성합니다. 주의 기반, 혼합 기반, 점수 기반 및 최적화 기반을 포함한 편집 알고리즘. 다음과 같이 공식화할 수 있습니다.

특히 역 프로세스의 각 단계에 대해 는 다음 작업을 수행합니다.

여기서 의 작업은 확산 모델 샘플링에서 편집 알고리즘의 개입을 나타냅니다. 프로세스 , 편집된 이미지 와 원본 이미지 컬렉션 간의 일관성을 보장하고 의 지침 조건에 지정된 시각적 변형을 반영하는 데 사용됩니다.

구체적으로 우리는 개입 없는 편집 프로세스를 편집 알고리즘의 일반 버전으로 취급합니다. 다음과 같이 공식화됩니다:

주의 기반 편집의 형식적 프로세스:

Blending 기반 편집의 형식적 프로세스

점수 기반 편집의 형식적 프로세스:

최적화 기반 편집 의 공식화 프로세스:

3.3 훈련 기반 편집 방법. 훈련이 필요 없는 방법과 달리 훈련 기반 알고리즘은 소스 이미지 세트를 작업별 데이터 세트의 편집된 이미지에 매핑하는 방법을 직접 학습합니다. 이러한 유형의 알고리즘은 추가로 도입된 매개변수를 통해 소스 이미지를 생성 분포로 인코딩하는 튜닝 기반 역전의 확장으로 볼 수 있습니다. 이러한 유형의 알고리즘에서 가장 중요한 것은 소스 이미지를 T2I 모델에 주입하는 방법입니다. 다음은 다양한 편집 시나리오에 대한 주입 방식입니다.

콘텐츠 인식 작업 주입 방식:

                                                           ^{> > ~                                                                     그림 3. 콘텐츠가 없는 작업의 주입 방식}

4. 다중 모드 편집 작업에서 통합 프레임워크 적용

^{이 문서에서는 정성적 실험을 통해 다중 모드 편집 작업에서 각 조합의 적용을 보여줍니다.}

                              그림 4. 주의 기반 편집 애플리케이션 정보

의 알고리즘 조합                   알고리즘 조합 적용

그림 6. 점수 기반 편집을 위한 알고리즘 조합 적용                                                                                              > 자세한 분석을 위해.

^{5． 텍스트 기반 편집 시나리오의 다양한 조합 비교}일반적인 텍스트 기반 편집 작업을 위해 이 기사에서는 다양한 조합에 적합한 편집 시나리오를 설명하기 위해 여러 가지 도전적인 질적 실험을 설계했습니다. 또한 본 논문에서는 다양한 시나리오에서 다양한 조합으로 고급 알고리즘의 성능을 정량적으로 설명하기 위해 그에 따라 고품질의 어려운 데이터 세트를 수집합니다.

콘텐츠 인식 작업의 경우 주로 개체 작업(추가/삭제/교체), 속성 변경 및 스타일 마이그레이션을 고려합니다. 특히 우리는 다음과 같은 까다로운 실험 설정을 고려합니다. 1. 다목적 편집. 2. 이미지의 의미 레이아웃에 더 큰 영향을 미치는 사용 사례. 또한 이러한 복잡한 장면의 고품질 이미지를 수집하고 다양한 조합의 최첨단 알고리즘에 대한 포괄적인 정량적 비교를 수행합니다. En 그림 8. Content-AWARE 미션의 각 조합에 대한 정성적 비교. 왼쪽에서 오른쪽으로 결과 분석 및 더 많은 실험 결과가 나와 있습니다. 원본 논문을 참조하세요. 컨텐츠 없는 작업의 경우 주제 중심의 맞춤형 작업을 주로 고려합니다. 그리고 배경 변경, 개체와의 상호 작용, 동작 변경, 스타일 변경 등 다양한 시나리오를 고려합니다. 또한 다수의 텍스트 지침 템플릿을 정의하고 각 방법의 전반적인 성능에 대한 정량적 분석을 수행했습니다.

그림 9. 콘텐츠 프리 미션의 각 조합에 대한 정성적 비교. 왼쪽부터 결과 분석 및 더 많은 실험 결과는 원본 논문을 참조하세요.

6． 앞으로 연구할 수 있는 방향

또한 이 글에서는 향후 연구 방향에 대한 분석도 제공합니다. 여기서는 콘텐츠 인식 작업과 콘텐츠 없는 작업이 직면한 과제를 예로 들어보겠습니다.

6.1. 콘텐츠 인식 작업의 과제. 콘텐츠 인식 편집 작업의 경우 기존 방법으로는 여러 편집 시나리오와 제어 신호를 동시에 처리할 수 없습니다. 이러한 제한으로 인해 애플리케이션은 서로 다른 작업 간에 적절한 백엔드 알고리즘을 전환해야 합니다. 또한 일부 고급 방법은 사용자에게 친숙하지 않습니다. 일부 방법에서는 최적의 결과를 얻기 위해 사용자가 주요 매개변수를 조정해야 하는 반면, 다른 방법에서는 소스 및 대상 힌트 또는 보조 마스크와 같은 지루한 입력이 필요합니다.

6.2.컨텐츠 없는 작업 챌린지. 콘텐츠가 없는 편집 작업의 경우 기존 방법은 테스트 중에 조정 프로세스가 길어지고 과적합 문제가 발생합니다. 일부 연구에서는 소수의 매개변수를 최적화하거나 모델을 처음부터 훈련하여 이 문제를 완화하는 것을 목표로 합니다. 그러나 주제를 개별화하는 세부 사항을 놓치거나 일반화 능력이 떨어지는 경우가 많습니다. 또한, 현재의 방법은 소수의 이미지에서 추상적인 개념을 추출하는 데도 부족하고, 원하는 개념을 다른 시각적 요소와 완전히 분리할 수 없습니다.

연구 방향에 대한 자세한 내용은 원본 논문을 확인하세요.

위 내용은 300개 이상의 관련 연구, 푸단대학교 및 난양기술대학교의 최신 다중 모드 이미지 편집 리뷰 논문의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!