처음으로 생성 모델에 의존하지 않고 AI가 단 한 문장으로 사진을 편집할 수 있게 되었습니다!-일체 포함-php.cn

2022년은 AIGC(AI 생성 콘텐츠)가 폭발적으로 증가하는 해입니다. 인기 있는 방향 중 하나는 텍스트 설명(텍스트 프롬프트)을 통해 사진을 편집하는 것입니다. 기존 방법은 일반적으로 대규모 데이터 세트에 대해 훈련된 생성 모델에 의존하므로 데이터 수집 및 훈련 비용이 높을 뿐만 아니라 모델 크기도 더 커집니다. 이러한 요인들은 실제 기술 개발과 적용에 대한 높은 문턱을 가져왔고, AIGC의 개발과 창의성을 제한했습니다.

위의 문제점에 대응하여 NetEase Interactive Entertainment AI Lab은 Shanghai Jiao Tong University와 협력하여 연구를 수행하고 미분 벡터 렌더러인 CLIPVG를 기반으로 한 솔루션을 혁신적으로 제안했습니다. 어떤 세대에도 의존하지 않습니다. 모델의 경우 텍스트 안내 이미지 편집을 수행합니다. 이 솔루션은 벡터 요소의 특성을 교묘하게 사용하여 최적화 프로세스를 제한하므로 대규모 데이터 요구 사항과 높은 교육 오버헤드를 피할 수 있을 뿐만 아니라 생성 효과 측면에서도 최적의 수준을 달성할 수 있습니다. 해당 논문 "CLIPVG: Text-Guided Image Manipulation Using Differentiable Vector Graphics"가 AAAI 2023에 포함되었습니다. 주소 주소 : https://arxiv.org/abs/2212.0212224 소스 코드 : https://github.com/netease-gameai/clipvg

처음으로 생성 모델에 의존하지 않고 AI가 단 한 문장으로 사진을 편집할 수 있게 되었습니다!

CLIPVG는 업계에 알려진 다른 솔루션에 비해 의미 정확도를 15.9%, 생성 품질을 23.6% 향상시킵니다. 의미상 더 관련성이 높고 오류가 없는 이미지를 편집하고 출력합니다. 프레임워크 유연성 측면에서 CLIPVG는 자동으로 픽셀 이미지를 벡터 그래픽으로 변환할 수 있으므로 다른 픽셀 이미지 기반 연구 프레임워크보다 더 유연하게 이미지 색상, 모양, 하위 영역 등을 독립적으로 편집할 수 있습니다. 응용 시나리오 측면에서 CLIPVG는 생성 모델에 전혀 의존하지 않기 때문에 초상화 스타일화, 만화 편집, 글꼴 디자인, 자동 채색 등과 같은 더 넓은 범위의 시나리오에 적용할 수 있습니다. 여러 텍스트 조건에서 일대일 일치. 그림의 여러 부분을 동시에 편집할 수 있습니다.

처음으로 생성 모델에 의존하지 않고 AI가 단 한 문장으로 사진을 편집할 수 있게 되었습니다! 아이디어 및 기술적 배경

처음으로 생성 모델에 의존하지 않고 AI가 단 한 문장으로 사진을 편집할 수 있게 되었습니다! 전체 프로세스의 관점에서 CLIPVG는 먼저 픽셀 이미지를 벡터 도메인으로 강력하게 변환하고 후속 이미지 편집 요구에 적응할 수 있는 다중 라운드 벡터화 방법을 제안했습니다. 그런 다음 ROI CLIP 손실은 각 관심 영역(ROI)에 대해 서로 다른 텍스트로 지침을 지원하는 손실 함수로 정의됩니다. 전체 최적화 프로세스에서는 미분 가능한 벡터 렌더러를 사용하여 벡터 매개변수(예: 색상 패치, 제어점 등)에 대한 그라데이션 계산을 수행합니다.

CLIPVG는 두 분야의 기술을 결합합니다. 하나는 픽셀 도메인의 텍스트 기반 이미지 편집이고 다른 하나는 벡터 이미지 생성입니다. 다음으로 관련 기술 배경을 차례로 소개한다.

처음으로 생성 모델에 의존하지 않고 AI가 단 한 문장으로 사진을 편집할 수 있게 되었습니다!

텍스트 안내 이미지 번역

이미지 편집 중에 AI가 텍스트 안내를 "이해"할 수 있도록 하기 위한 일반적인 방법은 CLIP(Contrastive Language-Image Pre-Training) 모델을 사용하는 것입니다. CLIP 모델은 텍스트와 이미지를 비교 가능한 잠재 공간으로 인코딩하고 "이미지가 텍스트 설명을 준수하는지 여부"에 대한 모달 간 유사성 정보를 제공하여 텍스트와 이미지 간의 의미론적 연결을 설정할 수 있습니다. 그러나 실제로 CLIP 모델만으로는 이미지 편집을 직접 효과적으로 안내하기가 어렵습니다. 이는 CLIP이 주로 이미지의 높은 수준의 의미 정보에 초점을 맞추고 픽셀 수준의 세부 사항에 대한 제약이 부족하여 최적화 프로세스가 어렵기 때문입니다. 지역 최적(지역 최소) 또는 적대적 솔루션에 쉽게 빠지게 됩니다.

일반적인 기존 방법은 CLIP을 StyleCLIP(Patashnik et al, 2021), StyleGAN-NADA(Gal et al, 2022), Disco Diffusion(alembics 2022)과 같은 GAN 또는 Diffusion 기반의 픽셀 도메인 생성 모델과 결합하는 것입니다. , DiffusionCLIP(Kim, Kwon, and Ye 2022), DALL·E 2(Ramesh et al, 2022) 등이 있다. 이러한 방식은 생성 모델을 활용하여 이미지 세부 사항을 제한하므로 CLIP만 사용할 때의 단점을 보완합니다. 그러나 동시에 이러한 생성 모델은 교육 데이터와 컴퓨팅 리소스에 크게 의존하므로 효과적인 이미지 편집 범위가 교육 세트 이미지에 의해 제한됩니다. 모델 생성 기능으로 인해 StyleCLIP, StyleGAN-NADA 및 DiffusionCLIP과 같은 방법은 단일 모델을 얼굴 이미지와 같은 특정 필드로만 제한할 수 있습니다. Disco Diffusion 및 DALL·E 2와 같은 방법은 모든 이미지를 편집할 수 있지만 해당 생성 모델을 훈련하려면 막대한 데이터와 컴퓨팅 리소스가 필요합니다.

현재 CLIPstyler(Kwon and Ye 2022)와 같이 생성 모델에 의존하지 않는 솔루션은 거의 없습니다. 최적화 과정에서 CLIPstyler는 편집할 이미지를 임의의 패치로 나누고 각 패치에 대해 CLIP 지침을 사용하여 이미지 세부 사항에 대한 제약을 강화합니다. 문제는 각 패치가 입력 텍스트에 의해 정의된 의미를 독립적으로 반영한다는 점입니다. 따라서 이 솔루션은 스타일 전송만 수행할 수 있을 뿐 이미지의 전체적인 상위 수준 의미 편집은 수행할 수 없습니다.

위의 픽셀 도메인 방식과 달리 NetEase Interactive Entertainment AI Lab에서 제안하는 CLIPVG 솔루션은 벡터 그래픽의 특성을 사용하여 이미지 세부 사항을 제한하여 생성 모델을 대체합니다. CLIPVG는 모든 입력 이미지를 지원하고 범용 이미지 편집을 수행할 수 있습니다. 출력은 해상도에 의해 제한되지 않는 표준 SVG 형식 벡터 그래픽입니다.

벡터 이미지 생성

CLIPdraw(Frans, Soros 및 Witkowski 2021), StyleCLIPdraw(Schaldenbrand, Liu, and Oh 2022) 등과 같은 일부 기존 작업에서는 텍스트 기반 벡터 그래픽 생성을 고려합니다. 일반적인 접근 방식은 CLIP을 미분 가능한 벡터 렌더러와 결합하고 무작위로 초기화된 벡터 그래픽에서 시작하여 점차적으로 텍스트가 표현하는 의미에 가까워지는 것입니다. 사용되는 미분 벡터 렌더러는 Diffvg(Li et al. 2020)이며, 미분 렌더링을 통해 벡터 그래픽을 픽셀 이미지로 래스터화할 수 있습니다. CLIPVG는 또한 Diffvg를 사용하여 벡터 이미지와 픽셀 이미지 간의 연결을 설정합니다. 기존 방법과 달리 CLIPVG는 기존 이미지를 직접 생성하는 것이 아니라 편집하는 방법에 중점을 둡니다.

기존 이미지의 대부분은 픽셀 이미지이므로 벡터화 작업을 거쳐야 벡터 그래픽 기능을 사용하여 편집할 수 있습니다. 기존 벡터화 방법에는 AIT(Adobe Image Trace), LIVE(Ma et al. 2022) 등이 있지만 이러한 방법에는 후속 편집 요구 사항이 고려되지 않습니다. CLIPVG는 특히 이미지 편집의 견고성을 향상시키기 위해 기존 방법을 기반으로 여러 차례의 벡터화 향상 방법을 도입합니다.

기술적 구현

CLIPVG의 전반적인 프로세스는 아래 그림과 같습니다. 먼저, 입력 픽셀 영상을 정밀도가 다른 다중 라운드 벡터화(Multi-round Vectorization)를 거치는데, 여기서 i번째 라운드에서 얻은 벡터 요소 집합을 Θi로 표시합니다. 각 라운드에서 얻은 결과는 최적화 개체로 함께 겹쳐지고 미분 가능한 벡터 렌더링(Differentiable Rasterization)을 통해 다시 픽셀 영역으로 변환됩니다. 출력 영상의 시작 상태는 입력 영상을 벡터화하여 재구성한 후, 텍스트에 설명된 방향으로 반복 최적화를 수행합니다. 최적화 프로세스는 각 ROI의 영역 범위 및 관련 텍스트를 기반으로 ROI CLIP 손실(아래 그림의 처음으로 생성 모델에 의존하지 않고 AI가 단 한 문장으로 사진을 편집할 수 있게 되었습니다! )을 계산하고 색상 매개변수 및 모양 매개변수를 포함하여 그라데이션에 따라 각 벡터 요소를 최적화합니다.

처음으로 생성 모델에 의존하지 않고 AI가 단 한 문장으로 사진을 편집할 수 있게 되었습니다!

전체 반복 최적화 프로세스는 아래 예에서 볼 수 있으며, 가이드 텍스트는 "Jocker, Heath Ledger"(Joker, Heath Ledger)입니다.

처음으로 생성 모델에 의존하지 않고 AI가 단 한 문장으로 사진을 편집할 수 있게 되었습니다!

벡터화

벡터 그래픽은 벡터 요소의 컬렉션으로 정의할 수 있으며, 각 벡터 요소는 일련의 매개변수로 제어됩니다. 벡터 요소의 매개변수는 해당 유형에 따라 다릅니다. 예를 들어 채워진 곡선의 매개변수는 입니다. 여기서 는 제어점 매개변수이고 은 RGB 색상 및 불투명도의 매개변수입니다. . 벡터 요소를 최적화할 때 몇 가지 자연스러운 제약이 있습니다. 예를 들어 요소 내부의 색상은 항상 일관되며 제어점 간의 위상 관계도 고정됩니다. 이러한 기능은 CLIP의 세부 제약 조건 부족을 보완하고 최적화 프로세스의 견고성을 크게 향상시킬 수 있습니다.

이론적으로 CLIPVG는 기존 방법을 사용하여 벡터화할 수 있습니다. 그러나 연구에 따르면 그렇게 하면 후속 이미지 편집 시 여러 가지 문제가 발생할 수 있는 것으로 나타났습니다. 우선, 일반적인 벡터화 방법은 이미지의 인접한 벡터 요소가 초기 상태에서 완벽하게 정렬되어 있음을 보장할 수 있지만 각 요소는 최적화 프로세스와 함께 이동하여 요소 사이에 "균열"이 나타납니다. 둘째, 때로는 입력 이미지가 상대적으로 단순하고 소수의 벡터 요소만 있으면 맞는 반면, 텍스트 설명의 효과는 표현하는 데 더 복잡한 세부 사항이 필요하므로 이미지 편집 중에 필요한 원시 자료(벡터 요소)가 부족합니다.

위 문제에 대응하여 CLIPVG는 각 라운드에서 기존 방법을 호출하여 벡터화된 결과를 얻고 이를 순차적으로 중첩할 것입니다. 각 라운드는 이전 라운드에 비해 정확도를 향상시킵니다. 즉, 더 작은 벡터 요소 블록으로 벡터화됩니다. 아래 그림은 벡터화 중 다양한 정밀도의 차이를 반영합니다.

처음으로 생성 모델에 의존하지 않고 AI가 단 한 문장으로 사진을 편집할 수 있게 되었습니다!

i번째 벡터화를 통해 얻은 벡터 요소의 집합은 처음으로 생성 모델에 의존하지 않고 AI가 단 한 문장으로 사진을 편집할 수 있게 되었습니다! 로 표현할 수 있고, 모든 라운드의 결과를 중첩하여 얻은 벡터 요소의 집합은 로 표시하고, 이는 CLIPVG의 전체 최적화 개체입니다.

손실 기능

StyleGAN-NADA 및 CLIPstyler와 유사하게 CLIPVG는 방향성 CLIP 손실을 사용하여 생성된 이미지와 설명 텍스트 간의 일치성을 측정합니다. 이는 다음과 같이 정의됩니다.

처음으로 생성 모델에 의존하지 않고 AI가 단 한 문장으로 사진을 편집할 수 있게 되었습니다!

여기서 처음으로 생성 모델에 의존하지 않고 AI가 단 한 문장으로 사진을 편집할 수 있게 되었습니다! 은 입력 텍스트 설명을 나타냅니다. 는 CLIPVG에서 "photo"로 설정된 고정 참조 텍스트이고, 는 생성된 이미지(최적화할 개체)입니다. 원본 이미지입니다. 처음으로 생성 모델에 의존하지 않고 AI가 단 한 문장으로 사진을 편집할 수 있게 되었습니다! 및 은 각각 CLIP의 텍스트 및 이미지 코덱입니다. ΔT와 ΔI는 각각 텍스트와 이미지의 잠재 공간 방향을 나타냅니다. 이러한 손실 함수를 최적화하는 목적은 편집 후 이미지의 의미 변화 방향이 텍스트 설명과 일치하도록 하는 것입니다. 고정된 t_ref는 후속 공식에서 무시됩니다. CLIPVG에서 생성된 이미지는 벡터 그래픽의 미분 가능한 렌더링 결과입니다. 또한 CLIPVG는 각 ROI에 다양한 텍스트 설명 할당을 지원합니다. 이때 방향성 CLIP 손실은 다음 ROI CLIP 손실

처음으로 생성 모델에 의존하지 않고 AI가 단 한 문장으로 사진을 편집할 수 있게 되었습니다!

으로 변환됩니다. 여기서 Ai는 i번째 ROI 영역이고 처음으로 생성 모델에 의존하지 않고 AI가 단 한 문장으로 사진을 편집할 수 있게 되었습니다! 관련 텍스트 설명입니다. R은 미분 가능한 벡터 렌더러이고 R(Θ)은 렌더링된 전체 이미지입니다. 은 전체 입력 이미지입니다. 는 자르기 작업을 나타내며, 이는 이미지 I에서 처음으로 생성 모델에 의존하지 않고 AI가 단 한 문장으로 사진을 편집할 수 있게 되었습니다! 영역을 자르는 것을 의미합니다. CLIPVG는 또한 CLIPstyler와 유사한 패치 기반 향상 방식을 지원합니다. 즉, 여러 패치를 각 ROI에서 추가로 무작위로 잘라낼 수 있으며 ROI에 해당하는 텍스트 설명을 기반으로 각 패치에 대해 CLIP 손실이 계산됩니다.

총 손실은 모든 지역의 ROI CLIP 손실의 합입니다. 즉,

처음으로 생성 모델에 의존하지 않고 AI가 단 한 문장으로 사진을 편집할 수 있게 되었습니다!

여기서 지역은 ROI이거나 ROI에서 잘라낸 패치일 수 있습니다. 처음으로 생성 모델에 의존하지 않고 AI가 단 한 문장으로 사진을 편집할 수 있게 되었습니다! 은 각 영역에 해당하는 감량체중입니다.

CLIPVG는 위의 손실 함수를 기반으로 벡터 매개변수 세트 Θ를 최적화합니다. 최적화할 때 모양 매개변수, 색상 매개변수 또는 특정 영역에 해당하는 일부 벡터 요소와 같은 Θ의 하위 집합만 타겟팅할 수도 있습니다.

실험 결과

실험 부분에서 CLIPVG는 먼저 절제 실험을 통해 여러 차례의 벡터화 전략 및 벡터 도메인 최적화의 효율성을 확인한 다음 이를 기존 기준선과 비교하고 마지막으로 고유한 응용 시나리오를 시연했습니다.

절제 실험

이 연구에서는 먼저 다중 라운드 벡터화(Multi-round) 전략과 원샷 벡터화(One-shot) 전략의 효과를 비교했습니다. 아래 그림의 첫 번째 줄은 벡터화 후의 초기 결과이고, 두 번째 줄은 편집된 결과입니다. 여기서 Nc는 벡터화의 정확도를 나타냅니다. 여러 라운드의 벡터화는 초기 상태의 재구성 정확도를 향상시킬 뿐만 아니라 편집 후 벡터 요소 간의 균열을 효과적으로 제거하고 세부 성능을 향상시키는 것을 볼 수 있습니다.

처음으로 생성 모델에 의존하지 않고 AI가 단 한 문장으로 사진을 편집할 수 있게 되었습니다!

벡터 도메인 최적화의 특성을 더 자세히 연구하기 위해 본 논문에서는 향상을 위해 서로 다른 패치 크기를 사용하는 CLIPVG(벡터 도메인 방법)와 CLIPstyler(픽셀 도메인 방법)의 효과를 비교합니다. 아래 그림의 첫 번째 줄은 다양한 패치 크기를 사용한 CLIPVG의 효과를 보여주고, 두 번째 줄은 CLIPstyler의 효과를 보여줍니다. 텍스트 설명은 "Doctor Strange"입니다. 전체 이미지의 해상도는 512x512입니다. 패치 크기가 작은 경우(128x128 또는 224x224) CLIPVG와 CLIPstyler 모두 작은 국지적 영역에서 '닥터 스트레인지'의 대표 색상인 빨간색과 파란색을 표시하지만 얼굴 전체의 의미는 크게 변하지 않음을 알 수 있습니다. . 이는 현재 CLIP 안내가 전체 이미지에 적용되지 않기 때문입니다. CLIPVG가 패치 크기를 410x410으로 늘리면 텍스트 설명에 따라 효과적으로 편집되는 헤어스타일, 얼굴 특징 등 캐릭터 정체성의 명백한 변화를 확인할 수 있습니다. 패치 강화가 제거되면 의미 편집 효과와 세부 명확성이 감소하므로 패치 강화가 여전히 긍정적인 효과가 있음을 나타냅니다. CLIPVG와 달리 CLIPstyler는 패치가 더 크거나 패치가 제거된 경우 여전히 캐릭터의 정체성을 변경할 수 없으며 전체 색상과 일부 로컬 텍스처만 변경합니다. 그 이유는 픽셀 영역에서 패치 크기를 확대하는 방법이 기본 제약 조건을 잃어 국소 최적 상태에 빠지기 때문입니다. 이 비교 세트는 CLIPVG가 벡터 도메인의 세부 사항에 대한 제약 조건을 효과적으로 활용하고 픽셀 도메인 방법으로는 달성하기 어려운 더 큰 CLIP 범위(패치 크기)와 결합된 높은 수준의 의미 편집을 달성할 수 있음을 보여줍니다.

비교 실험

비교 실험에서 연구에서는 먼저 아래 그림에서 볼 수 있듯이 Disco Diffusion, CLIPstyler 등 어떤 그림이든 편집할 수 있는 두 가지 픽셀 도메인 방식과 CLIPVG를 비교했습니다. "빈센트 반 고흐의 자화상"의 CLIPVG는 캐릭터 아이덴티티와 그림 스타일을 모두 편집할 수 있지만 픽셀 도메인 방식은 둘 중 하나만 달성할 수 있습니다. "Gypsophila"의 경우 CLIPVG에서는 기본 방법보다 꽃잎의 수와 모양을 더 정확하게 편집할 수 있습니다. "Jocker, Heath Ledger" 및 "A Ford Mustang"의 예에서 CLIPVG는 전반적인 의미를 강력하게 변경할 수도 있습니다. 상대적으로 말하면 Disco Diffusion은 로컬 결함이 발생하기 쉬운 반면 CLIPstyler는 일반적으로 질감과 색상만 조정합니다.

처음으로 생성 모델에 의존하지 않고 AI가 단 한 문장으로 사진을 편집할 수 있게 되었습니다!

(위에서 아래로: 반 고흐 그림, 안개꽃, 히스 레저 조커, 포드 머스탱)

그런 다음 연구자들은 특정 분야의 이미지를 비교했습니다(사람의 얼굴을 예) 픽셀 도메인 방법에는 StyleCLIP, DiffusionCLIP 및 StyleGAN-NADA가 있습니다. 제한된 사용 범위로 인해 이러한 기본 방법의 생성 품질은 일반적으로 더 안정적입니다. 이 비교 세트에서 CLIPVG는 여전히 효과가 기존 방법보다 열등하지 않다는 것을 보여 주며, 특히 대상 텍스트와의 일관성 정도가 더 높은 경우가 많습니다.

처음으로 생성 모델에 의존하지 않고 AI가 단 한 문장으로 사진을 편집할 수 있게 되었습니다!

(위에서 아래로: 닥터 스트레인지, 화이트 워커, 좀비)

더 많은 애플리케이션

CLIPVG는 벡터 그래픽의 특성과 ROI 수준의 손실 함수를 활용하여 기존 방식으로는 달성하기 어려운 일련의 혁신적인 게임 플레이를 지원할 수 있습니다. 예를 들어, 이 기사의 시작 부분에 표시된 다중 인물 사진의 편집 효과는 다양한 캐릭터에 대해 다양한 ROI 수준 텍스트 설명을 정의하여 달성됩니다. 아래 그림의 왼쪽은 입력이고, 가운데는 ROI 수준의 텍스트 설명을 편집한 결과이며, 오른쪽은 전체 텍스트 설명이 하나만 있는 전체 그림의 결과입니다. A1~A7 영역에 해당하는 설명은 1. '저스티스 리그 식스', 2. '아쿠아맨', 3. '슈퍼맨', 4. '원더우먼'), 5. '사이보그'(사이보그), 6. '플래시'이다. , DC Superhero'(플래시, DC) 및 7. 'Batman'(배트맨). ROI 수준의 설명은 개인별로 개별적으로 편집할 수 있지만 전체적인 설명은 효과적인 개인 신원 특성을 생성할 수 없음을 알 수 있습니다. ROI가 서로 겹치기 때문에 각 캐릭터를 개별적으로 편집하더라도 기존 방식으로는 CLIPVG의 전체적인 조정이 어렵습니다.

처음으로 생성 모델에 의존하지 않고 AI가 단 한 문장으로 사진을 편집할 수 있게 되었습니다!

CLIPVG는 일부 벡터 매개변수를 최적화하여 다양한 특수 편집 효과를 얻을 수도 있습니다. 아래 이미지의 첫 번째 줄은 일부 영역만 편집한 효과를 보여줍니다. 두 번째 줄은 색상 매개변수를 잠그고 모양 매개변수만 최적화하는 글꼴 생성 효과를 보여줍니다. 세 번째 라인은 두 번째 라인과 반대되는 라인으로, 색상 매개변수만 최적화하여 다시 칠하는 목적을 달성합니다.

처음으로 생성 모델에 의존하지 않고 AI가 단 한 문장으로 사진을 편집할 수 있게 되었습니다!