실시간 이미지 속도가 5~10배 향상되었으며 Tsinghua LCM/LCM-LoRA가 인기를 끌었으며 조회수 100만 회 이상, 다운로드 수 20만 회 이상을 기록했습니다.

LCM: 몇 단계의 추론만으로 고해상도 이미지 생성

AIGC 시대에는 Stable Diffusion, DALL-E 3 등 확산 모델 기반 Vincentian 그래프 모델이 큰 주목을 받았습니다. 확산 모델은 훈련 데이터에 노이즈를 추가한 다음 프로세스를 반대로 수행하여 고품질 이미지를 생성합니다. 그러나 확산 모델은 이미지를 생성하기 위해 다단계 샘플링이 필요하며 이는 상대적으로 느린 프로세스이며 추론 비용을 증가시킵니다. 느린 다단계 샘플링 문제는 이러한 모델을 배포할 때 주요 병목 현상이 됩니다.

올해 OpenAI의 송양 박사가 제안한 일관성 모델(CM)은 위의 문제를 해결할 수 있는 아이디어를 제공합니다. 일관성 모델은 단일 단계로 생성할 수 있도록 설계되어 확산 모델 생성을 가속화할 수 있는 큰 잠재력을 보여주었다는 지적이 있었습니다. 그러나 일관성 모델은 무조건적인 이미지 생성으로 제한되므로 Vincentian 이미지, 그래프 생성 이미지 등을 포함한 많은 실제 응용 프로그램에서는 여전히 이 모델의 잠재적 이점을 누릴 수 없습니다.

위 문제를 해결하기 위해 LCM(Latent Consistency Model)이 탄생했습니다. 잠재 일관성 모델은 주어진 조건에서 이미지 생성 작업을 지원하고 잠재 코딩, 분류자 없는 안내 및 확산 모델에 널리 사용되는 기타 여러 기술을 결합하여 조건부 잡음 제거 프로세스의 속도를 크게 높이고 많은 실제 응용 프로그램을 제공합니다. 좁은 길.

LCM Technical Details

구체적으로, 잠재 일관성 모델은 확산 모델의 노이즈 제거 문제를 아래 표시된 증강 확률 흐름 상미분 방정식을 푸는 과정으로 해석합니다.

기존 확산 모델을 개선하여 솔루션 효율성을 높일 수 있습니다. 전통적인 방법은 상미분방정식을 풀기 위해 수치적 반복을 사용하지만, 더 정확한 솔버를 사용해도 각 단계의 정확도가 제한되고, 만족스러운 결과를 얻으려면 약 10번의 반복이 필요합니다

기존의 반복적 해법과는 다릅니다 상미분방정식과 달리 잠재 일관성 모델은 상미분 방정식에 대한 단일 단계 솔루션을 직접 요구하여 방정식의 최종 솔루션을 예측하며 이론적으로 단일 단계로 그림을 생성할 수 있습니다

잠재성을 훈련하기 위해 일관성 모델을 사용하기 위해 이 연구에서는 사전 훈련된 확산 모델(예: 안정적인 확산)의 매개변수를 미세 조정하여 최소한의 리소스 소비로 신속한 모델 생성을 달성할 수 있다고 제안합니다. 이 증류 과정은 송양 박사가 제안한 일관성 손실 함수의 최적화를 기반으로 합니다. Vincentian 그래프 작업에서 더 나은 성능을 얻고 계산 오버헤드를 줄이기 위해 이 논문에서는 세 가지 핵심 기술을 제안합니다.

다시 작성된 콘텐츠: (1) 사전 훈련된 자동 인코더를 사용하여 원본 이미지가 공간의 잠재 표현으로 인코딩됩니다. 그림을 압축할 때 중복 정보를 줄이고 그림의 의미상 일관성을 높이기 위해

(2) 모델의 입력 매개변수인 분류자 없는 지침을 잠재 일관성 모델로 증류하고 클래스 없는 기능을 즐기세요. 분류자 지침은 더 나은 이미지-텍스트 일관성을 제공하기 때문입니다. 분류기가 없는 안내 진폭은 잠재 일관성 모델에 입력 매개변수로 증류되므로 추론 중에 필요한 계산 오버헤드를 줄일 수 있습니다.

(3) 일관성 손실을 계산하기 위해 건너뛰기 전략을 사용하면 증류 프로세스의 속도가 크게 빨라집니다. 잠재적 일관성 모델. 잠재 일관성 모델의 증류 알고리즘의 의사코드는 아래 그림과 같습니다.

정성적 및 정량적 결과는 잠재 일관성 모델이 고품질 이미지를 빠르게 생성하는 능력을 가지고 있음을 보여줍니다. 이 모델은 1~4단계로 고품질 이미지를 생성할 수 있습니다. 실제 추론 시간과 생성 품질 지표 FID를 비교하면 기존 샘플러 중 가장 빠른 DPM 솔버++에 비해 잠재적 일관성 모델은 동일한 생성 품질을 유지하면서 실제 추론 시간을 약 4배 가속화할 수 있음을 알 수 있습니다. ... ~                ​ 일관성 모델을 기반으로 저자 팀은 LCM-LoRA에 대한 기술 보고서를 추가로 게시했습니다. 잠재 일관성 모델의 증류 과정은 원래의 사전 학습된 모델에 대한 미세 조정 과정으로 간주될 수 있으므로 LoRA와 같은 효율적인 미세 조정 기술을 사용하여 잠재 일관성 모델을 학습할 수 있습니다. LoRA 기술이 가져온 자원 절약 덕분에 저자 팀은 Stable Diffusion 시리즈 중 가장 많은 매개변수를 가진 SDXL 모델에 대한 증류를 수행했으며, 매우 몇 단계만으로 생성할 수 있는 잠재적 합의를 성공적으로 얻었습니다. 수십 개의 SDXL 단계.

논문 서문에서 연구에서는 LDM(잠재 확산 모델)이 텍스트 이미지와 선 그리기 이미지 생성에 성공했지만 느린 역샘플링 프로세스로 인해 실시간 적용이 제한되고 사용자 경험에 영향을 미친다고 지적합니다. . 현재 오픈 소스 모델과 가속 기술은 아직 일반 소비자급 GPU에서 실시간 생성을 달성할 수 없습니다. LDM을 가속화하는 방법은 일반적으로 두 가지 범주로 나뉩니다. 첫 번째 범주에는 DDIM, DPMSolver 및 DPM-Solver++와 같은 고급 ODE 솔버가 포함됩니다. 생성 프로세스 속도를 높입니다. 두 번째 범주에는 기능을 단순화하기 위해 LDM을 정제하는 작업이 포함됩니다. ODE - 솔버는 추론 단계를 줄이지만 특히 분류기가 없는 지침을 사용할 때 여전히 상당한 계산 오버헤드가 필요합니다. 한편, Guided-Distill과 같은 증류 방법은 유망하지만 집중적인 계산 요구 사항으로 인해 실질적인 한계에 직면해 있습니다. LDM 생성 이미지의 속도와 품질 사이의 균형을 찾는 것은 현장에서 여전히 어려운 과제입니다.

최근에는 CM(Consistency Model)에서 영감을 받아 LCM(Latent Consistency Model)이 이미지 생성 시 느린 샘플링 문제에 대한 솔루션으로 등장했습니다. LCM은 역확산 과정을 향상된 확률 흐름 ODE(PF-ODE) 문제로 간주합니다. 이러한 유형의 모델은 수치 ODE 솔버를 통한 반복 솔루션이 필요 없이 잠재 공간의 솔루션을 혁신적으로 예측합니다. 결과적으로 단 1~4개의 추론 단계만으로 고해상도 이미지를 효율적으로 합성할 수 있습니다. 또한, LCM은 증류 효율 측면에서도 좋은 성능을 보여 A100으로 32시간만 훈련하면 가장 작은 단계의 추론을 완료할 수 있었습니다

이를 바탕으로 LCF(Latent Consistency Fine Tuning)라는 방법이 개발되었습니다. 이는 교사 확산 모델에서 시작하지 않고도 사전 훈련된 LCM을 미세 조정할 수 있습니다. 애니메이션, 실제 사진 또는 판타지 이미지 데이터 세트와 같은 특수 데이터 세트의 경우 LCD(Latent Consible Distillation)를 사용하여 사전 훈련된 LDM을 LCM으로 증류하거나 LCF를 사용하여 직접 LCM을 미세 조정하는 등의 추가 단계가 필요합니다. 그러나 이러한 추가 교육은 다양한 데이터 세트에 대한 LCM의 신속한 배포를 방해할 수 있으며, 이는 핵심 질문을 제기합니다. 맞춤형 데이터 세트에서 빠르고 교육 없는 추론이 달성될 수 있는지 여부

위 질문에 답하기 위해 연구원들은 LCM-LoRA를 제안했습니다. LCM-LoRA는 다양한 SD(Stable-Diffusion) 미세 조정 모델 또는 SD LoRA에 직접 연결하여 최소한의 단계로 빠른 추론을 지원할 수 있는 일반적인 훈련이 필요 없는 가속 모듈입니다. DDIM, DPM-Solver 및 DPM-Solver++와 같은 초기 수치 확률 흐름 ODE(PF-ODE) 솔버와 비교하여 LCM-LoRA는 신경망을 기반으로 하는 새로운 클래스의 PF-ODE 솔버 모듈을 나타냅니다. 이는 미세 조정된 다양한 SD 모델과 LoRA

LCM-LoRA 개요 플롯 전반에 걸쳐 강력한 일반화 기능을 보여줍니다. LCM의 증류 프로세스에 LoRA를 도입함으로써 이 연구는 증류의 메모리 오버헤드를 크게 줄였으며, 이를 통해 제한된 리소스를 활용하여 SDXL 및 SSD-1B와 같은 대규모 모델을 훈련할 수 있었습니다. 더 중요한 것은, LCM-LoRA 훈련을 통해 얻은 LoRA 매개변수(가속 벡터)는 특정 스타일 데이터세트를 미세 조정하여 얻은 다른 LoRA 매개변수(스타일 벡터)와 직접 결합할 수 있다는 것입니다. 아무런 훈련 없이도 가속 벡터와 스타일 벡터의 선형 결합으로 얻은 모델은 최소한의 샘플링 단계로 특정 페인팅 스타일의 이미지를 생성할 수 있습니다.

일반적으로 잠재성 일관성 모델은 단일 단계 유도 증류 방법을 사용하여 훈련됩니다. 이 방법은 사전 훈련된 오토인코더 잠재 공간을 활용하여 유도 확산 모델 증류를 수행합니다. LCM으로. 이 프로세스에는 생성된 샘플이 고품질 이미지를 생성하는 궤적을 따르도록 보장하는 수학 공식으로 생각할 수 있는 확률적 흐름 ODE를 강화하는 작업이 포함됩니다.

증류의 초점은 필요한 샘플링 단계 수를 크게 줄이는 동시에 이러한 궤적의 충실도를 유지하는 것입니다. 알고리즘 1은 LCD에 의사코드를 제공합니다.

LCM의 증류 과정은 사전 훈련된 확산 모델의 매개변수에 대해 수행되므로 잠재 일관성 증류를 확산 모델의 미세 조정 과정으로 간주하여 효율적인 매개변수를 사용할 수 있습니다. LoRa와 같은 튜닝 방법.

LoRA는 낮은 순위 분해를 적용하여 사전 훈련된 가중치 행렬을 업데이트합니다. 구체적으로, 가중치 행렬 이 주어지면 업데이트 방법은 로 표현됩니다. 여기서 , 훈련 과정 동안 W_0은 변경되지 않고 그대로 유지되고 그라데이션 업데이트는 두 매개변수 A와 B에만 적용됩니다. 따라서 입력 x의 경우 순방향 전파의 변화는 다음과 같이 표현됩니다.

h는 출력 벡터를 나타냅니다. 공식(1)에서 전체 매개변수 행렬을 두 개의 낮은 행렬의 곱으로 분해하면 관찰할 수 있습니다. 순위 행렬, LoRA 훈련 가능한 매개변수 수를 크게 줄여 메모리 사용량을 줄였습니다.

아래 표는 LoRA 기술을 사용할 때 전체 모델의 총 매개변수 수와 훈련 가능한 매개변수 수를 비교합니다. 분명히 LCM 증류 프로세스에 LoRA 기술을 통합하면 훈련 가능한 매개변수 수가 크게 줄어들어 훈련에 필요한 메모리 요구 사항이 효과적으로 줄어듭니다.

이 연구는 일련의 실험을 통해 LCD 패러다임이 SDXL 및 SSD-1B와 같은 대형 모델에 잘 적용될 수 있음을 보여줍니다. 다양한 모델의 생성 결과는 그림 2에 나와 있습니다.

저자는 LoRA 기술을 사용하면 증류 과정의 효율성을 높일 수 있다는 사실도 발견했습니다. 또한, 훈련을 통해 얻은 LoRA 매개변수를 일반 가속 모듈로 사용할 수 있으며 다른 LoRA 매개변수와 직접 결합할 수도 있다는 사실도 발견했습니다. 위의 그림 1에서 볼 수 있듯이, 저자팀은 특정 스타일 데이터 세트에 대한 미세 조정을 통해 얻은 '스타일 매개변수'와 잠재 일관성 증류를 통해 얻은 '가속 매개변수'를 단순히 선형적으로 결합하면 두 가지를 모두 얻을 수 있음을 발견했습니다. 신속한 생성 기능과 특정 스타일. 새로운 잠재 일관성 모델. 이 발견은 기존 오픈 소스 커뮤니티에 이미 존재하는 수많은 오픈 소스 모델에 강력한 힘을 실어 주므로 이러한 모델은 추가 교육 없이도 잠재 일관성 모델이 가져오는 가속 효과를 누릴 수 있습니다.

아래 그림과 같이 "paper-cut style"모델을 개선하기 위해 이 방법을 사용한 후 새로운 모델 생성 효과를 보여줍니다.

간단히 LCM-LoRA는 Stable-Diffusion(SD ) 훈련이 필요 없는 범용 가속 모듈. 이는 PF-ODE에 대한 솔루션을 예측하는 독립형의 효율적인 신경망 기반 솔버 모듈로 작동하여 다양한 미세 조정 SD 모델 및 SD LoRA에 대해 최소한의 단계로 빠른 추론을 가능하게 합니다. 수많은 텍스트-이미지 생성 실험을 통해 LCM-LoRA의 강력한 일반화 능력과 우수성이 입증되었습니다

논문의 저자는 모두 칭화대학교 출신이고, 공동 저자 두 명은 Luo입니다. 유인원과 탄이친.

Luo Simian은 Tsinghua University 컴퓨터 과학 기술과 석사 2년차 학생이며 그의 지도교수는 Zhao Xing 교수입니다. 그는 푸단대학교 빅데이터스쿨에서 학사학위를 취득했습니다. 그의 연구 방향은 다중 모드 생성 모델입니다. 그는 확산 모델, 일관성 모델 및 AIGC 가속에 관심이 있으며 차세대 생성 모델 개발에 전념하고 있습니다. 이전에는 ICCV, NeurIPS 등 최고의 학회에서 제1저자로 많은 논문을 발표했습니다.

Tan Yiqin은 칭화대학교 석사 2학년 학생이고 그의 지도교수는 Mr. Huang Longbo입니다. 학부시절에는 칭화대학교 전자공학과에서 공부했습니다. 그의 연구 관심 분야는 주로 심층 강화 학습과 확산 모델입니다. 이전 연구에서는 ICLR 등 학회에서 제1저자로 세간의 이목을 끄는 논문을 다수 발표하고, 구두 보고도 한 바 있습니다

두 분 중 한 분이 Li Jian 의과대학 교수라는 점도 언급할 만합니다. 컴퓨터 이론 수업에서 LCM의 아이디어가 제안되었고 최종적으로 최종 과정 프로젝트로 발표되었습니다. 세 명의 강사 중 Li Jian과 Huang Longbo는 Tsinghua Institute of Interdisciplinary Information의 부교수이고 Zhao Xing은 Tsinghua Interdisciplinary Information Institute의 조교수입니다.

첫 번째 줄(왼쪽에서 오른쪽으로): Luo Siman 및 Tan Yiqin. 두 번째 줄(왼쪽에서 오른쪽으로): Huang Longbo, Li Jian, Zhao Xing.