소라폭발의 기술, 확산모델의 최신 발전방향을 정리한 기사

• 논문 주소: https://arxiv.org/pdf/2209.02646.pdf
• 프로젝트 주소: https://github.com/chq1155/A-Survey-on-Generative-Diffusion-Model?tab= readme-ov-file

• 지식 증류

• 훈련 방법

• 훈련이 필요 없는 샘플링

• 다른 생성 모델과 결합

• 생성 모델의 효율성과 강도를 향상시키기 위해 연구원들은 새로운 순방향 프로세스 설계를 탐색했습니다. 포아송 필드 생성 모델은 데이터를 전하로 처리하여 전기장 선을 따라 데이터 분포에 대한 간단한 분포를 지시하며, 이는 기존 확산 모델보다 더 강력한 백샘플링을 제공합니다. PFGM++는 이 개념을 고차원 변수에 더 적용합니다. Dockhorn 등의 임계 감쇠 Langevin 확산 모델은 해밀턴 역학의 속도 변수를 사용하여 조건부 속도 분포의 분수 함수 학습을 단순화합니다.

• 이산 공간 데이터(예: 텍스트, 범주형 데이터)의 확산 모델에서 D3PM은 이산 공간의 전진 과정을 정의합니다. 이 방법을 기반으로 언어 텍스트 생성, 그래프 분할 및 무손실 압축에 대한 연구가 확장되었습니다. 다중 모드 챌린지에서는 벡터 양자화된 데이터가 코드로 변환되어 우수한 결과를 보여줍니다. 로봇 공학 및 단백질 모델링과 같은 리만 다양체의 다양체 데이터는 확산 샘플링을 리만 다양체에 통합해야 합니다. EDP-GNN 및 GraphGDP와 같은 그래프 신경망과 확산 이론의 조합은 그래프 데이터를 처리하여 순열 불변성을 포착합니다.

확산 모델이 ELBO를 최적화하지만 특히 연속 시간 확산 모델의 경우 우도 최적화가 여전히 어려운 문제입니다. ScoreFlow 및 VDM(변형 확산 모델)과 같은 방법은 Girsanov의 정리가 핵심 역할을 하는 MLE 교육과 DSM 목표 간의 연결을 설정합니다. 향상된 노이즈 제거 확산 확률 모델(DDPM)은 변형 하한과 DSM은 물론 간단한 재매개변수화 기술을 결합한 하이브리드 학습 목표를 제안합니다.


분포 조인


확산 모델은 가우스 분포를 복잡한 분포로 변환하는 데 효과적이지만 임의의 분포를 조인할 때는 문제가 있습니다. 알파-하이브리드 방법은 반복적으로 혼합하고 혼합하여 결정적 브리지를 생성합니다. 수정 흐름에는 브리지 경로를 수정하기 위한 추가 단계가 추가됩니다. 또 다른 방법은 ODE를 통해 두 분포 사이의 연결을 구현하는 것인데, 중간 연결점으로 슈뢰딩거 브릿지나 가우시안 분포를 이용하는 방법도 연구 중이다.



응용 분야


이미지 생성


확산 모델은 일반적인 이미지를 생성할 수 있을 뿐만 아니라 텍스트를 이미지로 변환하는 등 복잡한 작업도 완료할 수 있습니다. Imagen, Stable Diffusion 및 DALL-E 2와 같은 모델은 이와 관련하여 뛰어난 기술을 보여줍니다. 이들은 Cross-Attention 레이어 기술과 결합된 확산 모델 구조를 사용하여 텍스트 정보를 생성된 이미지에 통합합니다. 새로운 이미지를 생성하는 것 외에도 이러한 모델은 재교육 없이도 이미지를 편집할 수 있습니다. 편집은 Attention 레이어(키, 값, Attention 매트릭스)를 조정하여 수행됩니다. 예를 들어 기능 맵을 조정하여 이미지 요소를 변경하거나 새로운 텍스트 임베딩을 도입하여 새로운 개념을 추가합니다. 이미지가 설명을 정확하게 반영하도록 모델이 텍스트를 생성할 때 텍스트의 모든 키워드에 주의를 기울이도록 하는 연구가 있습니다. 확산 모델은 또한 이미지 생성을 안내하기 위해 이러한 기능을 인코딩하고 통합함으로써 소스 이미지, 깊이 맵 또는 인간 골격과 같은 이미지 기반 조건부 입력을 처리할 수 있습니다. 일부 연구에서는 이미지 간 편집을 달성하기 위해 모델의 시작 레이어에 소스 이미지 인코딩 기능을 추가합니다. 이는 깊이 맵, 가장자리 감지 또는 뼈대가 조건으로 사용되는 장면에도 적용 가능합니다.


3D 생성


3D 생성의 경우 확산 모델을 통한 방법은 크게 두 가지가 있습니다. 첫 번째는 NeRF, 포인트 클라우드 또는 복셀과 같은 다양한 3D 표현에 효과적으로 적용된 3D 데이터에서 직접 모델을 훈련하는 것입니다. 예를 들어, 연구자들은 3D 객체의 포인트 클라우드를 직접 생성하는 방법을 보여주었습니다. 샘플링의 효율성을 높이기 위해 일부 연구에서는 포인트 클라우드 생성을 위한 추가 조건으로 하이브리드 포인트-복셀 표현 또는 이미지 합성을 도입했습니다. 반면, 확산 모델을 사용하여 3D 객체의 NeRF 표현을 처리하고, 관점-조건 확산 모델을 학습하여 새로운 뷰를 합성하고 NeRF 표현을 최적화하는 연구가 있습니다. 두 번째 접근 방식은 2D 확산 모델에 대한 사전 지식을 사용하여 3D 콘텐츠를 생성하는 것을 강조합니다. 예를 들어 Dreamfusion 프로젝트는 점수 증류 샘플링 대상을 사용하여 사전 훈련된 텍스트-이미지 모델에서 NeRF를 추출하고 경사하강법 최적화 프로세스를 통해 저손실 렌더링 이미지를 달성합니다. 이 프로세스는 생성 속도를 높이기 위해 더욱 확장되었습니다.


비디오 생성


비디오 확산 모델은 2D 이미지 확산 모델의 확장으로, 시간 차원을 추가하여 비디오 시퀀스를 생성합니다. 이 접근 방식의 기본 아이디어는 기존 2D 구조에 시간 레이어를 추가하여 비디오 프레임 간의 연속성과 종속성을 모델링하는 것입니다. 관련 작업에서는 비디오 확산 모델을 사용하여 Make-A-Video, AnimatedDiff 및 기타 모델과 같은 동적 콘텐츠를 생성하는 방법을 보여줍니다. 보다 구체적으로 RaMViD 모델은 3D 합성곱 신경망을 사용하여 이미지 확산 모델을 비디오로 확장하고 일련의 비디오 관련 조건부 기술을 개발합니다.


의료 분석


확산 모델은 의료 분석, 특히 의료 영상 분야에서 고품질 데이터 세트를 얻는 문제를 해결하는 데 도움이 됩니다. 이러한 모델은 강력한 이미지 캡처 기능으로 인해 이미지 해상도, 분류 및 노이즈 처리를 성공적으로 향상시켰습니다. 예를 들어 Score-MRI 및 Diff-MIC는 고급 기술을 사용하여 MRI 이미지 재구성 속도를 높이고 보다 정확한 분류를 가능하게 합니다. MCG는 CT 이미지 초해상도에서 매니폴드 보정을 사용하여 재구성 속도와 정확성을 향상시킵니다. 희귀 이미지 생성 측면에서 모델은 특정 기술을 통해 다양한 유형의 이미지 간에 변환할 수 있습니다. 예를 들어, FNDM과 DiffuseMorph는 각각 뇌 이상 탐지와 MR 영상 등록에 사용됩니다. 일부 새로운 방법은 100,000개 인스턴스의 데이터세트를 합성하고 매우 낮은 FID 점수를 달성한 31,740개 샘플을 사용하는 모델과 같이 소수의 고품질 샘플에서 훈련 데이터세트를 합성합니다.


텍스트 생성


텍스트 생성 기술은 인간과 AI 사이의 중요한 가교 역할을 하며 부드럽고 자연스러운 언어를 만들 수 있습니다. 자동회귀 언어 모델은 일관성이 강한 텍스트를 생성하지만 속도가 느린 반면, 확산 모델은 신속하지만 일관성이 상대적으로 약한 텍스트를 생성할 수 있습니다. 두 가지 주류 방법은 이산 세대와 잠재 세대입니다. 이산 생성은 고급 기술과 사전 훈련된 모델에 의존합니다. 예를 들어 D3PM 및 Argmax는 단어를 범주형 벡터로 처리하는 반면 DiffusionBERT는 확산 모델과 언어 모델을 결합하여 텍스트 생성을 개선합니다. 잠재 생성은 토큰의 잠재 공간에서 텍스트를 생성합니다. 예를 들어 LM-Diffusion 및 GENIE와 같은 모델은 다양한 작업에서 잘 수행되어 텍스트 생성에서 확산 모델의 잠재력을 보여줍니다. 확산 모델은 자연어 처리 성능을 향상시키고, 대규모 언어 모델과 통합하며, 크로스 모달 생성을 가능하게 할 것으로 기대됩니다.


시계열 생성


시계열 데이터 모델링은 금융, 기후 과학, 의료 및 기타 분야의 예측 및 분석을 위한 핵심 기술입니다. 확산 모델은 고품질 데이터 샘플을 생성할 수 있는 능력으로 인해 시계열 데이터 생성에 사용되었습니다.이 분야에서 확산 모델은 시계열 데이터의 시간적 의존성과 주기성을 고려하여 설계되는 경우가 많습니다. 예를 들어 CSDI(Conditional Sequence Diffusion Interpolation)는 양방향 컨벌루션 신경망 구조를 활용하여 시계열 데이터 포인트를 생성하거나 보간하는 모델입니다. 의료 데이터 생성, 환경 데이터 생성에 탁월합니다. DiffSTG 및 TimeGrad와 같은 다른 모델은 시공간 컨볼루션 네트워크를 결합하여 시계열의 동적 특성을 더 잘 포착하고 보다 현실적인 시계열 샘플을 생성할 수 있습니다. 이러한 모델은 자체 조정 안내를 통해 가우스 잡음으로부터 의미 있는 시계열 데이터를 점진적으로 복구합니다.


오디오 생성


오디오 생성에는 음성 합성부터 음악 생성까지 다양한 응용 시나리오가 포함됩니다. 오디오 데이터에는 일반적으로 복잡한 시간 구조와 풍부한 스펙트럼 정보가 포함되어 있으므로 확산 모델도 이 분야에서 잠재력을 보여줍니다. 예를 들어 WaveGrad와 DiffSinger는 조건부 생성 프로세스를 활용하여 고품질 오디오 파형을 생성하는 두 가지 확산 모델입니다. WaveGrad는 Mel 스펙트럼을 조건부 입력으로 사용하는 반면 DiffSinger는 여기에 피치 및 템포와 같은 추가 음악 정보를 추가하여 보다 미세한 스타일 제어를 제공합니다. TTS(텍스트 음성 변환) 애플리케이션에서 Guided-TTS 및 Diff-TTS는 텍스트 인코더와 음향 분류기의 개념을 결합하여 텍스트 내용을 준수하고 특정 사운드 스타일을 따르는 음성을 생성합니다. Guide-TTS2는 모델 자체에서 학습한 기능을 통해 사운드 생성을 안내하면서 명시적인 분류자 없이 음성을 생성하는 방법을 추가로 보여줍니다.


분자 설계


약물 설계, 재료 과학, 화학 생물학과 같은 분야에서 분자 설계는 새로운 화합물의 발견과 합성에 있어 중요한 단계입니다. 여기서 확산 모델은 화학적 공간을 효율적으로 탐색하고 특정 특성을 가진 분자를 생성하는 강력한 도구 역할을 합니다. 무조건적인 분자 생성에서 확산 모델은 사전 지식에 의존하지 않고 자발적으로 분자 구조를 생성합니다. 교차 모드 생성에서 모델은 약물 효능이나 표적 단백질의 결합 성향과 같은 특정 기능 조건을 통합하여 원하는 특성을 가진 분자를 생성할 수 있습니다. 서열 기반 방법은 분자 생성을 안내하기 위해 단백질 서열을 고려할 수 있는 반면, 구조 기반 방법은 단백질의 3차원 구조 정보를 사용할 수 있습니다. 이러한 구조 정보는 분자 도킹이나 항체 설계에 대한 사전 지식으로 활용되어 생성된 분자의 품질을 향상시킬 수 있습니다.


그래프 생성


확산 모델을 사용하여 그래프를 생성하고 실제 네트워크 구조와 전파 프로세스를 더 잘 이해하고 시뮬레이션합니다. 이 접근 방식은 연구자들이 복잡한 시스템의 패턴과 상호 작용을 조사하고 가능한 결과를 예측하는 데 도움이 됩니다. 응용 프로그램에는 소셜 네트워크, 생물학적 네트워크 분석 및 그래프 데이터 세트 생성이 포함됩니다. 전통적인 방법은 인접 행렬이나 노드 특징을 생성하는 데 의존하지만 이러한 방법은 확장성이 낮고 실용성이 제한됩니다. 따라서 최신 그래프 생성 기술은 특정 조건을 기반으로 그래프를 생성하는 것을 선호합니다. 예를 들어 PCFI 모델은 그래프 기능의 일부와 최단 경로 예측을 사용하여 생성 프로세스를 안내합니다. EDGE와 DiffFormer는 노드 차수와 에너지 제약 조건을 각각 사용하여 생성을 최적화합니다. D4Explainer는 분포와 반사실적 손실을 결합하여 그래프의 다양한 가능성을 탐색합니다. 이러한 방법은 그래프 생성의 정확성과 실용성을 향상시킵니다.



결론 및 전망


데이터 제약 조건에서의 과제


확산 모델은 낮은 추론 속도 외에도 낮은 품질의 데이터에서 패턴과 규칙성을 식별하는 데 어려움을 겪는 경우가 많습니다. 새로운 시나리오나 데이터 세트로 일반화합니다. 또한 대규모 데이터 세트를 처리할 때 훈련 시간 연장, 과도한 메모리 사용, 원하는 상태로 수렴할 수 없음 등의 계산 문제가 발생하여 모델 크기와 복잡성이 제한됩니다. 더욱이, 편향되거나 고르지 않은 데이터 샘플링은 다양한 영역이나 모집단에 적응할 수 있는 출력을 생성하는 모델의 능력을 제한할 수 있습니다.


제어된 분포 기반 생성


특정 분포 내에서 표본을 이해하고 생성하는 모델의 능력을 향상시키는 것은 제한된 데이터로 더 나은 일반화를 달성하는 데 중요합니다. 모델은 데이터의 패턴과 상관 관계를 식별하는 데 중점을 두어 훈련 데이터와 밀접하게 일치하고 특정 요구 사항을 충족하는 샘플을 생성할 수 있습니다. 이를 위해서는 효율적인 데이터 샘플링, 활용 기술, 모델 매개변수 및 구조 최적화가 필요합니다. 궁극적으로 이러한 향상된 이해를 통해 보다 제어되고 정확한 생성이 가능해지며 일반화 성능이 향상됩니다.


대규모 언어 모델을 활용한 고급 다중 모드 생성


확산 모델의 미래 방향에는 대규모 언어 모델(LLM)을 통합하여 다중 모드 생성을 발전시키는 것이 포함됩니다. 이러한 통합을 통해 모델은 텍스트, 이미지 및 기타 형식의 조합이 포함된 출력을 생성할 수 있습니다. LLM을 통합함으로써 다양한 양식 간의 상호 작용에 대한 모델의 이해가 향상되고 생성된 출력이 더욱 다양하고 현실적이 됩니다. 또한 LLM은 텍스트와 다른 형식 간의 연결을 효과적으로 활용하여 프롬프트 기반 생성 효율성을 크게 향상시킵니다. 또한 LLM은 촉매로서 확산 모델의 생성 능력을 향상시키고 모드를 생성할 수 있는 분야의 범위를 확장합니다.


머신러닝 분야와의 통합


확산 모델과 전통적인 머신러닝 이론을 결합하면 다양한 작업의 성능을 향상시킬 수 있는 새로운 기회를 제공합니다. 준지도 학습은 일반화 문제와 같은 확산 모델의 고유한 문제를 해결하고 데이터가 제한될 때 효율적인 조건부 생성을 활성화하는 데 특히 유용합니다. 레이블이 지정되지 않은 데이터를 활용하여 확산 모델의 일반화 기능을 향상시키고 특정 조건에서 샘플을 생성할 때 이상적인 성능을 달성합니다.


또한 강화 학습은 미세 조정 알고리즘을 사용하여 모델의 샘플링 프로세스 중에 타겟 지침을 제공함으로써 중요한 역할을 합니다. 이 지침은 집중적인 탐사를 보장하고 제어된 생성을 촉진합니다. 또한 추가 피드백을 통합하여 강화 학습을 강화함으로써 제어 가능한 조건을 생성하는 모델의 능력을 향상시킵니다.


알고리즘 개선 방법(부록)



필드 적용 방법(부록)

위 내용은 소라폭발의 기술, 확산모델의 최신 발전방향을 정리한 기사의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!