ACM MM 2023 | DiffBFR: Meitu와 중국 과학기술대학교가 공동으로 제안한 소음 억제 얼굴 복원 방법

BFR(Blind Face Restoration)의 목표는 낮은 품질의 얼굴 이미지에서 고품질의 얼굴 이미지를 복원하는 것입니다. 이는 컴퓨터 비전 및 그래픽 분야에서 중요한 작업으로 감시 영상 복원, 오래된 사진 복원, 얼굴 영상 초해상도 등 다양한 시나리오에서 널리 사용됩니다. 그러나 이 작업은 결정적이지 않기 때문에 매우 어렵습니다. 품질 저하로 인해 이미지 품질이 손상되고 흐림, 노이즈, 다운샘플링 및 압축 아티팩트와 같은 이미지 정보가 손실될 수도 있습니다. 이전 BFR 방법은 일반적으로 생성적 사전확률, 참조 사전확률, 기하학적 사전확률을 포함한 다양한 얼굴별 사전확률을 설계하여 이러한 문제를 해결하기 위해 생성적 적대 네트워크(GAN)에 의존했습니다. 이러한 방법은 최첨단 수준에 도달했지만 세부 사항을 복원하면서 사실적인 질감을 얻는 목표를 완전히 달성할 수는 없습니다.

이미지 복원 과정에서 얼굴 이미지의 데이터 세트는 일반적으로 고차원 공간에 분산되어 있습니다. 및 분산 기능 차원은 롱테일 분포를 나타냅니다. 이미지 분류 작업의 롱테일 분포와 달리, 이미지 복원에서의 롱테일 지역적 특징은 점, 주름, 색조 등 정체성에 미치는 영향은 작지만 시각적 효과에 큰 영향을 미치는 속성을 말합니다.

그림 1에 따르면 원래 의미를 변경하지 않기 위해 실험 결과를 중국어로 다시 작성해야 한다는 단순성이 표시됩니다. 이전 GAN 기반 방법은 머리 및 꼬리 샘플을 처리할 때 명백한 문제가 있음을 알 수 있습니다. 동시에 롱테일 분포가 발생하며 이미지를 복구할 때 오버슈팅이 발생하고 디테일이 손실됩니다. 확산 확률 모델(DPM) 기반 방법은 롱테일 분포에 더 잘 적합하고 실제 데이터 분포에 적합하면서도 꼬리 특성을 유지할 수 있습니다

Meitu 이미징 연구소(MT Lab)는 중국과학원대학교 연구진과 협력하여 새로운 맹인 얼굴 이미지 복구 방법인 DiffBFR을 제안했습니다. 이 방법은 DPM 기술을 기반으로 하며 성공적으로 달성했습니다. 눈먼 얼굴 이미지 복원, 저품질(LQ) 얼굴 이미지를 고품질(HQ) 선명한 이미지로 복구

다시 작성해야 할 내용은 다음과 같습니다. 논문 링크: https://arxiv.org/ abs/2305.04517

이 연구에서는 롱테일 문제를 처리할 때 GAN(Generative Adversarial Networks)과 DPM(Deep Partial Models)이라는 두 가지 생성 모델의 적응성을 탐구합니다. 적절한 얼굴 복원 모듈을 설계하면 보다 정확한 세부 정보를 얻을 수 있으며, 이를 통해 생성 방법에서 발생할 수 있는 얼굴의 과도한 스무딩 현상을 줄이고 복원의 정밀도와 정확성을 향상시킬 수 있습니다. 이 연구 논문은 ACM MM 2023

연구에서 확산 모델이 훈련 모드 붕괴를 피하고 긴 영상을 생성하는 피팅에서 GAN 방법보다 더 나은 것으로 나타났습니다. 꼬리 분포. 따라서 DiffBFR은 얼굴 사전 정보의 임베딩을 향상시키기 위해 확산 확률 모델을 선택하고 이를 기본 프레임워크로 사용하여 DPM을 솔루션으로 선택합니다. 확산 모델은 임의의 분포 범위 내에서 고품질의 이미지를 생성할 수 있는 강력한 능력을 갖고 있기 때문입니다

논문에서 발견한 얼굴 데이터셋의 특징의 롱테일 분포와 과거의 over-smoothing 문제를 해결하기 위해 GAN 기반 방법으로, 이 연구에서는 대략적인 롱테일 분포에 더 잘 맞고 수리 과정에서 과도한 평활화 문제를 극복하기 위한 합리적인 설계를 탐구했습니다. MNIST 데이터 세트(그림 1)에서 동일한 매개변수 크기를 사용하여 GAN과 DPM의 간단한 실험을 통해 DPM 방법은 롱테일 분포에 합리적으로 적합하지만 GAN은 머리 특징에 너무 많은 관심을 기울이고 무시한다는 사실을 발견했습니다. 결과적으로 꼬리 특징을 생성할 수 없습니다. 따라서 DPM은 BFR

에 대한 솔루션으로 선택되었습니다. DiffBFR은 두 가지 중간 변수를 도입하여 두 가지 특정 복구 모듈을 제안합니다. 이 디자인은 먼저 LQ 이미지에서 신원 정보를 복구한 다음 실제 얼굴 분포를 기반으로 텍스처 세부 정보를 향상시키는 2단계 접근 방식을 채택합니다. 이 디자인은 두 가지 주요 부분으로 구성됩니다.

이 모듈의 목적은 결과에서 얼굴 세부 정보를 보존하는 것입니다. 동시에 저품질 영상에 노이즈의 일부를 추가하여 역과정으로 순수 가우스 랜덤 분포를 사용하는 노이즈 제거 방법을 대체하는 잘린 샘플링 방법이 제안되었습니다. 이 논문은 이러한 변경이 DPM의 이론적 증거 하한(ELBO)을 축소하여 보다 원래의 세부 사항을 복원한다는 것을 이론적으로 증명합니다. 이론적 증거를 바탕으로 샘플링 효과를 향상시키고 고해상도 이미지를 직접 생성하는 훈련 난이도를 줄이기 위해 입력 크기가 다른 두 개의 계단식 조건부 확산 모델이 도입되었습니다. 동시에, 조건부 입력의 품질이 높을수록 실제 데이터 분포에 가까워지고 복원된 이미지가 더 정확하다는 것이 추가로 입증되었습니다. 이것이 DiffBFR이 저해상도 이미지를 먼저 복원하는 이유이기도 합니다

이미지를 다듬는 데 사용되는 방법은 무조건 확산 모델을 도입하는 것입니다. 이 모델은 저품질 이미지와 완전히 독립적이므로 복원된 결과를 실제 이미지 데이터에 더 가깝게 만듭니다. 이 논문은 순전히 고품질 이미지에 대해 훈련된 무조건 확산 모델이 픽셀 수준 공간에서 출력 이미지의 올바른 분포에 기여한다는 것을 이론적으로 증명합니다. 즉, 이 모델을 사용한 후 인페인팅된 이미지의 분포는 사용 전보다 낮은 FID를 가지며 전체적으로 고품질 이미지의 분포와 더 유사합니다. 구체적으로, 샘플링의 시간 단계 절단에 의해 식별 정보가 유지되고 픽셀 수준 텍스처가 연마됩니다. DiffBFR의 샘플링 추론 단계는 그림 2에 표시되며 샘플링 추론 프로세스의 개략도는 그림 3에 표시됩니다.

위 내용은 ACM MM 2023 | DiffBFR: Meitu와 중국 과학기술대학교가 공동으로 제안한 소음 억제 얼굴 복원 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!