원클릭으로 영상 깜박임 제거, 본 연구에서는 일반적인 프레임워크를 제안

본 논문은 깜박임에 대한 추가적인 안내나 이해가 필요하지 않고 다양한 깜박임 아티팩트를 제거할 수 있는 최초의 보편적인 깜박임 제거 방법을 성공적으로 제안합니다.

고화질 동영상은 일반적으로 시간이 일정하지만 여러 가지 이유로 인해 많은 동영상이 깜박이는 현상이 나타납니다. 예를 들어, 오래된 영화의 밝기는 일부 오래된 카메라 하드웨어의 품질이 좋지 않고 각 프레임에 대해 노출 시간을 동일하게 설정할 수 없기 때문에 매우 불안정할 수 있습니다. 또한 노출 시간이 매우 짧은 고속 카메라는 실내 조명의 고주파수(예: 60Hz) 변화를 캡처할 수 있습니다.

이미지 향상, 이미지 색상화, 스타일 전달과 같은 효과적인 처리 알고리즘 등 시간적으로 일관된 비디오에 이미지 알고리즘을 적용할 때 깜박임이 발생할 수 있습니다.

비디오 생성 방법으로 생성된 비디오에는 깜박임 아티팩트가 포함될 수도 있습니다.

일반적으로 시간적으로 일관된 비디오가 시각적으로 더 매력적이기 때문에 비디오에서 깜박임을 제거하는 것은 비디오 처리 및 계산 사진 분야에서 매우 인기가 있습니다.

이 CVPR 2023 논문은 (1) 다양한 깜박임 패턴 또는 수준(예: 오래된 영화, 고속 카메라로 캡처한 슬로우 모션 비디오)에 대한 높은 일반화, (2) 범용 깜박임 제거 방법을 연구하는 데 전념하고 있습니다. 플래시 비디오만 필요하며 다른 보조 정보(예: 플래시 유형, 추가 시간 일관성 비디오)는 필요하지 않습니다. 이 방법은 너무 많은 가정을 하지 않기 때문에 적용 시나리오가 다양합니다.

코드 링크: https://github.com/ChenyangLEI/All-in-one-Deflicker

프로젝트 링크: https://chenyanglei.github.io/deflicker

페이퍼 링크: https:// arxiv.org/pdf/2303.08120.pdf

방법

일반적인 깜박임 제거 방법은 추가 지침 없이 비디오 전반에 걸쳐 시간적 일관성을 적용하기 어렵기 때문에 어렵습니다.

기존 기술은 일반적으로 각 깜박임 유형에 대한 특정 전략을 설계하고 특정 지식을 사용합니다. 예를 들어 고속 카메라로 캡처한 슬로우 모션 비디오의 경우 이전 작업에서 조명 주파수를 분석할 수 있습니다. 이미지 처리 알고리즘으로 처리된 비디오의 경우 블라인드 비디오 시간 일관성 알고리즘은 시간적으로 일관된 처리되지 않은 비디오를 참조로 사용하여 장기적인 일관성을 얻을 수 있습니다. 그러나 깜박임 유형이나 처리되지 않은 비디오가 항상 사용 가능한 것은 아니므로 기존 깜박임 관련 알고리즘을 이 경우에 적용할 수 없습니다.

직관적인 솔루션은 광학 흐름을 사용하여 서신을 추적하는 것입니다. 그러나 깜박임 영상에서 얻은 광류는 충분히 정확하지 않으며 광류의 누적 오류도 프레임 수에 따라 증가합니다.

두 가지 주요 관찰과 설계를 통해 저자는 추가적인 안내 없이 다양한 깜박임 현상을 제거할 수 있는 일반적인 깜박임 제거 방법을 성공적으로 제안했습니다.

훌륭한 블라인드 깜박임 제거 모델은 모든 비디오 프레임 사이의 해당 지점을 추적하는 기능을 갖추고 있어야 합니다. 비디오 처리의 대부분의 네트워크 구조는 적은 수의 프레임만 입력으로 사용할 수 있으므로 수용 필드가 작아지고 장기적인 일관성을 보장할 수 없습니다. 연구원들은 신경 지도책이 깜박임 제거 작업에 매우 적합하다는 것을 관찰했으며 따라서 이 작업에 신경 지도책을 도입할 것입니다. 신경 지도책은 비디오의 모든 픽셀을 통일되고 간결하게 표현한 것입니다. 그림 (a)에 표시된 것처럼 p를 픽셀로 두고 각 픽셀 p는 매핑 네트워크 M에 입력되며, 이는 아틀라스에서 픽셀의 해당 위치를 나타내는 2D 좌표(위, vp)를 예측합니다. 이상적으로는 입력 픽셀의 색상이 다르더라도 서로 다른 프레임 간의 해당 지점이 아틀라스의 픽셀을 공유해야 합니다. 즉, 이는 시간적 일관성을 보장합니다.

둘째, 공유 레이어에서 가져온 프레임은 일관되지만 이미지 구조에는 결함이 있습니다. 신경 레이어는 큰 움직임이 있는 동적 개체를 쉽게 모델링할 수 없으며 레이어를 만드는 데 사용되는 광학 흐름도 완벽하지 않습니다. 따라서 저자는 결함이 있는 레이어에서 좋은 부품을 선택하는 신경 필터링 전략을 제안합니다. 연구원들은 레이어의 인공물과 비디오의 깜박임을 시뮬레이션하는 두 가지 유형의 왜곡에서 불변성을 학습하도록 신경망을 훈련했습니다. 테스트했을 때 네트워크는 결함이 있는 레이어에서 일관성 속성을 유지하고 아티팩트를 차단하는 필터로 잘 작동했습니다.

실험

연구원들은 다양한 실제 깜박임 동영상이 포함된 데이터세트를 구축했습니다. 광범위한 실험을 통해 우리의 방법이 여러 유형의 깜박임 비디오에서 만족스러운 깜박임 제거 효과를 달성한다는 것을 보여줍니다. 연구원의 알고리즘은 공개 벤치마크에 대한 추가 지침을 사용하여 기본 방법보다 성능이 뛰어났습니다.

연구원은 (a) 처리된 플리커 비디오와 합성된 플리커 비디오의 정량적 비교를 제공합니다. PSNR에 따르면 연구원의 결과는 기준보다 훨씬 작습니다. 합성된 깜박임 영상도 실제 값에 더 가깝습니다. 다른 실제 동영상의 경우 연구에서는 (b) 비교를 위해 이중 맹검 실험을 제공했으며 대부분의 사용자는 연구원의 결과를 선호했습니다.

위 그림과 같이 연구원의 알고리즘은 입력 영상에서 깜박임을 효과적으로 제거할 수 있습니다. 그림의 세 번째 열은 신경층의 결과를 보여줍니다. 명백한 결함이 관찰될 수 있지만 연구원의 알고리즘은 일관성을 잘 활용하여 이러한 결함이 발생하는 것을 방지할 수 있습니다.

이 프레임워크는 오래된 영화와 AI 생성 비디오에 포함된 다양한 범주의 깜박임을 제거할 수 있습니다.

위 내용은 원클릭으로 영상 깜박임 제거, 본 연구에서는 일반적인 프레임워크를 제안의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!