Supprimer le scintillement vidéo en un clic, cette étude propose un cadre général

Cet article propose avec succès la première méthode universelle de suppression du scintillement qui ne nécessite pas de conseils ni de compréhension supplémentaires du scintillement et peut éliminer divers artefacts de scintillement.

Les vidéos de haute qualité sont généralement cohérentes dans le temps, mais de nombreuses vidéos présentent un scintillement pour diverses raisons. Par exemple, la luminosité des anciens films peut être très instable en raison de la mauvaise qualité de certains anciens appareils photo et de l'incapacité de régler le temps d'exposition de manière identique pour chaque image. De plus, les caméras à grande vitesse avec des temps d'exposition très courts peuvent capturer les changements à haute fréquence (par exemple 60 Hz) de l'éclairage intérieur.

Un scintillement peut se produire lors de l'application d'algorithmes d'image à des vidéos temporellement cohérentes, tels que des algorithmes de traitement efficaces tels que l'amélioration de l'image, la colorisation de l'image et le transfert de style.

Les vidéos générées par les méthodes de génération vidéo peuvent également contenir des artefacts de scintillement.

La suppression du scintillement des vidéos est très populaire dans les domaines du traitement vidéo et de la photographie informatique, car les vidéos temporellement cohérentes sont généralement plus attrayantes visuellement.

Cet article CVPR 2023 est dédié à la recherche d'une méthode universelle de suppression du scintillement qui : (1) a une forte généralisation à divers modèles ou niveaux de scintillement (par exemple, vieux films, vidéos au ralenti capturées par des caméras à grande vitesse), (2) Seule une vidéo flash est requise et aucune autre information auxiliaire (telle que le type de flash, une vidéo supplémentaire cohérente dans le temps) n'est requise. Comme cette méthode ne fait pas trop d’hypothèses, elle offre un large éventail de scénarios d’application.

Lien code : https://github.com/ChenyangLEI/All-in-one-Deflicker

Lien projet : https://chenyanglei.github.io/deflicker

Lien papier : https:// arxiv.org/pdf/2303.08120.pdf

Méthodes

Les méthodes génériques de suppression du scintillement sont difficiles car il est difficile d'assurer la cohérence temporelle dans la vidéo sans aucune orientation supplémentaire.

Les techniques existantes conçoivent généralement des stratégies spécifiques pour chaque type de scintillement et utilisent des connaissances spécifiques. Par exemple, pour les vidéos au ralenti capturées par des caméras à grande vitesse, des travaux antérieurs permettent d’analyser les fréquences d’éclairage. Pour les vidéos traitées par des algorithmes de traitement d'image, l'algorithme de cohérence temporelle vidéo aveugle peut utiliser la vidéo non traitée temporellement cohérente comme référence pour obtenir une cohérence à long terme. Cependant, les types de scintillement ou les vidéos non traitées ne sont pas toujours disponibles, de sorte que les algorithmes spécifiques au scintillement existants ne peuvent pas être appliqués à ce cas.

Une solution intuitive consiste à utiliser le flux optique pour suivre les correspondances. Cependant, le flux optique obtenu à partir des vidéos scintillantes n'est pas assez précis et l'erreur cumulée du flux optique augmente également avec le nombre d'images.

Grâce à deux observations et conceptions clés, l'auteur a proposé avec succès une méthode générale de suppression du scintillement qui peut éliminer divers artefacts de scintillement sans conseils supplémentaires.

Un bon modèle anti-scintillement aveugle devrait avoir la capacité de suivre les points correspondants entre toutes les images vidéo. La plupart des structures de réseau dans le traitement vidéo ne peuvent accepter qu'un petit nombre d'images en entrée, ce qui entraîne un petit champ de réception et ne peut garantir une cohérence à long terme. Les chercheurs ont observé que les atlas neuronaux sont bien adaptés à la tâche d’élimination du scintillement et introduiront donc des atlas neuronaux dans cette tâche. Les atlas neuronaux sont une représentation unifiée et concise de tous les pixels d'une vidéo. Comme le montre la figure (a), soit p un pixel, et chaque pixel p est entré dans le réseau de cartographie M, qui prédit les coordonnées 2D (up, vp), représentant la position correspondante du pixel dans l'atlas. Idéalement, les points correspondants entre différentes images devraient partager un pixel dans l'atlas, même si les pixels d'entrée sont de couleurs différentes. Autrement dit, cela garantit la cohérence temporelle.

Deuxièmement, bien que les images extraites des calques partagés soient cohérentes, la structure des images est défectueuse : les couches neuronales ne peuvent pas facilement modéliser des objets dynamiques avec un mouvement important ; le flux optique utilisé pour construire les calques n'est pas non plus parfait. Par conséquent, les auteurs proposent une stratégie de filtrage neuronal pour sélectionner les bonnes pièces parmi les couches défectueuses. Les chercheurs ont formé un réseau neuronal pour apprendre l’invariance sous deux types de distorsion, qui simulent des artefacts en couches et un scintillement dans les vidéos. Lors des tests, le réseau a bien fonctionné comme filtre pour préserver les propriétés de cohérence et bloquer les artefacts dans les couches défectueuses.

Expérience

Les chercheurs ont construit un ensemble de données contenant diverses vidéos réelles scintillantes. Des expériences approfondies montrent que notre méthode permet d'obtenir des effets anti-scintillement satisfaisants sur plusieurs types de vidéos scintillantes. L'algorithme des chercheurs a même surpassé les méthodes de base en utilisant des conseils supplémentaires sur les références publiques.

Le chercheur fournit (a) une comparaison quantitative de la vidéo scintillante traitée et de la vidéo scintillante synthétisée. L'erreur de déformation de la méthode du chercheur est bien inférieure à la ligne de base. Selon le PSNR, les résultats du chercheur sont meilleurs que ceux de la méthode du chercheur. vidéo scintillante synthétisée. Les données sont également plus proches de la valeur réelle. Pour d'autres vidéos du monde réel, l'étude a fourni (b) une expérience en double aveugle à des fins de comparaison, et la plupart des utilisateurs ont préféré les résultats des chercheurs.

Comme le montre la figure ci-dessus, l'algorithme du chercheur peut très bien supprimer le scintillement de la vidéo d'entrée. A noter que la troisième colonne d'images montre les résultats de la couche neuronale. Des défauts évidents peuvent être observés, mais l'algorithme du chercheur peut faire bon usage de sa cohérence et éviter d'introduire ces défauts.

Ce framework peut supprimer différentes catégories de scintillement contenues dans les anciens films et les vidéos générées par l'IA.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!