ECCV 2024｜BlazeBVD, une méthode générale de suppression du scintillement aveugle des vidéos, est proposée ici conjointement par Meitu et l'Université nationale des sciences et technologies de Chine.

La rubrique AIxiv est une rubrique où des contenus académiques et techniques sont publiés sur ce site. Au cours des dernières années, la rubrique AIxiv de ce site a reçu plus de 2 000 rapports, couvrant les meilleurs laboratoires des principales universités et entreprises du monde entier, favorisant efficacement les échanges et la diffusion académiques. Si vous souhaitez partager un excellent travail, n'hésitez pas à contribuer ou à nous contacter pour un rapport. E-mail de soumission : liyazhou@jiqizhixin.com ; zhaoyunfeng@jiqizhixin.com

Ces dernières années, l'écosystème des vidéos courtes a rapidement émergé et des outils de création et d'édition autour de vidéos courtes émergent constamment, le Wink professionnel de Meitu. outil de montage vidéo mobile, prend les devants avec ses capacités uniques de restauration de qualité vidéo, et le nombre d'utilisateurs dans le pays et à l'étranger continue d'augmenter.

Derrière la popularité de la fonction de réparation de la qualité d'image de Wink se cache la vision de Meitu des problèmes de création vidéo des utilisateurs, tels que les images floues, le bruit important et la faible qualité d'image, dans un contexte de demande accélérée d'applications de montage vidéo. temps, il est également basé sur le puissant support technologique de restauration et d'amélioration vidéo du Meitu Imaging Research Institute (MT Lab). Il a actuellement lancé la restauration de la qualité d'image - HD, la restauration de la qualité d'image - Ultra HD, la restauration de la qualité d'image - Amélioration du portrait, et Résolution. Amélioration du taux et autres fonctions.

Récemment, le Meitu Imaging Research Institute (MT Lab) et l'Université de l'Académie chinoise des sciences ont proposé une nouvelle méthode de suppression du scintillement vidéo aveugle (BVD) basée sur STE, BlazeBVD, qui est révolutionnaire pour traiter la dégradation du scintillement de l'éclairage. Une vidéo inconnue de basse qualité, qui préserve autant que possible l'intégrité du contenu vidéo d'origine et de la couleur, a été acceptée par la meilleure conférence de vision par ordinateur ECCV 2024.

• Lien papier : https://arxiv.org/pdf/2403.06243v1

BlazeBVD est destiné aux scénarios de scintillement vidéo. Le scintillement vidéo peut facilement affecter la cohérence temporelle, et la cohérence temporelle est de haute qualité. condition de sortie vidéo, même un faible scintillement vidéo peut sérieusement affecter l’expérience visuelle. La raison est généralement due à un mauvais environnement de prise de vue et aux limitations matérielles de l'équipement de prise de vue. Lorsque la technologie de traitement d'image est appliquée aux images vidéo, ce problème est souvent encore exacerbé. En outre, des problèmes d'artefacts de scintillement et de distorsion des couleurs surviennent également fréquemment dans les tâches de génération vidéo récentes, y compris celles basées sur des réseaux contradictoires génératifs (GAN) et des modèles de diffusion (DM). Par conséquent, dans divers scénarios de traitement vidéo, il est crucial d’explorer le Blind Video Deflickering (BVD) pour éliminer le scintillement vidéo et maintenir l’intégrité du contenu vidéo.

La tâche BVD n'est pas affectée par la cause et le degré de scintillement vidéo et a un large éventail de perspectives d'application. L'accent actuel sur ces tâches comprend principalement la restauration d'anciens films, la prise de vue avec caméra à grande vitesse, le traitement de la distorsion des couleurs. , etc. et les types de scintillement vidéo, les tâches qui n'ont rien à voir avec le degré de scintillement et les tâches qui ne doivent fonctionner que sur une seule vidéo de scintillement sans nécessiter d'informations de guidage supplémentaires telles que le type de scintillement vidéo, l'entrée vidéo de référence, etc. De plus, BVD se concentre désormais principalement sur les méthodes de filtrage traditionnel, de cohérence temporelle forcée et d'atlas. Par conséquent, bien que les méthodes d'apprentissage profond aient fait des progrès significatifs dans les tâches BVD, elles sont fortement entravées au niveau applicatif en raison du manque de connaissances préalables. BVD est encore confronté à de nombreux défis.

BlazeBVD : Améliorez efficacement l'effet de suppression du scintillement de la vidéo aveugle

Inspiré de la méthode classique de suppression du scintillement, d'égalisation à l'échelle et au temps (STE), BlazeBVD introduit une solution assistée par histogramme. L'histogramme d'image est défini comme la distribution des valeurs de pixels. Il est largement utilisé dans le traitement d'image pour ajuster la luminosité ou le contraste d'une image, étant donné une vidéo arbitraire, STE peut lisser l'histogramme en utilisant le filtrage gaussien et corriger chaque image à l'aide de l'égalisation de l'histogramme. valeurs de pixels dans le cadre, améliorant ainsi la stabilité visuelle de la vidéo. Bien que STE ne soit efficace que pour certains scintillement mineurs, il vérifie :

1. Les histogrammes sont beaucoup plus compacts que les valeurs de pixels et peuvent bien représenter les informations sur la lumière et le scintillement.
2. La vidéo après le lissage de la séquence d'histogramme n'a pas de scintillement évident visuellement.

Par conséquent, il est possible d'utiliser des indices de STE et des histogrammes pour améliorer la qualité et la vitesse du scintillement vidéo aveugle.

BlazeBVD génère des collections d'images singulières, des cartes de lumière filtrée et des cartes de masques d'exposition en lissant ces histogrammes pour obtenir une récupération de texture rapide et stable en présence de fluctuations d'éclairage et de sur ou sous-exposition. Par rapport aux méthodes d'apprentissage en profondeur précédentes, BlazeBVD utilise soigneusement des histogrammes pour réduire pour la première fois la complexité d'apprentissage des tâches BVD, simplifiant ainsi la complexité et la consommation de ressources des données vidéo d'apprentissage. Son objectif principal est d'utiliser le scintillement préalable de STE, y compris pour A filtré. une carte d'éclairage qui guide la suppression du scintillement global, un ensemble d'images singulier qui identifie les index d'images de scintillement et une carte d'exposition qui identifie les régions localement affectées par la surexposition ou l'obscurité.

En même temps, en utilisant les priorités de scintillement, BlazeBVD combine un module de suppression de scintillement global (GFRM) et un module de suppression de scintillement local (LFRM) pour corriger efficacement l'éclairage global et la texture d'exposition locale des images adjacentes individuelles. De plus, pour améliorer la cohérence inter-trames, un réseau de synchronisation léger (TCM) est intégré, améliorant ainsi les performances sans consommer beaucoup de temps.

                                                                                                                                                                                                     Plus précisément, BlazeBVD comprend trois étapes :

Tout d'abord, présentez STE Le La séquence d'histogramme des images vidéo dans l'espace d'éclairage est corrigée, et le scintillement préalable comprenant l'ensemble d'images singulier, la carte d'éclairage filtrée et la carte d'exposition sont extraits.

Deuxièmement, étant donné que les cartes d'éclairage filtrées ont des performances temporelles stables, elles seront utilisées comme conditions de repère pour le module de suppression globale du scintillement (GFRM) contenant un réseau 2D pour guider la correction des couleurs des images vidéo. D'autre part, le module de suppression du scintillement local (LFRM) récupère les zones surexposées ou sombres marquées par des cartes d'exposition locales basées sur les informations de flux optique.
Enfin, un réseau temporel léger (TCM) est introduit pour traiter toutes les images, dans lequel une perte pondérée de masque adaptatif est conçue pour améliorer la cohérence vidéo.
• Grâce à des expériences complètes sur des vidéos synthétiques, des vidéos réelles et des vidéos générées, nous démontrons les résultats qualitatifs et quantitatifs supérieurs de BlazeBVD, atteignant des vitesses d'inférence de modèle 10 fois plus rapides que celles du modèle de pointe. vitesses d'inférence.

                                                                                                                                                                                    Figure 2 : Processus de formation et d'inférence de BlazeBVD

Résultats expérimentaux

Un grand nombre d'expériences ont montré que BlazeBVD, une méthode générale pour les tâches de flashage vidéo aveugle, est efficace pour synthétiser C'est mieux que les travaux antérieurs sur des ensembles de données et des ensembles de données réels, et les expériences d'ablation vérifient également l'efficacité du module conçu par BlazeBVD.

                                                      Figure 3 : Comparaison visuelle avec la méthode de référence

Figure 4 : Expérience d'ablation

Utiliser la technologie d'imagerie pour améliorer la productivité

Ceci L'article propose une méthode générale BlazeBVD pour les tâches de scintillement vidéo aveugle, utilisant des réseaux 2D pour réparer les scintillements de mauvaise qualité affectés par des changements d'éclairage ou des problèmes d'exposition vidéo locaux. Son cœur est de prétraiter les priorités de scintillement dans le filtre STE dans l'espace d'éclairage ; puis d'utiliser ces priorités, combinées avec le module de suppression de scintillement global (GFRM) et le module de suppression de scintillement local (LFRM), pour corriger le scintillement global et les textures d'exposition locales ; Enfin, un réseau temporel léger (TCM) est utilisé pour améliorer la cohérence et la cohérence inter-images de la vidéo, et permet également d'obtenir une accélération 10x dans l'inférence du modèle.

En tant qu'explorateur dans le domaine de l'imagerie et du design en Chine, Meitu continue de lancer des fonctions d'IA pratiques et efficaces pour offrir des services et des expériences innovantes aux utilisateurs. En tant que centre de R&D principal, le Meitu Imaging Research Institute (MT Lab). continuera à mettre à niveau de manière itérative les capacités de l'IA pour fournir aux créateurs de vidéos de nouvelles méthodes de création vidéo et ouvrir un monde plus large.

以上是ECCV 2024｜BlazeBVD, une méthode générale de suppression du scintillement aveugle des vidéos, est proposée ici conjointement par Meitu et l'Université nationale des sciences et technologies de Chine.的详细内容。更多信息请关注PHP中文网其他相关文章！