Gesichtsausdrucksanalyse: Integration multimodaler Informationen mit Transformer

Paper Introduction

Die Analyse des menschlichen emotionalen Verhaltens hat in der Mensch-Computer-Interaktion (HCI) große Aufmerksamkeit erregt. Dieser Artikel soll das Papier vorstellen, das wir beim CVPR 2022 Affective Behavior Analysis in-the-wild (ABAW) eingereicht haben. Um das emotionale Wissen voll auszuschöpfen, verwenden wir multimodale Funktionen, darunter gesprochene Sprache, Sprachprosodie und Gesichtsausdrücke, die aus Videoclips im Aff-Wild2-Datensatz extrahiert wurden. Basierend auf diesen Merkmalen schlagen wir ein transformatorbasiertes multimodales Framework zur Erkennung von Aktionseinheiten und Ausdruckserkennung vor. Dieser Rahmen trägt zu einem umfassenderen Verständnis des menschlichen emotionalen Verhaltens bei und bietet neue Forschungsrichtungen im Bereich der Mensch-Computer-Interaktion.

Für das aktuelle Rahmenbild kodieren wir es zunächst, um statische visuelle Merkmale zu extrahieren. Gleichzeitig verwenden wir Schiebefenster, um benachbarte Frames zuzuschneiden und drei multimodale Funktionen aus Bild-, Audio- und Textsequenzen zu extrahieren. Als nächstes stellen wir ein transformatorbasiertes Fusionsmodul vor, um statische visuelle Merkmale und dynamische multimodale Merkmale zu verschmelzen. Das Cross-Attention-Modul in diesem Fusionsmodul hilft dabei, die integrierten Ausgabefunktionen auf Schlüsselteile zu konzentrieren, die für nachgelagerte Erkennungsaufgaben hilfreich sind. Um die Modellleistung weiter zu verbessern, haben wir einige Datenausgleichstechniken, Datenerweiterungstechniken und Nachbearbeitungsmethoden übernommen. Bei den offiziellen Tests des ABAW3 Competition belegte unser Modell sowohl auf der EXPR- als auch auf der AU-Strecke den ersten Platz. Wir demonstrieren die Wirksamkeit unserer vorgeschlagenen Methode durch umfangreiche quantitative Auswertungs- und Ablationsstudien am Aff-Wild2-Datensatz.

Papierlink

https://arxiv.org/abs/2203.12367

Das obige ist der detaillierte Inhalt vonGesichtsausdrucksanalyse: Integration multimodaler Informationen mit Transformer. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!