Interprétation du concept de suivi de cible en vision par ordinateur

Le suivi d'objets est une tâche importante en vision par ordinateur et est largement utilisé dans la surveillance du trafic, la robotique, l'imagerie médicale, le suivi automatique des véhicules et d'autres domaines. Il utilise des méthodes d'apprentissage profond pour prédire ou estimer la position de l'objet cible dans chaque image consécutive de la vidéo après avoir déterminé la position initiale de l'objet cible. Le suivi d'objets a un large éventail d'applications dans la vie réelle et revêt une grande importance dans le domaine de la vision par ordinateur.

Le suivi d'objets implique généralement le processus de détection d'objets. Voici un bref aperçu des étapes de suivi des objets :

1. Détection d'objets, où l'algorithme classe et détecte les objets en créant des cadres de délimitation autour d'eux.

2. Attribuez une identification (ID) unique à chaque objet.

3. Suivez le mouvement des objets détectés dans les images tout en stockant les informations pertinentes.

Types de suivi de cible

Il existe deux types de suivi de cible : le suivi d'image et le suivi vidéo.

Suivi des images

Le suivi des images est la tâche d'identification et de suivi automatique des images. Principalement utilisé dans le domaine de la réalité augmentée (RA). Par exemple, lorsqu'une image 2D est transmise à une caméra, l'algorithme détecte une image planaire 2D, qui peut ensuite être utilisée pour superposer des objets graphiques 3D.

Suivi vidéo

Le suivi vidéo est la tâche de suivre des objets en mouvement dans des vidéos. L'idée du suivi vidéo est d'associer ou d'établir une relation entre un objet cible tel qu'il apparaît dans chaque image vidéo. En d’autres termes, le suivi vidéo analyse les images vidéo de manière séquentielle et relie l’emplacement passé d’un objet à son emplacement actuel en prédisant et en créant des cadres de délimitation autour de lui.

Le suivi vidéo est largement utilisé dans la surveillance du trafic, les voitures autonomes et la sécurité, car il peut traiter des images en direct.

4 Phases du processus de suivi de cible

Phase 1 : Initialisation de la cible

Implique la définition de l'objet ou de la cible. Combiné avec le processus de dessin d’un cadre de délimitation autour de l’image initiale de la vidéo. Le tracker doit ensuite estimer ou prédire la position de l'objet dans les images restantes tout en dessinant des cadres de délimitation.

Phase Deux : Modélisation de l'apparence

La modélisation de l'apparence consiste à modéliser l'apparence visuelle d'un objet. Lorsqu'un objet cible traverse divers scénarios tels que les conditions d'éclairage, les angles, les vitesses, etc., cela peut modifier l'apparence de l'objet et entraîner des messages d'erreur et une perte de suivi de l'algorithme par l'algorithme. La modélisation de l'apparence est donc nécessaire pour que l'algorithme de modélisation puisse capturer les différents changements et distorsions introduits lorsque l'objet cible se déplace.

La modélisation de l'apparence se compose de deux parties :

• Représentation visuelle : elle se concentre sur la création de fonctionnalités et de représentations robustes qui peuvent décrire des objets
• Modélisation statistique : elle utilise des techniques d'apprentissage statistique pour créer efficacement des modèles pour le modèle mathématique de reconnaissance d'objets.

Phase 3 : Estimation du mouvement

L'estimation du mouvement extrapole généralement les capacités prédictives du modèle pour prédire avec précision l'emplacement futur d'un objet.

Phase 4 : Localisation de la cible

Une fois l'emplacement de l'objet approximé, nous pouvons utiliser le modèle visuel pour verrouiller l'emplacement exact de la cible.

Niveaux de suivi d'objet

Le suivi d'objet peut être défini comme deux niveaux :

Suivi d'objet unique (SOT)

Le suivi d'objet unique (SOT) vise à suivre une seule classe d'objets plutôt que plusieurs objets. Parfois appelé suivi visuel d’objets. Dans SOT, la boîte englobante de l'objet cible est définie dans la première image. Le but de cet algorithme est de localiser le même objet dans les images restantes.

SOT entre dans la catégorie des suivis sans détection puisque la première boîte englobante doit être fournie manuellement au tracker. Cela signifie qu'un seul outil de suivi d'objets devrait être capable de suivre n'importe quel objet donné, même les objets pour lesquels aucun modèle de classification n'est disponible pour la formation.

Suivi d'objets multiples (MOT)

Le suivi d'objets multiples (MOT) fait référence à la méthode par laquelle l'algorithme de suivi suit chaque objet d'intérêt individuel dans une vidéo. Initialement, l'algorithme de suivi détermine le nombre d'objets dans chaque image, puis suit l'identité de chaque objet d'une image à l'autre jusqu'à ce qu'ils quittent l'image.

Méthodes de suivi de cible basées sur l'apprentissage profond

Le suivi de cible a introduit de nombreuses méthodes pour améliorer la précision et l'efficacité des modèles de suivi. Certaines méthodes font appel à des méthodes classiques d’apprentissage automatique telles que les k-voisins les plus proches ou les machines à vecteurs de support. Nous discutons ci-dessous de quelques algorithmes d'apprentissage en profondeur pour les tâches de suivi de cibles.

MDNet

Un algorithme de suivi de cible entraîné à l'aide de données à grande échelle. MDNet comprend une pré-formation et un suivi visuel en ligne.

Pré-formation : En pré-formation, le réseau doit apprendre les représentations multi-domaines. Pour atteindre cet objectif, l'algorithme est entraîné sur plusieurs vidéos annotées pour apprendre les représentations et les caractéristiques spatiales.

Suivi visuel en ligne : une fois la pré-formation terminée, les couches spécifiques au domaine sont supprimées et le réseau ne conserve que les couches partagées contenant les représentations apprises. Lors de l'inférence, une couche de classification binaire est ajoutée, qui est entraînée ou affinée en ligne.

Cette technique permet de gagner du temps et s'est avérée être un algorithme de suivi en ligne efficace.

GOTURN

Le réseau de régression profonde est un modèle basé sur une formation hors ligne. L'algorithme apprend une relation générale entre le mouvement de l'objet et son apparence et peut être utilisé pour suivre des objets qui n'apparaissent pas dans l'ensemble d'apprentissage.

Le suivi universel des objets à l'aide de réseaux de régression ou GOTURN utilise des méthodes basées sur la régression pour suivre les objets. Essentiellement, ils régressent directement pour localiser l’objet cible en un seul passage à travers le réseau. Le réseau accepte deux entrées : la zone de recherche de la trame actuelle et la cible de la trame précédente. Le réseau compare ensuite ces images pour trouver l'objet cible dans l'image actuelle.

ROLO

ROLO est une combinaison de réseau neuronal récurrent et de YOLO. Généralement, LSTM est plus approprié pour être utilisé conjointement avec CNN.

ROLO combine deux réseaux de neurones : l'un est CNN, utilisé pour extraire des informations spatiales ; l'autre est le réseau LSTM, utilisé pour trouver la trajectoire des objets cibles. A chaque pas de temps, les informations spatiales sont extraites et envoyées au LSTM, qui renvoie ensuite la localisation de l'objet suivi.

DeepSORT

DeepSORT est l'un des algorithmes de suivi de cible les plus populaires et c'est une extension de SORT.

SORT est un algorithme de suivi en ligne qui utilise un filtre de Kalman pour estimer la position d'un objet en fonction de sa position précédente. Le filtre de Kalman est très efficace contre les occlusions.

Après avoir compris SORT, nous pouvons combiner la technologie d'apprentissage profond pour améliorer l'algorithme SORT. Les réseaux de neurones profonds permettent à SORT d'estimer la localisation des objets avec une plus grande précision car ces réseaux peuvent désormais décrire les caractéristiques de l'image cible.

SiamMask

est conçu pour améliorer le processus de formation hors ligne des réseaux siamois entièrement convolutifs. Le réseau siamois accepte deux entrées : une image recadrée et une image de recherche plus grande pour obtenir une représentation dense des caractéristiques spatiales.

Le réseau siamois produit une sortie qui mesure la similarité de deux images d'entrée et détermine si le même objet est présent dans les deux images. En augmentant la perte à l'aide de tâches de segmentation binaire, ce cadre est très efficace pour le suivi d'objets.

JDE

JDE est un détecteur mono-coup conçu pour résoudre des problèmes d'apprentissage multitâches. JDE apprend la détection d'objets et l'intégration d'apparences dans un modèle partagé.

JDE utilise Darknet-53 comme épine dorsale pour obtenir une représentation des fonctionnalités à chaque couche. Ces représentations de caractéristiques sont ensuite fusionnées à l'aide d'un suréchantillonnage et de connexions résiduelles. Un en-tête de prédiction est ensuite ajouté au-dessus de la représentation des entités fusionnées, ce qui donne lieu à une carte de prédiction dense. Pour effectuer le suivi des objets, JDE génère des classes de boîtes englobantes et des intégrations d'apparence à partir de la tête de prédiction. Ces intégrations d'apparence sont comparées aux intégrations d'objets précédemment détectés à l'aide d'une matrice d'affinité.

Tracktor++

Tracktor++ est un algorithme de suivi en ligne. Il utilise des méthodes de détection d'objets pour effectuer un suivi en entraînant un réseau neuronal uniquement sur la tâche de détection. Essentiellement, prédire l'emplacement de l'objet dans l'image suivante en calculant une régression de boîte englobante. Il n’effectue aucune formation ni optimisation sur les données de suivi. Le détecteur d'objets de

Tracktor++ est généralement un R-CNN plus rapide avec 101 couches de ResNet et FPN. Il utilise la branche de régression de Faster R-CNN pour extraire les fonctionnalités de la trame actuelle.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!