객체 추적은 컴퓨터 비전에서 중요한 작업이며 교통 모니터링, 로봇 공학, 의료 영상, 자동 차량 추적 및 기타 분야에서 널리 사용됩니다. 대상 객체의 초기 위치를 결정한 후 딥러닝 방법을 사용하여 비디오의 각 연속 프레임에서 대상 객체의 위치를 예측하거나 추정합니다. 객체 추적은 실생활에서 폭넓게 응용되며 컴퓨터 비전 분야에서 매우 중요합니다.
객체 추적에는 일반적으로 객체 감지 프로세스가 포함됩니다. 다음은 객체 추적 단계에 대한 간략한 개요입니다.
1. 객체 감지, 알고리즘이 객체 주위에 경계 상자를 만들어 객체를 분류하고 감지합니다.
2. 각 개체에 고유 ID(ID)를 할당합니다.
3. 관련 정보를 저장하면서 프레임에서 감지된 개체의 움직임을 추적합니다.
타겟 추적에는 이미지 추적과 비디오 추적의 두 가지 유형이 있습니다.
이미지 추적
이미지 추적은 이미지를 자동으로 식별하고 추적하는 작업입니다. 증강현실(AR) 분야에서 주로 사용됩니다. 예를 들어, 카메라를 통해 2D 이미지를 공급하면 알고리즘이 2D 평면 이미지를 감지하고 이를 3D 그래픽 개체를 오버레이하는 데 사용할 수 있습니다.
동영상 추적
동영상 추적은 동영상에서 움직이는 물체를 추적하는 작업입니다. 비디오 추적의 개념은 각 비디오 프레임에 나타나는 대상 개체 간의 관계를 연결하거나 설정하는 것입니다. 즉, 비디오 추적은 비디오 프레임을 순차적으로 분석하고 객체 주변에 경계 상자를 예측하고 생성하여 객체의 과거 위치와 현재 위치를 연결합니다.
동영상 추적은 실시간 영상을 처리할 수 있어 교통 모니터링, 자율주행차, 보안 분야에서 널리 사용됩니다.
1단계: 대상 초기화
객체 또는 대상 정의가 포함됩니다. 영상의 초기 프레임 주위에 경계 상자를 그리는 과정과 결합됩니다. 그런 다음 추적기는 경계 상자를 그리는 동안 나머지 프레임에서 개체의 위치를 추정하거나 예측해야 합니다.
2단계: 모양 모델링
모양 모델링에는 물체의 시각적 모양을 모델링하는 작업이 포함됩니다. 대상 객체가 조명 조건, 각도, 속도 등 다양한 시나리오를 통과하면 객체의 모습이 바뀔 수 있으며 오류 정보 및 알고리즘이 객체 추적을 잃을 수 있습니다. 따라서 모델링 알고리즘이 대상 객체가 움직일 때 발생하는 다양한 변화와 왜곡을 포착할 수 있도록 모양 모델링이 필요합니다.
외관 모델링은 두 부분으로 구성됩니다.
3단계: 동작 추정
동작 추정은 일반적으로 모델의 예측 기능을 추정하여 객체의 미래 위치를 정확하게 예측합니다.
4단계: 대상 위치 파악
물체의 위치가 대략적으로 파악되면 시각적 모델을 사용하여 대상의 정확한 위치를 고정할 수 있습니다.
객체 추적은 두 가지 수준으로 정의할 수 있습니다.
단일 객체 추적(SOT)
단일 객체 추적(SOT)은 여러 객체가 아닌 객체의 단일 클래스를 추적하는 것을 목표로 합니다. 시각적 개체 추적이라고도 합니다. SOT에서는 대상 객체의 경계 상자가 첫 번째 프레임에서 정의됩니다. 이 알고리즘의 목표는 나머지 프레임에서 동일한 개체를 찾는 것입니다.
SOT는 첫 번째 경계 상자가 추적기에 수동으로 제공되어야 하므로 감지 없는 추적 범주에 속합니다. 이는 단일 객체 추적기가 주어진 모든 객체를 추적할 수 있어야 함을 의미합니다. 심지어 훈련에 사용할 수 있는 분류 모델이 없는 객체도 마찬가지입니다.
다중 개체 추적(MOT)
다중 개체 추적(MOT)은 추적 알고리즘이 동영상에서 관심 있는 개별 개체를 추적하는 방법을 말합니다. 처음에 추적 알고리즘은 각 프레임의 개체 수를 결정한 다음 프레임을 떠날 때까지 한 프레임에서 다음 프레임으로 각 개체의 ID를 추적합니다.
목표 추적에는 추적 모델의 정확성과 효율성을 향상시키기 위해 다양한 방법이 도입되었습니다. 일부 방법에는 k-최근접 이웃 또는 지원 벡터 머신과 같은 고전적인 기계 학습 방법이 포함됩니다. 아래에서는 표적 추적 작업을 위한 몇 가지 딥 러닝 알고리즘에 대해 설명합니다.
MDNet
대규모 데이터를 훈련에 활용하는 표적 추적 알고리즘입니다. MDNet은 사전 훈련과 온라인 시각적 추적으로 구성됩니다.
사전 훈련: 사전 훈련에서 네트워크는 다중 도메인 표현을 학습해야 합니다. 이 목표를 달성하기 위해 알고리즘은 주석이 달린 여러 비디오에 대해 훈련되어 표현과 공간 특징을 학습합니다.
온라인 시각적 추적: 사전 훈련이 완료되면 도메인별 레이어가 제거되고 학습된 표현이 포함된 공유 레이어만 네트워크에 남습니다. 추론 중에 온라인으로 훈련되거나 미세 조정되는 이진 분류 레이어가 추가됩니다.
이 기술은 시간을 절약해주며 효과적인 온라인 기반 추적 알고리즘임이 입증되었습니다.
GOTURN
심층 회귀 네트워크는 오프라인 학습을 기반으로 한 모델입니다. 알고리즘은 물체의 움직임과 모양 사이의 일반적인 관계를 학습하고 훈련 세트에 나타나지 않는 물체를 추적하는 데 사용할 수 있습니다.
회귀 네트워크 또는 GOTURN을 사용한 범용 개체 추적은 회귀 기반 방법을 사용하여 개체를 추적합니다. 본질적으로 그들은 네트워크를 통과하는 단 한 번의 피드포워드 패스에서만 대상 개체를 찾기 위해 직접 회귀합니다. 네트워크는 현재 프레임의 검색 영역과 이전 프레임의 대상이라는 두 가지 입력을 받아들입니다. 그런 다음 네트워크는 이러한 이미지를 비교하여 현재 이미지에서 대상 객체를 찾습니다.
ROLO
ROLO는 순환 신경망과 YOLO를 결합한 것입니다. 일반적으로 LSTM은 CNN과 함께 사용하기에 더 적합합니다.
ROLO는 두 개의 신경망을 결합합니다. 하나는 공간 정보를 추출하는 데 사용되는 CNN이고 다른 하나는 대상 개체의 궤적을 찾는 데 사용되는 LSTM 네트워크입니다. 각 시간 단계에서 공간 정보가 추출되어 LSTM으로 전송되며, LSTM은 추적된 객체의 위치를 반환합니다.
DeepSORT
DeepSORT는 가장 널리 사용되는 대상 추적 알고리즘 중 하나이며 SORT의 확장입니다.
SORT는 Kalman 필터를 사용하여 이전 위치를 기준으로 객체의 위치를 추정하는 온라인 기반 추적 알고리즘입니다. 칼만 필터는 폐색에 매우 효과적입니다.
SORT를 이해한 후 딥러닝 기술을 결합하여 SORT 알고리즘을 향상할 수 있습니다. 심층 신경망을 통해 SORT는 이제 대상 이미지의 특성을 설명할 수 있으므로 SORT를 통해 객체의 위치를 더 정확하게 추정할 수 있습니다.
SiamMask
은 완전 컨벌루션 Siamese 네트워크의 오프라인 훈련 프로세스를 개선하도록 설계되었습니다. Siamese 네트워크는 조밀한 공간 특징 표현을 얻기 위해 잘린 이미지와 더 큰 검색 이미지라는 두 가지 입력을 허용합니다.
Siamese 네트워크는 두 입력 이미지의 유사성을 측정하고 두 이미지에 동일한 개체가 있는지 확인하는 출력을 생성합니다. 이진 분할 작업을 사용하여 손실을 증가시킴으로써 이 프레임워크는 객체 추적에 매우 효과적입니다.
JDE
JDE는 다중 작업 학습 문제를 해결하도록 설계된 싱글 샷 감지기입니다. JDE는 공유 모델에 객체 감지 및 모양 삽입을 학습합니다.
JDE는 Darknet-53을 백본으로 사용하여 각 레이어에서 기능 표현을 얻습니다. 그런 다음 이러한 특징 표현은 업샘플링 및 잔여 연결을 사용하여 융합됩니다. 그런 다음 융합된 특징 표현 위에 예측 헤더가 추가되어 조밀한 예측 맵이 생성됩니다. 객체 추적을 수행하기 위해 JDE는 예측 헤드에서 경계 상자 클래스와 모양 임베딩을 생성합니다. 이러한 모양 임베딩은 선호도 매트릭스를 사용하여 이전에 감지된 객체의 임베딩과 비교됩니다.
Tracktor++
Tracktor++는 온라인 추적 알고리즘입니다. 객체 감지 방법을 사용하여 감지 작업에 대해서만 신경망을 훈련시켜 추적을 수행합니다. 기본적으로 경계 상자 회귀를 계산하여 다음 프레임에서 객체의 위치를 예측합니다. 추적 데이터에 대한 교육이나 최적화를 수행하지 않습니다.
Tracktor++의 객체 감지기는 일반적으로 ResNet 및 FPN의 101개 레이어를 갖춘 Faster R-CNN입니다. Faster R-CNN의 회귀 분기를 사용하여 현재 프레임에서 특징을 추출합니다.
위 내용은 컴퓨터 비전의 표적 추적 개념 해석의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
