FisheyeDetNet: 어안 카메라를 기반으로 한 최초의 표적 탐지 알고리즘

객체 감지는 자율 주행 시스템에서 비교적 성숙한 문제이며, 보행자 감지는 가장 먼저 배포되는 알고리즘 중 하나입니다. 대부분의 논문에서 매우 포괄적인 연구가 수행되었습니다. 그러나 서라운드 뷰를 위한 어안 카메라를 사용한 거리 인식은 상대적으로 덜 연구되었습니다. 큰 방사형 왜곡으로 인해 표준 경계 상자 표현은 어안 카메라에서 구현하기 어렵습니다. 위의 설명을 완화하기 위해 확장된 경계 상자, 타원 및 일반 다각형 디자인을 극/각 표현으로 탐색하고 인스턴스 분할 mIOU 메트릭을 정의하여 이러한 표현을 분석합니다. 제안된 다각형 모양의 모델 fisheyeDetNet은 다른 모델보다 성능이 뛰어나며 동시에 자율 주행을 위한 Valeo fisheye 카메라 데이터 세트에서 49.5%의 mAP 지표를 달성합니다. 현재 이는 자율주행 시나리오에서 어안 카메라를 기반으로 한 표적 탐지 알고리즘에 대한 첫 번째 연구입니다.

기사 링크: https://arxiv.org/pdf/2404.13443.pdf

네트워크 구조

우리의 네트워크 구조는 YOLOv3 네트워크 모델을 기반으로 하며 경계 상자, 회전된 경계 상자, 타원, 다각형 등이 다양한 방식으로 표현됩니다. 네트워크를 저전력 자동차 하드웨어로 포팅할 수 있도록 ResNet18을 인코더로 사용합니다. 표준 Darknet53 인코더와 비교하여 매개변수는 60% 이상 감소합니다. 제안된 네트워크 아키텍처는 아래 그림과 같습니다.

경계 상자 감지

경계 상자 모델은 Darknet53 인코더가 ResNet18 인코더로 대체된다는 점을 제외하면 YOLOv3와 동일합니다. YOLOv3와 마찬가지로 객체 감지는 여러 규모로 수행됩니다. 각 축척의 각 그리드에 대해 개체 너비(), 높이(), 개체 중심 좌표(,) 및 개체 클래스를 예측합니다. 마지막으로, 중복 탐지를 필터링하기 위해 최대가 아닌 억제가 사용됩니다.

회전된 경계 상자 감지

이 모델에서는 상자의 방향이 일반 상자 정보(,,,)와 함께 회귀됩니다. 방향성 실측 범위(-180 ~ +180°)는 -1과 +1 사이에서 정규화됩니다.

타원 탐지

타원 회귀는 지향 상자 회귀와 동일합니다. 유일한 차이점은 출력 표현입니다. 따라서 손실 함수도 방향성 상자 손실과 동일합니다.

다각형 탐지

제안된 다각형 기반 인스턴스 분할 방법은 PolarMask 및 PolyYOLO 방법과 매우 유사합니다. 희소 다각형 점과 PolyYOLO와 같은 단일 규모 예측을 사용하는 대신. 우리는 조밀한 다각형 주석과 다중 규모 예측을 사용합니다.

실험적 비교

60K 이미지가 포함된 Valeo 어안 데이터세트를 평가했습니다. 이미지는 유럽, 북미 및 아시아에 있는 4개의 서라운드 뷰 카메라에서 캡처되었습니다.

각 모델은 IoU 임계값이 50%인 평균 정밀도 지표(mAP)를 사용하여 비교됩니다. 결과는 아래 표에 나와 있습니다. 각 알고리즘은 동일한 성능과 인스턴스 분할 성능이라는 두 가지 기준을 기반으로 평가됩니다.