FisheyeDetNet：首個以魚眼相機為基礎的目標偵測演算法

目標偵測在自動駕駛系統當中是一個比較成熟的問題，其中行人偵測是最早得以部署演算法之一。在多數論文當中已經進行了非常全面的研究。然而，利用魚眼相機進行環視的距離感知相對來說研究較少。由於徑向畸變大，標準的邊界框表示在魚眼相機當中很難實施。為了緩解上述描述，我們探索了擴展邊界框、橢圓、通用多邊形設計為極座標/角度表示，並定義一個實例分割mIOU度量來分析這些表示。所提出的具有多邊形形狀的模型fisheyeDetNet優於其他模型，並同時在用於自動駕駛的Valeo魚眼相機資料集上實現了49.5%的mAP指標。目前，這是第一個關於自動駕駛場景中基於魚眼相機的目標偵測演算法研究。

文章連結：https://arxiv.org/pdf/2404.13443.pdf

網路結構

我們的網路結構建立在YOLOv3網絡模型的基礎上，並且對邊界框、旋轉邊界框、橢圓以及多邊形等進行多種表示。為了使網路能夠移植到低功率汽車硬體上，我們使用ResNet18作為編碼器。與標準Darknet53編碼器相比，參數減少了超過60%。提出了網路架構如下圖。

邊界框偵測

我們的邊界框模型與 YOLOv3 相同，只是 Darknet53 編碼器被替換為 ResNet18 編碼器。與 YOLOv3 類似，目標偵測是在多個尺度上執行的。對於每個尺度中的每個網格，預測物件寬度()、高度()、物件中心座標(，)和物件類別。最後，使用非最大抑制來過濾冗餘檢測。

旋轉邊界框偵測

在該模型中，與常規框資訊(，，，)一起回歸框的方向。方向地面實況範圍 (-180 到 180°) 在 -1 到 1 之間進行歸一化。

橢圓檢測

橢圓迴歸與定向框迴歸相同。唯一的區別是輸出表示。因此損失函數也與定向框損失相同。

多邊形偵測

我們提出的基於多邊形的實例分割方法與PolarMask和PolyYOLO方法非常相似。而不是使用稀疏多邊形點和PolyYOLO這樣的單尺度預測。我們使用密集多邊形註釋和多尺度預測。

實驗對比

我們對Valeo魚眼資料集進行了評估，該資料集有60K圖片。這些圖片是從歐洲、北美和亞洲的4個環繞視圖相機捕捉的。

每個模型都使用IoU閾值為50%的平均精確度度量（mAP）進行比較。結果如下表所示。每個演算法都基於兩個標準進行評估—相同表現和實例分割的效能。