YOLO不死！ YOLOv9出爐：性能速度SOTA~

如今的深度学习方法专注于设计最适合的目标函数，以使模型的预测结果与实际情况最接近。同时，必须设计一个合适的架构，以便为预测获取足够的信息。现有方法忽略了一个事实，即当输入数据经过逐层特征提取和空间变换时，大量信息将会丢失。本文将深入探讨数据通过深度网络传输时的重要问题，即信息瓶颈和可逆函数。基于此提出了可编程梯度信息（PGI）的概念，以应对深度网络实现多目标所需的各种变化。PGI可以为目标任务提供完整的输入信息，以计算目标函数，从而获得可靠的梯度信息以更新网络权重。此外设计了一种新的轻量级网络架构——基于梯度路径规划的广义高效层聚合网络（GELAN）。

验证结果表明，GELAN架构在轻量级模型上通过PGI获得了显著优势。在MS COCO数据集上的实验显示，GELAN结合PGI仅利用传统卷积算子就能实现比基于深度卷积的最先进方法更出色的参数利用率。PGI的通用性使其适用于各种模型，从轻量级到大型模型都适用。通过PGI，模型能够充分获取信息，因此使用从头开始训练的模型可能比基于大型数据集预训练的最先进模型获得更好的结果。

文章地址：https://arxiv.org/pdf/2402.13616

代码链接：https://github.com/WongKinYiu/yolov9

优秀的性能

根据MS COCO数据集上的实时目标检测器比较结果显示，基于GELAN和PGI的目标检测方法在目标检测性能方面明显领先于以往的从头开始训练的方法。新方法在准确性方面表现优于依赖大型数据集预训练的RT DETR，并且在参数利用方面也优于基于深度卷积设计的YOLO MS。这些结果表明，GELAN和PGI方法在目标检测领域具有潜在的优势，并且可能成为未来研究和应用中的重要技术选择。

本文贡献

1. 从可逆函数的角度理论分析了现有的深度神经网络架构，通过这一过程，成功解释了过去难以解释的许多现象。还基于这一分析设计了PGI和辅助可逆分支，并取得了优秀的结果。
2. 设计的PGI解决了深度监督只能用于极深的神经网络架构的问题，从而使得新的轻量级架构真正能够应用于日常工作。
3. 设计的GELAN仅使用传统卷积就能实现比基于最先进技术的深度卷积设计更高的参数使用率，同时表现出轻巧、快速和准确的巨大优势。
4. 将所提出的PGI和GELAN结合起来，YOLOv9在MS COCO数据集上的目标检测性能在各个方面都大大超过了现有的实时目标检测器。

方法

PGI及相关的网络架构和方法

如下图所示，(a) 路径聚合网络（PAN），(b) 可逆列（RevCol），(c) 传统的深度监督，以及 (d) YOLOv9提出的可编程梯度信息（PGI）。

PGI主要由三个组成部分组成：

1. 主分支：用于推理的架构;
2. 辅助可逆分支：生成可靠的梯度以供主分支向后传输;
3. 多级辅助信息：控制主分支学习可规划的多级语义信息。

GELAN的架构

如下图所示，(a) CSPNet ，(b) ELAN，以及 (c) YOLOv9提出的GELAN。模仿了CSPNet，并将ELAN扩展为GELAN，可以支持任何计算块。

结果对比

与现有技术的比较

下表列出了YOLOv9与其他从头开始训练的实时目标检测器的比较。总体而言，在现有方法中表现最佳的方法是轻量级模型的YOLO MS-S，中等模型的YOLO MS ，通用模型的YOLOv7 AF，以及大型模型的YOLOv8-X。与轻量级和中等模型的YOLO MS相比，YOLOv9的参数减少约10%，计算减少5∼15%，但在AP方面仍有0.4∼0.6%的改善。与YOLOv7 AF相比，YOLOv9-C的参数减少了42%，计算减少了21%，但达到了相同的AP（53%）。与YOLOv8-X相比，YOLOv9-X的参数减少了15%，计算减少了25%，并且AP有显著提高，提高了1.7%。上述比较结果表明，YOLOv9在各个方面都比现有方法有了显著改进。

與最先進的即時目標偵測器進行比較

參與比較的方法都使用ImageNet作為預訓練權重，包括RT DETR 、RTMDet 和PP-YOLOE等。使用從頭開始訓練方法的YOLOv9顯然超過了其他方法的表現。

視覺化結果

#特徵圖（視覺化結果）： 由PlainNet 、ResNet、CSPNet和GELAN在不同深度上的隨機初始權重輸出。在100層後，ResNet開始產生足夠混淆目標資訊的前饋輸出。這裡提出的GELAN在第150層仍然可以保留相當完整的訊息，並且在第200層仍然具有足夠的區分能力。

GELAN和YOLOv9（GELAN PGI）的PAN特徵圖（視覺化結果）：在進行一輪偏壓預熱後。 GELAN最初存在一些分歧，但在添加了PGI的可逆分支後，它更能夠集中註意力於目標對象。

不同網路架構的隨機初始權重輸出特徵圖的視覺化結果： （a）輸入影像，(b) PlainNet，（c）ResNet，（d）CSPNet 與（e）所提出的GELAN。從圖中可以看出，在不同的架構中，提供給目標函數計算損失的信息程度不同，而我們的架構可以保留最完整的信息，並為計算目標函數提供最可靠的梯度信息。

結論

本文提出使用PGI來解決資訊瓶頸問題以及深度監督機制不適用於輕量級神經網路的問題。設計了GELAN，這是一個高效且輕量級的神經網路。在目標偵測方面，GELAN在不同的運算模組和深度設定下表現出強大而穩定的效能。它確實可以廣泛擴展為適用於各種推斷設備的模型。針對上述兩個問題，引進PGI使得輕量級模型和深度模型都能在準確度上取得顯著改善。透過結合PGI和GELAN設計的YOLOv9展現了強大的競爭力。其優秀的設計使得深度模型在與YOLOv8相比，參數數量減少了49％，計算量減少了43％，但在MS COCO資料集上仍然實現了0.6％的AP改善。

原文連結：https://mp.weixin.qq.com/s/nP4JzVwn1S-MeKAzbf97uw