Tsinghua University가 인수하고 YOLOv10이 출시되었습니다. 성능이 크게 향상되어 GitHub 인기 목록에 올랐습니다.

표적 탐지 시스템의 벤치마크 YOLO 시리즈가 다시 한 번 대대적인 업그레이드를 받았습니다.

올해 2월 YOLOv9이 출시된 이후 YOLO(You Only Look Once) 시리즈의 바통은 칭화대학교 연구진의 손에 넘어갔습니다.

지난 주말 YOLOv10 출시 소식이 AI 커뮤니티의 주목을 끌었습니다. 컴퓨터 비전 분야의 획기적인 프레임워크로 간주되며 실시간 엔드투엔드 개체 감지 기능으로 유명하며 효율성과 정확성을 결합한 강력한 솔루션을 제공함으로써 YOLO 시리즈의 유산을 이어갑니다.

문서 주소: https://arxiv.org/pdf/2405.14458

프로젝트 주소: https://github.com/THU-MIG/yolov10

새 버전 이후 많은 분들이 배포 테스트를 진행해 좋은 결과를 얻었습니다.

YOLO는 강력한 성능과 낮은 소모량으로 인해 항상 실시간 표적 탐지 분야의 주요 패러다임이었습니다. 컴퓨팅 파워. 이 프레임워크는 자율 주행, 감시, 물류 등 다양한 실제 애플리케이션에 널리 사용됩니다. 효율적이고 정확한 물체 감지 기능은 보행자 및 차량 실시간 식별과 같은 작업에 이상적이며, 물류에서는 재고 관리 및 패키지 추적에 도움이 되며 AI 기능은 사람들이 많은 작업에서 효율성을 향상시키는 데 도움이 됩니다.

지난 몇 년 동안 연구자들은 YOLO의 아키텍처 설계, 최적화 목표, 데이터 향상 전략 등을 탐색하여 상당한 진전을 이루었습니다. 그러나 NMS(Non-Maximum Suppression)에 대한 사후 처리 의존도는 YOLO의 엔드투엔드 배포를 방해하고 추론 대기 시간에 부정적인 영향을 미칩니다. 더욱이 YOLO의 개별 구성 요소 설계에는 포괄적이고 철저한 조사가 부족하여 상당한 계산 중복이 발생하고 모델 기능이 제한됩니다.

YOLOv10의 획기적인 점은 후처리 및 모델 아키텍처 측면에서 YOLO의 성능 효율성 경계를 더욱 향상시키는 것입니다.

이를 위해 연구팀은 YOLO-free NMS 훈련을 위한 일관된 이중 할당(일관된 이중 할당)을 최초로 제안했으며, 이는 YOLO의 성능 및 추론 지연 시간을 향상시킵니다.

연구팀은 효율성과 정확성의 관점에서 YOLO의 각 구성 요소를 완전히 최적화하여 계산 오버헤드를 크게 줄이고 모델 기능을 향상시키는 YOLO에 대한 전반적인 효율성-정확성 중심 모델 설계 전략을 제안했습니다.

광범위한 실험을 통해 YOLOv10은 다양한 모델 규모에서 SOTA 성능과 효율성을 달성하는 것으로 나타났습니다. 예를 들어 YOLOv10-S는 COCO의 유사한 AP에서 RT-DETR-R18보다 1.8배 빠르며 매개변수 및 FLOP 수를 크게 줄입니다. YOLOv9-C와 비교하여 YOLOv10-B는 동일한 성능으로 대기 시간이 46% 더 적고 매개 변수가 25% 더 적습니다.

방법 소개

전체적인 효율성-정확도 중심의 모델 설계를 달성하기 위해 연구팀은 효율성과 정확성이라는 두 가지 측면에서 개선 방법을 제안했습니다.

본 연구에서는 효율성을 높이기 위해 경량 분류 헤드, 공간 채널(공간 채널) 분리 다운샘플링 및 순위 안내 블록 설계를 제안하여 명백한 계산 중복성을 줄이고 보다 효율적인 아키텍처를 달성합니다.

정확도를 높이기 위해 연구팀은 대규모 커널 컨볼루션을 탐색하고 모델 기능을 강화하고 저렴한 비용으로 성능 향상 가능성을 활용할 수 있는 효과적인 부분 자기 주의(PSA) 모듈을 제안했습니다. 이러한 방법을 기반으로 팀은 다양한 규모의 일련의 실시간 엔드투엔드 감지기, 즉 YOLOv10-N/S/M/B/L/X를 성공적으로 구현했습니다.

NMS가 없는 교육을 위한 일관된 이중 할당

교육 중에 YOLO는 일반적으로 TAL을 활용하여 각 인스턴스에 여러 개의 양성 샘플을 할당합니다. 일대다 할당 접근 방식은 최적화를 촉진하고 모델이 우수한 성능을 달성할 수 있도록 하는 풍부한 감독 신호를 생성합니다.

그러나 이를 위해서는 YOLO가 NMS 후처리에 의존해야 하므로 배포 시 차선의 추론 효율성이 발생합니다. 이전 연구에서는 중복 예측을 억제하기 위해 일대일 일치를 탐색했지만 종종 추가 추론 오버헤드가 발생했습니다.

일대다 할당과 달리 일대일 매칭은 NMS 후처리를 피하고 각 실제 진실에 하나의 예측만 할당합니다. 그러나 이는 약한 감독으로 이어져 정확도와 수렴 속도가 이상적이지 않습니다. 다행스럽게도 이러한 결함은 일대다 할당으로 해결될 수 있습니다.

본 연구에서 제안하는 "이중 라벨 할당"은 위 두 가지 전략의 장점을 결합한 것입니다. 아래 그림과 같이 본 연구에서는 YOLO에 대한 또 다른 일대일 머리를 소개한다. 이는 원래의 일대다 분기와 동일한 구조를 유지하고 동일한 최적화 목표를 채택하지만 일대일 일치를 활용하여 레이블 할당을 얻습니다. 훈련 중에 두 헤드는 추론 중에 풍부한 감독을 제공하기 위해 공동으로 최적화됩니다. YOLOv10은 일대다 헤드를 버리고 예측을 위해 일대일 헤드를 활용합니다. 이를 통해 추가 추론 비용을 발생시키지 않고 YOLO를 엔드 투 엔드로 배포할 수 있습니다.

전체 효율성-정확도 중심 모델 설계

후처리 외에도 YOLO의 모델 아키텍처는 효율성-정확도 균형에 큰 도전 과제를 제시합니다. 이전 연구에서는 다양한 디자인 전략을 탐구했지만 YOLO의 다양한 구성 요소에 대한 포괄적인 조사는 여전히 부족합니다. 따라서 모델 아키텍처는 무시할 수 없는 계산 중복성과 제한된 기능을 나타냅니다.

YOLO의 구성 요소에는 스템, 다운샘플링 레이어, 기본 빌딩 블록이 포함된 스테이지 및 헤드가 포함됩니다. 저자는 주로 다음 세 부분에 대해 효율성 중심의 모델 설계를 수행한다.

1. 경량 분류 헤드
2. 공간 채널 분리형 다운샘플링
3. 주문 안내 모듈 설계

정확도 기반 모델 설계를 달성하기 위해 연구팀은 d 채택한다 최소한의 비용으로 모델 성능을 향상시키는 대규모 커널 컨볼루션 및 self-attention 메커니즘입니다.

실험

표 1에서 볼 수 있듯이 Tsinghua 팀이 개발한 YOLOv10은 다양한 모델 규모에서 SOTA 성능과 종단 간 대기 시간을 달성했습니다.

이 연구에서는 YOLOv10-S 및 YOLOv10-M에 대한 절제 실험도 수행했습니다. 실험 결과는 다음 표와 같습니다.

다음 표와 같이 이중 레이블 할당이 달성되었습니다. 최고의 AP - 지연 시간 절충, 일관된 일치 측정항목을 통해 최적의 성능이 달성됩니다.

아래 표에 표시된 것처럼 경량 분류 헤드, 공간 채널 분리 다운샘플링 및 주문 안내 모듈 설계를 포함한 각 설계 구성 요소는 매개변수 수, FLOP 및 지연을 줄이는 데 기여합니다. 중요한 점은 뛰어난 성능을 유지하면서 이러한 개선이 이루어졌다는 것입니다.

정확도 기반 모델 설계를 위한 분석. 연구원들은 YOLOv10-S/M을 기반으로 정확도 중심 설계 요소를 단계적으로 통합한 결과를 제시합니다.

표 10에서 볼 수 있듯이 대형 코어 컨볼루션 및 PSA 모듈을 사용하면 YOLOv10-S의 성능이 각각 0.03ms 및 0.15ms의 최소 지연 증가로 0.4% AP 및 1.4% AP만큼 크게 향상되었습니다.