ConvNeXt V2는 가장 간단한 컨볼루션 아키텍처만을 사용하여 Transformer보다 성능이 열등하지 않습니다.

수십년 간의 기초 연구 끝에 시각적 인식 분야는 대규모 시각적 표현 학습의 새로운 시대를 열었습니다. 사전 훈련된 대규모 비전 모델은 기능 학습 및 비전 애플리케이션을 위한 필수 도구가 되었습니다. 시각적 표현 학습 시스템의 성능은 모델의 신경망 아키텍처, 네트워크 훈련에 사용되는 방법, 훈련 데이터라는 세 가지 주요 요소에 의해 크게 영향을 받습니다. 각 요인의 개선은 전체 모델 성능의 개선에 기여합니다.

신경망 아키텍처 설계의 혁신은 표현 학습 분야에서 항상 중요한 역할을 해왔습니다. ConvNet(컨벌루션 신경망 아키텍처)은 컴퓨터 비전 연구에 큰 영향을 미쳤으며, 수동으로 구현된 기능 엔지니어링에 의존하지 않고도 다양한 시각적 인식 작업에서 범용 기능 학습 방법을 사용할 수 있게 되었습니다. 최근 몇 년 동안 원래 자연어 처리를 위해 개발된 변환기 아키텍처는 다양한 크기의 모델 및 데이터 세트에 대한 적합성으로 인해 다른 딥러닝 분야에서도 널리 사용되고 있습니다.

ConvNeXt 아키텍처의 출현은 기존 ConvNet을 현대화하여 순수 컨볼루션 모델이 모델 및 데이터 세트 크기의 변화에도 적응할 수 있음을 입증합니다. 그러나 신경망 아키텍처의 설계 공간을 탐색하는 가장 일반적인 방법은 여전히 ImageNet에서 지도 학습 성능을 벤치마킹하는 것입니다.

또 다른 아이디어는 시각적 표현 학습의 초점을 레이블 지정 지도 학습에서 자기 지도 사전 학습으로 전환하는 것입니다. 자기 지도 알고리즘은 마스크된 언어 모델링을 시야에 도입했으며 빠르게 시각적 표현 학습을 위한 인기 있는 방법이 되었습니다. 그러나 자기 지도 학습은 일반적으로 지도 학습용으로 설계된 아키텍처를 사용하며 아키텍처가 고정되어 있다고 가정합니다. 예를 들어 MAE(Masked Autoencoder)는 시각적 변환기 아키텍처를 사용합니다.

한 가지 방법은 이러한 아키텍처를 자기 지도 학습 프레임워크와 결합하는 것이지만 몇 가지 특정한 문제에 직면하게 됩니다. 예를 들어 ConvNeXt와 MAE를 결합하면 다음 문제가 발생합니다. MAE는 변환기의 시퀀스 처리 기능에 최적화된 특정 인코더-디코더 설계를 가지고 있어 계산 집약적인 인코더가 눈에 보이는 패치에 집중하게 하여 사전 훈련을 줄입니다. 소송 비용. 그러나 이 디자인은 조밀한 슬라이딩 윈도우를 사용하는 표준 ConvNet과 호환되지 않을 수 있습니다. 더욱이 아키텍처와 교육 목표 간의 관계를 고려하지 않으면 최적의 성과를 달성할 수 있는지 여부가 불분명합니다. 실제로 기존 연구에서는 마스크 기반 자기 지도 학습으로 ConvNet을 훈련시키는 것이 어렵다는 것을 보여주고 있으며, 실험적 증거에 따르면 Transformer와 ConvNet은 특징 학습에서 서로 다를 수 있으며 이는 최종 표현의 품질에 영향을 미칠 수 있습니다. ㅋㅋㅋ 이 프레임워크의 목적은 마스크 기반 자기 지도 학습을 ConvNeXt 모델에 적용하고 변환기와 비슷한 결과를 얻을 수 있도록 하는 것입니다. ㅋㅋㅋ , 희소 컨볼루션은 보이는 부분을 처리하는 데 사용됩니다. 이 아이디어는 대규모 3D 포인트 클라우드를 처리할 때 희소 컨볼루션을 사용하는 것에서 영감을 얻었습니다. 구체적으로, 이 연구에서는 희소 컨볼루션을 사용하여 ConvNeXt를 구현한 다음 미세 조정 중에 특별한 처리 없이 가중치를 표준 밀집 네트워크 계층으로 다시 변환할 수 있다고 제안합니다. 사전 훈련 효율성을 더욱 향상시키기 위해 이 연구에서는 변환기 디코더를 단일 ConvNeXt로 대체하여 전체 디자인을 완전히 컨벌루션으로 만듭니다. 연구원들은 이러한 변경 사항을 추가한 후 학습된 기능이 유용하고 기본 결과를 개선했지만 미세 조정된 성능은 여전히 변환기 기반 모델보다 열등하다는 것을 관찰했습니다.

그런 다음 연구에서는 다양한 학습 구성을 사용하여 ConvNeXt의 기능 공간을 분석했습니다. 연구원들은 마스킹된 입력에 대해 ConvNeXt를 직접 훈련할 때 MLP 계층에서 잠재적인 기능 붕괴 문제를 발견했습니다. 본 연구에서는 이러한 문제를 해결하기 위해 전역 응답 정규화 계층(Global Response Normalization layer)을 추가하여 채널 간 특성 경쟁을 강화하는 것을 제안합니다. 이 개선 사항은 마스크된 자동 인코더를 사용하여 모델을 사전 훈련할 때 가장 효과적입니다. 이는 지도 학습의 고정 아키텍처 설계를 재사용하는 것이 최선의 접근 방식이 아닐 수 있음을 시사합니다.

위의 개선 사항을 바탕으로 본 연구에서는 Masked Autoencoder와 결합 시 더 나은 성능을 보이는 ConvNeXt V2를 제안합니다. 동시에 연구원들은 ConvNeXt V2가 ImageNet의 분류 작업, COCO의 대상 탐지, ADE20K의 의미론적 분할을 포함한 다양한 다운스트림 작업에서 순수 ConvNet에 비해 상당한 성능 향상을 보인다는 사실을 발견했습니다.

방법 소개

Full Convolutional Masked Autoencoder

본 연구에서 제안하는 방법은 개념적으로 간단하며 전체 컨볼루션 방식을 기반으로 작동합니다. 학습 신호는 원본 시각적 입력을 높은 마스크 비율로 무작위로 마스킹한 다음 모델이 나머지 컨텍스트를 기반으로 누락된 부분을 예측하도록 하여 생성됩니다. 전체적인 프레임워크는 아래 그림과 같습니다.

프레임워크는 희소 컨볼루션 기반 ConvNeXt 인코더와 경량 ConvNeXt 디코더로 구성되며, 여기서 자동 인코더의 구조는 비대칭입니다. 인코더는 눈에 보이는 픽셀만 처리하는 반면, 디코더는 인코딩된 픽셀과 마스크 토큰을 사용하여 이미지를 재구성합니다. 동시에 손실은 마스크된 영역에서만 계산됩니다.

전역 반응 정규화

뇌에는 신경 다양성을 촉진하는 많은 메커니즘이 있습니다. 예를 들어, 측면 억제는 활성화된 뉴런의 반응을 향상시켜 자극에 대한 개별 뉴런의 대비와 선택성을 높이는 동시에 전체 뉴런 집단의 반응 다양성을 증가시키는 데 도움이 될 수 있습니다. 딥러닝에서는 이러한 형태의 측면 억제가 반응 정규화를 통해 달성될 수 있습니다. 이 연구에서는 채널 간의 대비와 선택성을 높이는 것을 목표로 하는 GRN(Global Response Normalization)이라는 새로운 응답 정규화 계층을 소개합니다. GRN 단위는 1) 전역 기능 집계, 2) 기능 정규화, 3) 기능 보정의 세 단계로 구성됩니다. 아래 그림과 같이 GRN 레이어를 원래 ConvNeXt 블록에 병합할 수 있습니다.

연구원들은 실험을 통해 GRN 적용 시 LayerScale이 필요하지 않고 삭제될 수 있다는 사실을 발견했습니다. 이 새로운 블록 설계를 활용하여 연구에서는 경량(Atto)에서 계산 집약적(Huge)에 이르기까지 ConvNeXt V2 모델 제품군이라고 하는 다양한 효율성과 용량을 갖춘 여러 모델을 만들었습니다.

GRN의 역할을 평가하기 위해 이 연구에서는 FCMAE 프레임워크를 사용하여 ConvNeXt V2를 사전 훈련했습니다. 아래 그림 3의 시각적 디스플레이와 그림 4의 코사인 거리 분석을 통해 ConvNeXt V2가 기능 붕괴 문제를 효과적으로 완화한다는 것을 알 수 있습니다. 코사인 거리 값은 지속적으로 높으며, 이는 네트워크 계층 전송 중에 특징의 다양성이 유지될 수 있음을 나타냅니다. 이는 MAE를 사용하여 사전 훈련된 ViT 모델과 유사합니다. 이는 ConvNeXt V2의 학습 동작이 유사한 마스크 이미지 사전 학습 프레임워크에서 ViT와 유사하다는 것을 보여줍니다.

연구에서는 미세 조정 성능을 추가로 평가했으며 그 결과는 아래 표에 나와 있습니다.

GRN을 장착하면 FCMAE 사전 훈련된 모델이 300 에포크를 사용하여 훈련된 지도 모델보다 훨씬 뛰어난 성능을 발휘할 수 있습니다. GRN은 마스크 기반 사전 훈련에 중요하고 ConvNeXt V1 모델에는 없는 기능 다양성을 향상하여 표현 품질을 향상시킵니다. 매개변수 오버헤드를 추가하거나 FLOPS를 늘리지 않고도 이러한 개선이 달성된다는 점은 주목할 가치가 있습니다.

마지막으로 이 연구에서는 사전 훈련 및 미세 조정에서 GRN의 중요성도 조사했습니다. 아래 표 2(f)에서 볼 수 있듯이 미세 조정에서 GRN을 제거하거나 미세 조정 중에 새로 초기화된 GRN을 추가하면 성능이 크게 떨어지므로 사전 훈련과 미세 조정 모두에서 GRN이 중요함을 나타냅니다.

관심 있는 독자는 논문의 원문을 읽고 더 많은 연구 세부 사항을 알아볼 수 있습니다.

위 내용은 ConvNeXt V2는 가장 간단한 컨볼루션 아키텍처만을 사용하여 Transformer보다 성능이 열등하지 않습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!