포스트소라 시대, 이력서 실무자들은 모델을 어떻게 선택하는가? 컨볼루션(ViT), 지도 학습 또는 CLIP 패러다임

ImageNet 정확도는 한때 모델 성능을 평가하는 주요 지표였지만 오늘날의 컴퓨팅 비전 분야에서는 이 지표가 점차 불완전해 보입니다.

컴퓨터 비전 모델이 더욱 복잡해짐에 따라 ConvNets에서 Vision Transformers에 이르기까지 사용 가능한 모델의 다양성이 크게 늘어났습니다. 학습 방법도 CLIP과 같은 자기 지도 학습 및 이미지-텍스트 쌍 학습으로 발전했으며 더 이상 ImageNet의 지도 학습에만 국한되지 않습니다.

ImageNet의 정확도는 중요한 지표이지만 모델의 성능을 완전히 평가하기에는 충분하지 않습니다. 다양한 아키텍처, 학습 방법 및 데이터 세트로 인해 모델이 다양한 작업에서 다르게 수행될 수 있으므로 ImageNet에만 의존하여 모델을 판단하는 데에는 한계가 있을 수 있습니다. 모델이 ImageNet 데이터 세트에 과적합되고 정확도가 포화 상태에 도달하면 다른 작업에 대한 모델의 일반화 능력이 무시될 수 있습니다. 따라서 모델의 성능과 적용 가능성을 평가하려면 여러 가지 요소를 고려해야 합니다.

CLIP의 ImageNet 정확도는 ResNet과 유사하지만 시각적 인코더는 더 강력하고 전송 가능합니다. 이로 인해 연구원들은 ImageNet 측정항목만 고려할 때 명확하지 않았던 CLIP의 고유한 장점을 탐색하게 되었습니다. 이는 유용한 모델을 발견하는 데 도움이 되는 다른 속성을 분석하는 것의 중요성을 강조합니다.

이 외에도 기존 벤치마크로는 다양한 카메라 각도, 조명 조건 또는 폐색과 같은 실제 시각적 문제를 처리하는 모델의 능력을 완전히 평가할 수 없습니다. ImageNet과 같은 데이터세트로 훈련된 모델은 실제 조건과 시나리오가 더 다양하기 때문에 실제 애플리케이션에서 성능을 활용하기 어려운 경우가 많습니다.

이러한 질문은 현장 실무자들에게 새로운 혼란을 가져왔습니다. 시각적 모델을 측정하는 방법은 무엇입니까? 필요에 맞는 시각적 모델을 선택하는 방법은 무엇입니까?

최근 논문에서 MBZUAI와 Meta의 연구자들은 이 문제에 대해 심도 있는 논의를 진행했습니다.

• 논문 제목: ConvNet vs Transformer, 감독 vs CLIP: Beyond ImageNet Accuracy
• 논문 링크: https://arxiv.org/pdf/2311.09215.pdf

이 연구는 ImageNet 정확도 이상의 모델 동작에 중점을 두고 감독 및 CLIP 교육 패러다임 성능에 따라 수행되는 ConvNeXt 및 ViT(Vision Transformer)를 포함하여 컴퓨터 비전 분야의 주요 모델 성능을 분석합니다.

선택한 모델은 각 훈련 패러다임에 따라 ImageNet-1K에서 비슷한 수의 매개변수와 거의 동일한 정확도를 가지므로 공정한 비교가 가능합니다. 연구진은 추가적인 훈련이나 미세 조정 없이 모델의 특성에 초점을 맞춰 예측 오류 유형, 일반화 능력, 학습된 표현의 불변성, 보정 등과 같은 일련의 모델 특성을 심층적으로 탐색했으며, 직접적인 참고 자료 제공을 기대하고 있습니다. 사전 훈련된 모델을 사용하는 실무자.

분석에서 연구원들은 다양한 아키텍처와 교육 패러다임에 걸쳐 모델 동작에 상당한 차이가 있음을 발견했습니다. 예를 들어, CLIP 패러다임으로 훈련된 모델은 ImageNet에서 훈련된 모델보다 분류 오류가 더 적습니다. 그러나 지도 모델은 더 잘 보정되어 있으며 일반적으로 ImageNet 견고성 벤치마크보다 성능이 뛰어납니다. ConvNeXt는 합성 데이터에 이점이 있지만 ViT보다 텍스처 지향적입니다. 한편, 감독된 ConvNeXt는 많은 벤치마크에서 좋은 성능을 발휘하며 CLIP 모델과 비슷한 전송 성능을 제공합니다.

다양한 모델들이 각자의 장점을 독특한 방식으로 발휘하고 있다는 것을 알 수 있는데, 이러한 장점은 하나의 지표로는 다 담을 수 없습니다. 연구원들은 특정 상황에서 모델을 정확하게 선택하고 ImageNet에 구애받지 않는 새로운 벤치마크를 생성하려면 보다 자세한 평가 지표가 필요하다고 강조합니다.

이러한 관찰을 바탕으로 Meta AI 수석 과학자 Yann LeCun은 이 연구를 리트윗하고 좋아요를 표시했습니다.

모델 선택

지도 모델의 경우 연구원들은 ViT-Base/16과 동일한 아키텍처를 가지고 있지만 훈련 방법이 개선된 ViT의 사전 훈련된 DeiT3-Base/16을 사용했습니다. - 베이스를 사용하였습니다. CLIP 모델의 경우 연구원들은 OpenCLIP에서 ViT-Base/16 및 ConvNeXt-Base의 시각적 인코더를 사용했습니다.

이 모델의 성능은 원래 OpenAI 모델과 약간 다릅니다. 모든 모델 체크포인트는 GitHub 프로젝트 홈페이지에서 찾을 수 있습니다. 자세한 모델 비교는 표 1에 나와 있습니다.

모델 선택 과정에 대해 연구원은 다음과 같이 자세히 설명했습니다.

1 연구원은 사전 훈련된 모델을 사용하기 때문에 제어할 수 없습니다. 훈련 기간. 본 데이터 샘플의 양과 질.

2. ConvNet과 Transformer를 분석하기 위해 이전의 많은 연구에서 ResNet과 ViT를 비교했습니다. ViT는 일반적으로 고급 레시피로 훈련되고 더 높은 ImageNet 정확도를 달성하므로 이 비교는 일반적으로 ConvNet에 도움이 되지 않습니다. ViT에는 몇 년 전 ResNet이 발명되었을 때 포함되지 않았던 LayerNorm과 같은 일부 아키텍처 디자인 요소도 있습니다. 따라서 보다 균형 잡힌 평가를 위해 ViT를 Transformers와 동등한 성능을 발휘하고 많은 디자인을 공유하는 ConvNet의 현대 대표인 ConvNeXt와 비교했습니다.

3. 훈련 모드 측면에서 연구진은 감독 모드와 CLIP 모드를 비교했습니다. 지도 모델은 컴퓨터 비전 분야에서 최첨단 성능을 유지해 왔습니다. 반면 CLIP 모델은 일반화 및 전달 가능성 측면에서 우수한 성능을 발휘하며 시각적 표현과 언어적 표현을 연결하는 속성을 제공합니다.

4. 예비 테스트에서 자기 지도 모델은 지도 모델과 유사한 동작을 보여 결과에 포함되지 않았습니다. 이는 ImageNet-1K에서 미세 조정을 감독하게 되었기 때문에 많은 기능 연구에 영향을 미치기 때문일 수 있습니다.

다음으로 연구자들이 다양한 속성을 어떻게 분석했는지 살펴보겠습니다.

Analytics

Model Error

ImageNet-X는 ImageNet-1K를 확장하고 이미지를 분류하기 위한 16가지 변화 요인에 대한 자세한 사람 주석이 포함된 데이터 세트입니다. 모델 오류에 대한 심층 분석을 수행합니다. 안에 . 오류 비율 측정항목(낮을수록 좋음)을 사용하여 전체 정확도와 관련하여 특정 요소에 대한 모델 성능을 정량화하므로 모델 오류에 대한 미묘한 분석이 가능합니다. ImageNet-X 결과:

1. 지도 모델에 비해 CLIP 모델은 ImageNet 정확도에서 오류가 더 적습니다.

2. 모든 모델은 주로 교합과 같은 복잡한 요인의 영향을 받습니다.

3. 질감은 모든 모델 중에서 가장 까다로운 요소입니다.

모양/질감 편향

모양-질감 편향은 모델이 높은 수준의 모양 단서 대신 취약한 질감 바로가기에 의존하는지 여부를 감지합니다. 이러한 편향은 다양한 범주의 모양과 질감의 단서 충돌 이미지를 결합하여 연구할 수 있습니다. 이 접근 방식은 모델의 결정이 질감과 비교하여 모양을 어느 정도 기준으로 하는지 이해하는 데 도움이 됩니다. 연구자들은 큐 충돌 데이터 세트에 대한 모양-텍스처 편향을 평가한 결과 CLIP 모델의 텍스처 편향이 지도 모델보다 작은 반면 ViT 모델의 모양 편향은 ConvNets보다 높다는 것을 발견했습니다.

모델 보정

보정은 모델의 예측 신뢰도가 실제 정확도와 일치하는지 여부를 정량화할 수 있으며, 이는 예상 보정 오류(ECE)와 같은 지표를 통해 측정할 수 있습니다. 신뢰도 도표 및 신뢰도 히스토그램 평가를 위한 시각적 도구. ImageNet-1K 및 ImageNet-R에서 보정을 평가하여 예측을 15개 수준으로 분류했습니다. 실험 중에 연구원들은 다음 사항을 관찰했습니다.

1. CLIP 모델은 자신감이 넘치는 반면 지도 모델은 약간 자신감이 부족합니다.

2. Supervised ConvNeXt는 Supervised ViT보다 더 나은 보정을 수행합니다.

견고성 및 전송 가능성

모델 견고성과 전송 가능성은 데이터 배포 및 새로운 작업의 변화에 ​​적응하는 데 중요합니다. 연구원들은 다양한 ImageNet 변형을 사용하여 견고성을 평가했으며 ViT 및 ConvNeXt 모델의 평균 성능은 비슷했지만 ImageNet-R 및 ImageNet-Sketch를 제외하고 감독 모델은 일반적으로 견고성 측면에서 CLIP보다 성능이 우수하다는 사실을 발견했습니다. 전송 가능성 측면에서 감독된 ConvNeXt는 ViT보다 성능이 뛰어나며 19개 데이터 세트를 사용하는 VTAB 벤치마크에서 평가한 바와 같이 CLIP 모델의 성능과 거의 동등합니다.

합성 데이터

PUG-ImageNet 및 기타 합성 데이터 세트는 카메라 각도 및 질감과 같은 요소를 정확하게 제어할 수 있는 유망한 연구 경로이므로 연구진은 합성에서 모델의 사용을 분석했습니다. 데이터 성능. PUG-ImageNet에는 포즈, 조명 등의 요소가 체계적으로 변화하는 사실적인 ImageNet 이미지가 포함되어 있으며 성능은 절대 상위 1위 정확도로 측정됩니다. 연구원들은 PUG-ImageNet의 다양한 요소에 대한 결과를 제공하고 ConvNeXt가 거의 모든 요소에서 ViT보다 성능이 우수하다는 것을 발견했습니다. 이는 ConvNeXt가 합성 데이터에서 ViT보다 성능이 뛰어난 반면, CLIP 모델의 정확도가 지도 모델보다 낮기 때문에 CLIP 모델의 격차가 더 작다는 것을 보여줍니다. 이는 원래 ImageNet의 낮은 정확도와 관련이 있을 수 있습니다.

변환 불변성

변환 불변성은 크기 조정이나 이동과 같은 입력 변환의 영향을 받지 않고 의미 체계를 유지하는 일관된 표현을 생성하는 모델의 능력을 나타냅니다. 이 속성을 사용하면 모델이 다르지만 의미상 유사한 입력에 대해 잘 일반화할 수 있습니다. 사용되는 방법에는 크기 불변성을 위해 이미지 크기 조정, 위치 불변성을 위해 작물 이동, 보간된 위치 임베딩을 사용하여 ViT 모델의 해상도 조정 등이 있습니다.

그들은 자르기 크기/위치 및 이미지 해상도를 변경하여 ImageNet-1K에서 크기, 동작 및 해상도 불변성을 평가했습니다. ConvNeXt는 감독 훈련에서 ViT보다 성능이 뛰어납니다. 전반적으로 모델은 움직임보다 규모/해상도 변환에 더 강력합니다. 스케일링, 변위 및 해상도에 대한 높은 견고성을 요구하는 애플리케이션의 경우 결과는 감독된 ConvNeXt가 최선의 선택일 수 있음을 시사합니다.

요약

전반적으로 각 모델에는 고유한 장점이 있습니다. 이는 표준 성능 지표가 특정 작업의 중요한 미묘한 차이를 무시할 수 있으므로 모델 선택이 대상 사용 사례에 따라 달라져야 함을 의미합니다. 더욱이 기존의 많은 벤치마크는 ImageNet에서 파생되었으며 이로 인해 평가가 편향되기도 합니다. 보다 실제적인 대표 환경에서 모델을 평가하려면 다양한 데이터 분포를 사용하여 새로운 벤치마크를 개발하는 것이 중요합니다.

다음은 이 기사의 결론을 요약한 것입니다.

ConvNet with Transformer

1. 많은 벤치마크에서 Supervised ConvNeXt가 ViT보다 성능이 뛰어납니다. 데이터 변환이 가능하며 더 나은 이식성과 견고성을 보여줍니다.

2. ConvNeXt는 합성 데이터에서 ViT보다 성능이 뛰어납니다.

3. ViT는 모양 편차가 더 큽니다.

Supervision vs. CLIP

1. CLIP 모델은 전송성 측면에서 우수하지만 Supervised ConvNeXt는 이 작업에서 경쟁력 있는 성능을 발휘합니다. 이는 지도 모델의 잠재력을 보여줍니다.

2. 감독 모델은 견고성 벤치마크에서 더 나은 성능을 발휘합니다. 이는 아마도 이러한 모델이 모두 ImageNet 변형이기 때문일 것입니다.

3. CLIP 모델은 ImageNet의 정확도에 비해 모양 편향이 더 크고 분류 오류가 더 적습니다.