ICCV 2023 Oral | 오픈 월드에서 테스트 세그먼트 교육을 수행하는 방법은 무엇입니까? 동적 프로토타입 확장을 기반으로 한 자가 훈련 방법-일체 포함-php.cn

시각 기반 인식 방법의 구현을 촉진할 때 모델의 일반화 능력을 향상시키는 것이 중요한 기반입니다. 테스트 시간 훈련/적응(Test-Time Training/Adaptation)은 테스트 단계에서 모델 매개변수 가중치를 조정하여 모델이 알 수 없는 대상 도메인 데이터 분포에 적응할 수 있도록 합니다. 기존 TTT/TTA 방법은 일반적으로 폐쇄된 환경의 대상 도메인 데이터에서 테스트 세그먼트 훈련 성능을 향상시키는 데 중점을 둡니다. 그러나 많은 응용 시나리오에서 대상 도메인은 강력한 도메인 외부 데이터(Strong OOD)에 의해 쉽게 오염됩니다. 예를 들어 의미상 관련이 없는 데이터 카테고리입니다. OWTTT(Open World Test Segment Training)라고도 하는 이 경우 기존 TTT/TTA는 일반적으로 강력한 도메인 외부 데이터를 알려진 카테고리로 강제 분류하여 궁극적으로 다음과 같은 약한 도메인 외부 데이터(Weak OOD)를 방해합니다. 소음으로 인해 방해받는 이미지의 인식 능력

최근 남중국 공과대학과 A*STAR 팀은 처음으로 오픈 월드 테스트 세그먼트 훈련 설정을 제안하고 해당 훈련 방법을 출시했습니다

ICCV 2023 Oral | 如何在开放世界进行测试段训练？基于动态原型扩展的自训练方法

이 기사의 방법은 5개의 서로 다른 OWTTT 벤치마크에서 최적의 성능을 달성하고, 보다 강력한 TTT 방법을 탐색하기 위한 TTT에 대한 후속 연구에 새로운 방향을 제공합니다. 해당 연구는 ICCV 2023에 구두 논문으로 승인되었습니다.

소개

테스트 세그먼트 훈련(TTT)은 추론 단계 중에만 대상 도메인 데이터에 액세스하고 분포 이동 테스트 데이터에 대해 즉석 추론을 수행할 수 있습니다. TTT의 성공은 인위적으로 선택된 다수의 합성 손상된 대상 도메인 데이터에서 입증되었습니다. 그러나 기존 TTT 방법의 기능 경계는 완전히 탐색되지 않았습니다.

개방형 시나리오에서 TTT 애플리케이션을 홍보하기 위해 연구 초점은 TTT 방법이 실패할 수 있는 시나리오 조사로 옮겨졌습니다. 보다 현실적인 개방형 환경에서 안정적이고 강력한 TTT 방법을 개발하기 위해 많은 노력이 이루어졌습니다. 이 작업에서 우리는 일반적이지만 간과되는 개방형 시나리오를 조사합니다. 여기서 대상 도메인에는 소스 도메인과 다른 의미 범주 또는 단순히 무작위 노이즈와 같이 상당히 다른 환경에서 가져온 테스트 데이터 분포가 포함될 수 있습니다.

위의 테스트 데이터를 Strong Out-of-Distribution Data(강한 OOD)라고 부릅니다. 본 연구에서 약한 OOD 데이터라고 불리는 것은 일반적인 합성 손상과 같은 분포 변화가 있는 테스트 데이터입니다. 따라서 이 실제 환경에 대한 기존 작업이 부족하기 때문에 우리는 테스트 데이터가 강력한 OOD 샘플로 오염되는 OWTTT(Open World Test Segment Training)의 견고성을 향상시키는 방법을 모색하게 됩니다. 그림 1: OWTTT 설정 하에서 기존 TTT 방법을 평가한 결과

그림 1과 같이 먼저 OWTTT 설정 하에서 기존 TTT 방법을 평가한 결과 self-training과 분포 정렬 TTT 방법은 강력한 OOD 샘플의 영향을 받습니다. 이러한 결과는 오픈 월드에서 기존 TTT 기술을 적용하는 것만으로는 안전한 테스트 훈련을 이룰 수 없음을 나타냅니다. 실패 이유는 다음 두 가지 때문입니다. ICCV 2023 Oral | 如何在开放世界进行测试段训练？基于动态原型扩展的自训练方法

자체 학습 기반 TTT는 알려진 클래스에 테스트 샘플을 할당해야 하기 때문에 강력한 OOD 샘플을 처리하는 데 어려움이 있습니다. 준지도 학습에 사용된 임계값을 적용하여 일부 신뢰도가 낮은 샘플을 필터링할 수 있지만 모든 강력한 OOD 샘플이 필터링된다는 보장은 없습니다.

대상 도메인 분포를 추정하기 위해 강력한 OOD 샘플을 계산할 때 분포 정렬 기반 방법이 영향을 받습니다. 전역 분포 정렬 [1]과 클래스 분포 정렬 [2] 모두 영향을 받을 수 있으며 특성 분포 정렬이 부정확해질 수 있습니다.

셀프 트레이닝 프레임워크 하에서 오픈 월드 TTT의 견고성을 향상시키기 위해 기존 TTT 방법의 실패에 대한 잠재적인 이유를 고려하고 두 기술을 결합한 솔루션을 제안했습니다
먼저 기준선을 확립하겠습니다. 즉, 원본 도메인 프로토타입을 대상 도메인의 클러스터링을 위한 클러스터 센터로 사용합니다. 거짓 의사 라벨로 인한 자가 학습의 강한 OOD 영향을 완화하기 위해 우리는 강한 OOD 샘플을 거부하는 초매개변수 없는 방법을 제안합니다
약한 OOD 샘플과 강한 OOD 샘플의 특징을 더 분리하기 위해 프로토타입 풀링을 통해 선택에 따라 강력한 OOD 샘플 확장. 따라서 자체 훈련을 통해 강력한 OOD 샘플이 새로 확장된 강력한 OOD 프로토타입 주위에 긴밀한 클러스터를 형성할 수 있습니다. 이렇게 하면 소스 도메인과 대상 도메인 간의 배포 조정이 용이해집니다. 우리는 확증 편향의 위험을 줄이기 위해 글로벌 유통 조정을 통해 자체 교육을 정규화할 것을 제안합니다

마지막으로 오픈 월드 TTT 시나리오를 종합하기 위해 CIFAR10-C, CIFAR100-C, ImageNet-C, VisDA-C, ImageNet-R, Tiny-ImageNet, MNIST 및 SVHN 데이터 세트를 채택하고 데이터를 사용합니다. 약한 OOD로 설정하고 다른 사람들은 강력한 OOD에 대한 벤치마크 데이터 세트를 설정합니다. 우리는 이 벤치마크를 오픈 월드 테스트 세그먼트 트레이닝 벤치마크라고 부르며, 이를 통해 향후 더 많은 작업이 보다 현실적인 시나리오에서 테스트 세그먼트 트레이닝의 견고성에 초점을 맞추도록 장려할 수 있기를 바랍니다.

Method

논문은 4개 부분으로 나누어 제안된 방법을 소개합니다.

1) 오픈 월드 테스트 세그먼트의 훈련 작업 설정 개요입니다.
2) 사용 방법 소개
프로토타입 클러스터링은 데이터 세트의 샘플을 여러 카테고리로 클러스터링하는 데 사용되는 비지도 학습 알고리즘입니다. 프로토타입 클러스터링에서 각 범주는 하나 이상의 프로토타입으로 표시되며, 프로토타입은 데이터 세트의 샘플이거나 일부 규칙에 따라 생성될 수 있습니다. 프로토타입 클러스터링의 목표는 샘플과 해당 카테고리의 프로토타입 사이의 거리를 최소화하여 클러스터링을 달성하는 것입니다. 일반적인 프로토타입 클러스터링 알고리즘에는 K-평균 클러스터링 및 가우스 혼합 모델이 포함됩니다. 이러한 알고리즘은 데이터 마이닝, 패턴 인식 및 이미지 처리와 같은 분야에서 널리 사용됩니다. TTT 구현 및 오픈 월드 테스트 시간 훈련을 위해 프로토타입을 확장하는 방법.
3) 대상 도메인 데이터를
다시 작성해야 하는 콘텐츠는 동적 프로토타입 확장에 사용하는 방법을 소개합니다.
4) 프로토타입 클러스터링을 통한
Distribution Alignment 소개는 데이터 세트의 샘플을 여러 범주로 클러스터링하는 데 사용되는 비지도 학습 알고리즘입니다. 프로토타입 클러스터링에서 각 범주는 하나 이상의 프로토타입으로 표시되며, 프로토타입은 데이터 세트의 샘플이거나 일부 규칙에 따라 생성될 수 있습니다. 프로토타입 클러스터링의 목표는 샘플과 해당 카테고리의 프로토타입 사이의 거리를 최소화하여 클러스터링을 달성하는 것입니다. 일반적인 프로토타입 클러스터링 알고리즘에는 K-평균 클러스터링 및 가우스 혼합 모델이 포함됩니다. 데이터 마이닝, 패턴 인식, 이미지 처리 등의 분야에서 널리 사용되는 이러한 알고리즘이 결합되어 강력한 오픈 월드 테스트 시간 교육이 가능해졌습니다.

다시 작성해야 하는 콘텐츠는 다음과 같습니다. 그림 2: 메서드 개요 다이어그램

작업 설정
TTT의 목표는 소스 도메인 사전 훈련된 모델을 대상 도메인에 적용하는 것입니다. , 여기서 대상 도메인은 상대적으로 원본 도메인에 배포 마이그레이션이 있습니다. 표준 폐쇄형 TTT에서는 소스 도메인과 대상 도메인의 레이블 공간이 동일합니다. 그러나 오픈 월드 TTT에서는 대상 도메인의 레이블 공간에 원본 도메인의 대상 공간이 포함되어 있습니다. 이는 대상 도메인에 보이지 않는 새로운 의미 범주가 있음을 의미합니다.
TTT 정의 간의 혼란을 피하기 위해 TTAC를 채택합니다[2] 제안된 순차 테스트 시간 훈련(sTTT) 프로토콜이 평가됩니다. sTTT 프로토콜에 따라 테스트 샘플은 순차적으로 테스트되고 작은 배치의 테스트 샘플을 관찰한 후 모델 업데이트가 수행됩니다. 타임스탬프 t에 도착하는 테스트 샘플에 대한 예측은 t+k(k가 0보다 큼)에 도착하는 테스트 샘플의 영향을 받지 않습니다.

프로토타입 클러스터링은 데이터 세트의 샘플을 여러 범주로 클러스터링하는 데 사용되는 비지도 학습 알고리즘입니다. 프로토타입 클러스터링에서 각 범주는 하나 이상의 프로토타입으로 표시되며, 프로토타입은 데이터 세트의 샘플이거나 일부 규칙에 따라 생성될 수 있습니다. 프로토타입 클러스터링의 목표는 샘플과 해당 카테고리의 프로토타입 사이의 거리를 최소화하여 클러스터링을 달성하는 것입니다. 일반적인 프로토타입 클러스터링 알고리즘에는 K-평균 클러스터링 및 가우스 혼합 모델이 포함됩니다. 이러한 알고리즘은 데이터 마이닝, 패턴 인식 및 이미지 처리와 같은 분야에서 널리 사용됩니다.
도메인 적응 작업에서 클러스터링을 사용하는 작업[3,4]에서 영감을 받아 테스트 세그먼트 훈련을 대상 도메인 데이터 구조에서 클러스터를 발견하는 것으로 처리합니다. . 대표 프로토타입을 클러스터 중심으로 식별함으로써 클러스터 구조가 대상 도메인에서 식별되고 테스트 샘플이 프로토타입 중 하나 근처에 포함되도록 권장됩니다. 프로토타입 클러스터링은 데이터 세트의 샘플을 여러 범주로 클러스터링하는 데 사용되는 비지도 학습 알고리즘입니다. 프로토타입 클러스터링에서 각 범주는 하나 이상의 프로토타입으로 표시되며, 프로토타입은 데이터 세트의 샘플이거나 일부 규칙에 따라 생성될 수 있습니다. 프로토타입 클러스터링의 목표는 샘플과 해당 카테고리의 프로토타입 사이의 거리를 최소화하여 클러스터링을 달성하는 것입니다. 일반적인 프로토타입 클러스터링 알고리즘에는 K-평균 클러스터링 및 가우스 혼합 모델이 포함됩니다. 데이터 마이닝, 패턴 인식, 이미지 처리 등의 분야에서 널리 사용되는 이러한 알고리즘의 목표는 그림과 같이 샘플과 클러스터 중심 간의 코사인 유사성의 음의 로그 우도 손실을 최소화하는 것으로 정의됩니다. 다음 방정식.

우리는 모델 가중치 조정의 부정적인 영향을 피하기 위해 강한 OOD 샘플을 필터링하는 초매개변수 없는 방법을 개발했습니다. 구체적으로 다음 방정식에 표시된 것처럼 각 테스트 샘플에 대한 강력한 OOD 점수 os를 소스 도메인 프로토타입과의 가장 높은 유사성으로 정의합니다.
그림 3 이중 피크 분포
그림 3과 같이 이탈 값이 이중 피크 분포를 따르는 것을 관찰합니다. 따라서 고정된 임계값을 지정하는 대신 두 분포를 구분하는 가장 좋은 값으로 최적 임계값을 정의합니다. 구체적으로 문제는 이상값을 두 개의 클러스터로 나누는 것으로 공식화될 수 있으며 최적의 임계값은 에서 클러스터 내 분산을 최소화합니다. 다음 방정식의 최적화는 0.01 단계에서 0부터 1까지 가능한 모든 임계값을 철저하게 검색하여 효율적으로 달성할 수 있습니다.

다시 작성해야 할 사항은 다음과 같습니다. 동적 프로토타입 확장

강한 OOD 프로토타입 풀을 확장하려면 테스트 샘플을 평가하기 위해 소스 도메인과 강력한 OOD 프로토타입을 모두 고려해야 합니다. 데이터로부터 클러스터 수를 동적으로 추정하기 위해 이전 연구에서도 유사한 문제를 조사했습니다. 결정론적 하드 클러스터링 알고리즘 DP-평균[5]은 알려진 클러스터 중심까지 데이터 포인트의 거리를 측정하여 개발되었으며, 거리가 임계값을 초과하면 새로운 클러스터가 초기화됩니다. DP-평균은 K-평균 목표를 최적화하는 것과 동일하지만 클러스터 수에 대한 추가 페널티가 있어 재작성이 필요한 동적 프로토타입 확장을 위한 실행 가능한 솔루션을 제공하는 것으로 나타났습니다.

추가 하이퍼파라미터 추정의 어려움을 완화하기 위해 먼저 기존 소스 도메인 프로토타입과 강한 OOD 프로토타입에 가장 가까운 거리로 확장된 강한 OOD 점수를 갖는 테스트 샘플을 다음과 같이 정의합니다. 따라서 이 임계값을 초과하는 샘플을 테스트하면 새로운 프로토타입이 구축됩니다. 근처에 테스트 샘플을 추가하지 않기 위해 이 프로토타입 확장 프로세스를 점진적으로 반복합니다.
다른 강력한 OOD 프로토타입이 식별되어 샘플 테스트를 위한 프로토타입을 정의했습니다. 클러스터링은 데이터 세트의 샘플을 여러 범주로 클러스터링하는 데 사용되는 비지도 학습 알고리즘입니다. 프로토타입 클러스터링에서 각 범주는 하나 이상의 프로토타입으로 표시되며, 프로토타입은 데이터 세트의 샘플이거나 일부 규칙에 따라 생성될 수 있습니다. 프로토타입 클러스터링의 목표는 샘플과 해당 카테고리의 프로토타입 사이의 거리를 최소화하여 클러스터링을 달성하는 것입니다. 일반적인 프로토타입 클러스터링 알고리즘에는 K-평균 클러스터링 및 가우스 혼합 모델이 포함됩니다. 이러한 알고리즘은 데이터 마이닝, 패턴 인식 및 이미지 처리와 같은 분야에서 널리 사용됩니다. 손실은 두 가지 요소를 고려합니다. 첫째, 알려진 클래스로 분류된 테스트 샘플은 프로토타입에 더 가깝고 다른 프로토타입과는 멀리 떨어져 있어야 하며, 이는 K-클래스 분류 작업을 정의합니다. 둘째, 강력한 OOD 프로토타입으로 분류된 테스트 샘플은 K+1 클래스 분류 작업을 정의하는 소스 도메인 프로토타입과 멀리 떨어져 있어야 합니다. 이러한 목표를 염두에 두고 데이터세트의 샘플을 개별 범주로 클러스터링하는 데 사용되는 비지도 학습 알고리즘인 클러스터링의 프로토타입을 작성했습니다. 프로토타입 클러스터링에서 각 범주는 하나 이상의 프로토타입으로 표시되며, 프로토타입은 데이터 세트의 샘플이거나 일부 규칙에 따라 생성될 수 있습니다. 프로토타입 클러스터링의 목표는 샘플과 해당 카테고리의 프로토타입 사이의 거리를 최소화하여 클러스터링을 달성하는 것입니다. 일반적인 프로토타입 클러스터링 알고리즘에는 K-평균 클러스터링 및 가우스 혼합 모델이 포함됩니다. 이러한 알고리즘은 데이터 마이닝, 패턴 인식, 이미지 처리 등의 분야에서 널리 사용됩니다. 손실은 다음 공식으로 정의됩니다.

Distribution Alignment Constraints

자가 훈련은 잘못된 의사 레이블에 취약하다는 것이 잘 알려져 있습니다. 대상 도메인이 OOD 샘플로 구성되면 상황은 더욱 악화됩니다. 실패 위험을 줄이기 위해 다음과 같이 자가 훈련을 위한 정규화로 분포 정렬 [1]을 추가로 사용합니다.

Experiments

저희는 손상된 합성 데이터세트와 스타일이 다양한 데이터세트를 포함한 5개의 서로 다른 OWTTT 벤치마크 데이터세트를 테스트했습니다. 실험에서는 주로 약한 OOD 분류 정확도 ACCS, 강한 OOD 분류 정확도 ACCN 및 두 ACCH의 조화 평균이라는 세 가지 평가 지표를 사용합니다.      표 2 Cifar100-C 데이터 세트의 다양한 방법 성능
3 ImageNet-C 데이터 세트의 다양한 방법 성능
   표 4 다양한 방법의 성능 ImageNet-R 데이터 세트
                                                    ~               표 5 다양한 방법의 VisDA-C 데이터 세트의 성능
위 표에서 볼 수 있듯이 우리 방법은 VisDA-C 방법에 비해 크게 향상되었습니다. 거의 모든 데이터 세트에 대한 현재 최고의 방법을 사용하여 강력한 OOD 샘플을 효과적으로 식별하고 약한 OOD 샘플 분류에 미치는 영향을 줄일 수 있습니다. 우리의 방법은 오픈 월드 시나리오에서 더욱 강력한 TTT를 달성할 수 있습니다. 내용을 요약할 때 원래의 의미를 그대로 유지하고 언어를 중국어로 다시 작성해야 합니다
이 글에서는 OWTTT(Open World Test Segment Training)의 문제점과 설정을 처음으로 제안하며 기존의 문제점을 지적합니다. 의미론적 오프셋이 있는 강력한 OOD 샘플의 대상 도메인 데이터는 종종 어려움에 직면하며 위의 문제를 해결하기 위해 콘텐츠를 다시 작성해야 하는 자체 학습 방법이 제안됩니다. 우리는 이 연구가 TTT에 대한 후속 연구에 새로운 방향을 제공하여 보다 강력한 TTT 방법을 탐색할 수 있기를 바랍니다.
참고 자료:
[1] Yuejiang Liu, Parth Kothari, Bastien van Delft, Baptiste Bellot-Gurlet, Taylor Mordan 및 Alexandre Ttt++: 자기 감독형 시험 시간 훈련은 언제 실패하거나 성공합니까? 신경 정보 처리 시스템의 발전, 2021.
[2] Yongyi Su, Xun Xu, Kui Jia. 현실적인 테스트 시간 훈련 재검토: 고정 클러스터링을 통한 순차적 추론 및 적응, 2022년. .
[3] 탕후이와 지아쿠이. 차별적인 적대적 도메인 적응. AAAI Conference on Artificial Intelligence, 34권, 페이지 5940-5947, 2020

[4] 사이토 쿠니아키, 야마모토 쇼헤이, 우시쿠 요시타카, 하라다 타츠야 유럽 컨퍼런스에서. 컴퓨터 비전, 2018.

[5] 브라이언 쿨리스(Brian Kulis)와 마이클 I 조던(Michael I Jordan). k-평균 재검토: 베이지안 비모수적 방법을 통한 새로운 알고리즘. 2012년 머신러닝 국제 컨퍼런스에서