동적 프로토타입 확장 기능을 갖춘 자체 학습 방법을 사용하여 오픈 월드 테스트 세그먼트에 대한 학습 기술을 살펴보세요.

모델의 일반화 능력을 향상시키는 것은 비전 기반 인식 방법의 구현을 촉진하는 중요한 기반입니다. 테스트 시간 훈련/적응은 테스트 섹션 데이터 배포 세그먼트에서 모델 매개변수 가중치를 조정하여 알 수 없는 대상 도메인에 모델을 일반화합니다. . 기존 TTT/TTA 방법은 일반적으로 폐쇄 루프 세계의 대상 도메인 데이터에서 테스트 세그먼트 훈련 성능을 향상시키는 데 중점을 둡니다.

그러나 많은 응용 시나리오에서 대상 도메인은 의미 범주와 관련 없는 데이터와 같은 강력한 도메인 외부 데이터(Strong OOD)로 쉽게 오염됩니다. 이 시나리오는 OWTTT(Open World Test Segment Training)라고도 합니다. 이 경우 기존 TTT/TTA는 일반적으로 강력한 도메인 외부 데이터를 알려진 카테고리로 강제로 분류함으로써 궁극적으로 간섭을 받는 이미지와 같은 약한 도메인 외부 데이터(Weak OOD)를 해결하는 기능을 방해합니다. by Noise

최근 남중국 공과대학과 A*STAR 팀은 처음으로 개방형 테스트 세그먼트 훈련 설정을 제안하고 해당 훈련 방법을 출시했습니다

• 문서: https //arxiv.org/abs/2308.09942
• Code: https://github.com/Yushu-Li/OWTTT

본 논문은 먼저 강력한 도메인 외부 데이터 샘플 필터링 방법을 제안합니다. 견고성의 개방형 세계에서 자가 훈련 TTT 방법을 개선하기 위한 적응형 임계값입니다. 이 방법은 약한/강한 도메인 외부 데이터 분리 효과를 향상시키기 위해 동적으로 확장된 프로토타입을 기반으로 강한 도메인 외부 샘플을 특성화하는 방법을 추가로 제안합니다. 마지막으로, self-training은 분포 정렬에 의해 제한됩니다

이 연구의 방법은 5개의 서로 다른 OWTTT 벤치마크에서 최고의 성능을 달성했으며 TTT에 대한 후속 연구를 위한 보다 강력한 TTT 방법에 대한 새로운 방향을 열었습니다. 본 연구는 ICCV 2023에서 구두 발표 논문으로 채택되었습니다.

소개

테스트 세그먼트 트레이닝(TTT)은 추론 단계에서만 대상 도메인 데이터에 접근하고 분포 이동에 대한 즉석 추론을 수행할 수 있습니다. 테스트 데이터. TTT의 성공은 인위적으로 선택된 다수의 합성 손상된 대상 도메인 데이터에서 입증되었습니다. 그러나 기존 TTT 방법의 기능 경계는 완전히 탐색되지 않았습니다.

개방형 시나리오에서 TTT 애플리케이션을 홍보하기 위해 연구의 초점은 TTT 방법이 실패할 수 있는 시나리오 조사로 옮겨졌습니다. 보다 현실적인 개방형 환경에서 안정적이고 강력한 TTT 방법을 개발하기 위해 많은 노력이 이루어졌습니다. 이 작업에서 우리는 일반적이지만 간과되는 개방형 시나리오를 조사합니다. 여기서 대상 도메인에는 소스 도메인과 다른 의미 범주 또는 단순히 무작위 노이즈와 같이 상당히 다른 환경에서 가져온 테스트 데이터 분포가 포함될 수 있습니다.

위의 테스트 데이터를 Strong Out-of-Distribution Data(강한 OOD)라고 부릅니다. 본 연구에서 약한 OOD 데이터라고 불리는 것은 일반적인 합성 손상과 같은 분포 변화가 있는 테스트 데이터입니다. 따라서 이 실제 환경에 대한 기존 작업이 부족하기 때문에 테스트 데이터가 강력한 OOD 샘플로 오염되는 OWTTT(Open World Test Segment Training)의 견고성을 향상시키는 방법을 모색하게 됩니다.

그림 1: OWTTT 설정 하에서 기존 TTT 방법의 평가 결과

그림 1과 같이 먼저 OWTTT 설정 하에서 기존 TTT 방법을 평가한 결과 두 TTT 방법 모두 자체를 통해 - 훈련 및 분포 정렬은 강력한 OOD 샘플에 의해 영향을 받습니다. 이러한 결과는 기존 TTT 기술을 적용하면 개방형 환경에서 안전한 테스트 시간 훈련을 달성할 수 없음을 보여줍니다. 우리는 그들의 실패 원인을 다음 두 가지로 봅니다.

• 자체 학습 기반 TTT는 테스트 샘플을 알려진 카테고리에 할당해야 하기 때문에 강력한 OOD 샘플을 처리하는 데 어려움이 있습니다. 준지도 학습에 사용된 임계값을 적용하여 일부 신뢰도가 낮은 샘플을 필터링할 수 있지만 모든 강력한 OOD 샘플이 필터링된다는 보장은 없습니다.
• 대상 도메인 분포를 추정하기 위해 강력한 OOD 샘플을 계산할 때 분포 정렬 기반 방법이 영향을 받습니다. 전역 분포 정렬 [1]과 클래스 분포 정렬 [2] 모두 영향을 받을 수 있으며 특성 분포 정렬이 부정확해질 수 있습니다.

기존 TTT 방법의 잠재적인 실패 원인을 해결하기 위해 두 가지 기술을 결합하여 자체 학습 프레임워크 하에서 오픈 월드 TTT의 견고성을 향상시키는 방법을 제안합니다

먼저 자체 훈련된 변형, 즉 소스 도메인 프로토타입을 클러스터 중심으로 대상 도메인에 클러스터링하는 TTT의 기준선을 구축합니다. 잘못된 의사 레이블이 있는 강력한 OOD에 대한 자체 학습의 영향을 완화하기 위해 강력한 OOD 샘플을 거부하는 하이퍼파라미터 없는 방법을 설계합니다.

약한 OOD 샘플과 강한 OOD 샘플의 특성을 더욱 분리하기 위해 격리된 강한 OOD 샘플을 선택하여 프로토타입 풀을 확장할 수 있습니다. 따라서 자체 훈련을 통해 강력한 OOD 샘플이 새로 확장된 강력한 OOD 프로토타입 주위에 긴밀한 클러스터를 형성할 수 있습니다. 이렇게 하면 소스 도메인과 대상 도메인 간의 배포 조정이 용이해집니다. 우리는 확증 편향의 위험을 줄이기 위해 글로벌 분포 정렬을 통해 자체 훈련을 정규화할 것을 제안합니다.

마지막으로 오픈 월드 TTT 시나리오를 합성하기 위해 CIFAR10-C, CIFAR100-C, ImageNet-C, VisDA-C, ImageNet-R, Tiny-ImageNet, MNIST 및 SVHN 데이터 세트를 채택하고 세트는 약한 OOD이고 나머지는 강한 OOD로 벤치마크 데이터 세트를 설정합니다. 우리는 이 벤치마크를 오픈 월드 테스트 세그먼트 트레이닝 벤치마크라고 부르며, 이를 통해 향후 더 많은 작업이 보다 현실적인 시나리오에서 테스트 세그먼트 트레이닝의 견고성에 초점을 맞추도록 장려할 수 있기를 바랍니다.

Method

이 논문에서는 제안된 방법을 네 부분으로 나누어

1) 오픈 월드에서 테스트 세그먼트 training task 설정 개요를 소개합니다.

2) 콘텐츠를 다음으로 다시 작성: 클러스터 분석 을 통해 TTT를 구현하는 방법과 오픈 월드 테스트 시간 교육을 위해 프로토타입을 확장하는 방법을 설명합니다.

3) 동적 프로토타입 확장을 위해 대상 도메인 데이터를 사용하는 방법을 소개합니다.

4) 재작성된 콘텐츠와 결합된 Distribution Alignment를 소개합니다. 클러스터 분석을 통해 강력한 오픈 월드 테스트 시간 교육을 달성합니다.

그림 2: 방법 개요

작업 설정

TTT의 목적은 소스 도메인 사전 훈련된 모델을 대상 도메인에 적용하는 것입니다. 여기서 대상 도메인은 차이가 있을 수 있습니다. 원본 도메인과 관련된 배포 마이그레이션입니다. 표준 폐쇄형 TTT에서는 소스 도메인과 대상 도메인의 레이블 공간이 동일합니다. 그러나 오픈 월드 TTT에서는 대상 도메인의 레이블 공간에 원본 도메인의 대상 공간이 포함되어 있습니다. 이는 대상 도메인에 보이지 않는 새로운 의미 범주가 있음을 의미합니다

TTT 정의 간의 혼란을 피하기 위해 다음을 채택합니다. TTAC [2]에서 제안한 sTTT(순차적 테스트 시간 훈련) 프로토콜을 평가합니다. sTTT 프로토콜에 따라 테스트 샘플은 순차적으로 테스트되고 작은 배치의 테스트 샘플을 관찰한 후 모델 업데이트가 수행됩니다. 타임스탬프 t에 도착하는 테스트 샘플에 대한 예측은 t+k(k가 0보다 큼)에 도착하는 테스트 샘플의 영향을 받지 않습니다.

콘텐츠를 다음과 같이 다시 작성했습니다. 클러스터 분석

도메인 적응 작업[3,4]에서 클러스터링을 사용하는 작업에서 영감을 받아 테스트 세그먼트 교육을 대상 도메인 데이터에서 클러스터 구조를 발견하는 것으로 처리합니다. 대표 프로토타입을 클러스터 중심으로 식별함으로써 클러스터 구조가 대상 도메인에서 식별되고 테스트 샘플이 프로토타입 중 하나 근처에 포함되도록 권장됩니다. 다시 작성한 내용은 다음과 같습니다. 군집 분석의 목표는 다음 수식과 같이 표본과 군집 중심 사이의 코사인 유사성의 음의 로그 우도 손실을 최소화하는 것으로 정의됩니다.

모델 가중치 조정의 부정적인 영향을 피하기 위해 강력한 OOD 샘플을 필터링하는 초매개변수 없는 방법을 개발합니다. 구체적으로 다음 방정식에 표시된 것처럼 각 테스트 샘플에 대한 강력한 OOD 점수 os를 소스 도메인 프로토타입과의 가장 높은 유사성으로 정의합니다.

그림 3 이상치는 이봉 분포를 보여줍니다

그림 3과 같이 이상값이 이봉 분포를 따르는 것을 관찰했습니다. 따라서 고정된 임계값을 지정하는 대신 두 분포를 구분하는 가장 좋은 값으로 최적 임계값을 정의합니다. 구체적으로 문제는 이상값을 두 개의 클러스터로 나누는 것으로 공식화될 수 있으며 최적의 임계값은 에서 클러스터 내 분산을 최소화합니다. 다음 방정식의 최적화는 0.01 단계에서 0부터 1까지 가능한 모든 임계값을 철저하게 검색하여 효율적으로 달성할 수 있습니다.

Dynamic Prototype Extension

Strong OOD 프로토타입 풀을 확장하려면 테스트 샘플을 평가하기 위해 소스 도메인과 Strong OOD 프로토타입을 모두 고려해야 합니다. 데이터로부터 클러스터 수를 동적으로 추정하기 위해 이전 연구에서도 유사한 문제를 조사했습니다. 결정론적 하드 클러스터링 알고리즘 DP-평균[5]은 알려진 클러스터 중심까지 데이터 포인트의 거리를 측정하여 개발되었으며, 거리가 임계값을 초과하면 새로운 클러스터가 초기화됩니다. DP-평균은 K-평균 목표를 최적화하는 것과 동일하지만 클러스터 수에 대한 추가 페널티가 있어 동적 프로토타입 확장을 위한 실행 가능한 솔루션을 제공하는 것으로 나타났습니다.

추가 하이퍼파라미터 추정의 어려움을 완화하기 위해 먼저 기존 소스 도메인 프로토타입과 강한 OOD 프로토타입에 가장 가까운 거리로 확장된 강한 OOD 점수를 갖는 테스트 샘플을 다음과 같이 정의합니다. 따라서 이 임계값을 초과하는 샘플을 테스트하면 새로운 프로토타입이 구축됩니다. 근처에 테스트 샘플을 추가하지 않기 위해 이 프로토타입 확장 프로세스를 점진적으로 반복합니다.

다른 강력한 OOD 프로토타입이 식별됨에 따라 우리는 두 가지 요소를 고려하여 클러스터 분석 손실로 테스트 샘플의 재작성을 정의했습니다. 첫째, 알려진 클래스로 분류된 테스트 샘플은 프로토타입에 더 가깝고 다른 프로토타입과는 멀리 떨어져 있어야 하며, 이는 K-클래스 분류 작업을 정의합니다. 둘째, 강력한 OOD 프로토타입으로 분류된 테스트 샘플은 K+1 클래스 분류 작업을 정의하는 소스 도메인 프로토타입과 멀리 떨어져 있어야 합니다. 이러한 목표를 염두에 두고 내용을 다음과 같이 다시 작성하겠습니다. 클러스터 분석 손실은 다음과 같이 정의됩니다.

분산 정렬 제약 조건은 디자인이나 레이아웃에서 요소를 특정 방식으로 배열하고 정렬해야 함을 의미합니다. 이 제약 조건은 웹 디자인, 그래픽 디자인, 공간 레이아웃 등 다양한 시나리오에 적용될 수 있습니다. 분산 정렬 제약 조건을 사용하면 요소 간의 관계가 더 명확하고 통일될 수 있어 전체 디자인의 미학과 가독성이 향상됩니다.

자가 학습은 잘못된 의사 레이블에 취약하다는 것은 잘 알려져 있습니다. 대상 도메인이 OOD 샘플로 구성되면 상황은 더욱 악화됩니다. 실패 위험을 줄이기 위해 다음과 같이 자가 훈련을 위한 정규화로 분포 정렬 [1]을 추가로 사용합니다.

Experiments

저희는 손상된 합성 데이터세트와 스타일이 다양한 데이터세트를 포함하여 5개의 서로 다른 OWTTT 벤치마크 데이터세트를 테스트했습니다. 실험에서는 주로 약한 OOD 분류 정확도 ACCS, 강한 OOD 분류 정확도 ACCN 및 두 가지의 조화 평균 ACCH의 세 가지 평가 지표를 사용합니다. 다시 작성해야 하는 내용은 Cifar10-C 데이터 세트가 다릅니다. 방법의 성능은 다음과 같습니다. 아래 표에 표시됨

다시 작성해야 하는 내용은 다음과 같습니다. Cifar100-C 데이터 세트의 다양한 방법의 성능은 아래 표에 표시됩니다.

내용은 다음과 같습니다. 다시 작성해야 하는 내용은 다음과 같습니다. ImageNet-C 데이터 세트에서 다양한 방법의 성능은 아래 표에 나와 있습니다

표 4 ImageNet-R 데이터 세트에 대한 다양한 방법의 성능

표 5 VisDA-C 데이터 세트에 대한 다양한 방법의 성능

우리 방법은 거의 모든 데이터에서 일관됩니다. 현재의 최선의 방법과 비교하면 위의 표에서 볼 수 있듯이 상당한 개선이 이루어졌습니다. 강한 OOD 샘플을 효과적으로 식별하고 약한 OOD 샘플 분류에 미치는 영향을 줄일 수 있습니다. 따라서 오픈 월드 시나리오에서 우리의 방법은 보다 강력한 TTT를 달성할 수 있습니다

Summary

본 논문에서는 먼저 OWTTT(Open World Test Segment Training)의 문제와 설정을 제안하고 기존 이 방법이 위의 문제를 해결하기 위해 동적 프로토타입 확장을 기반으로 한 자체 학습 방법이 제안되었습니다. 우리는 이 작업이 TTT에 대한 후속 연구에 새로운 방향을 제공하여 보다 강력한 TTT 방법을 탐색할 수 있기를 바랍니다

위 내용은 동적 프로토타입 확장 기능을 갖춘 자체 학습 방법을 사용하여 오픈 월드 테스트 세그먼트에 대한 학습 기술을 살펴보세요.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!