한 줄의 코드를 사용하여 제로샷 학습 방법의 효과를 크게 향상시키기 위해 Nanjing University of Technology & Oxford는 플러그 앤 플레이 분류기 모듈을 제안합니다.

Zero-Shot Learning은 훈련 과정에서 나타나지 않은 카테고리를 분류하는 데 중점을 둡니다. 의미론적 설명을 기반으로 한 Zero-Shot 학습은 보이는 클래스로부터의 분류를 실현합니다(보이는 클래스에서 보이지 않는 클래스로 지식 전달). 전통적인 제로샷 학습은 테스트 단계에서 보이지 않는 클래스만 식별하면 되는 반면, 일반화된 제로샷 학습(GZSL)은 보이는 클래스와 보이지 않는 클래스를 모두 식별해야 합니다. 평가 지표는 보이는 클래스의 평균 정확도와 보이지 않는 클래스의 평균 정확도입니다. 클래스. 정확도의 고조파 평균.

일반적인 제로샷 학습 전략은 가시적 클래스 샘플과 의미론을 사용하여 의미론적 공간에서 시각적 샘플 공간으로 조건부 생성 모델을 훈련한 다음 보이지 않는 클래스 의미론을 사용하여 보이지 않는 클래스의 의사 샘플을 생성하고 마지막으로 가시적 클래스 샘플을 사용하는 것입니다. 클래스 보이지 않는 클래스의 샘플 및 의사 샘플은 분류 네트워크를 훈련하는 데 사용됩니다. 그러나 두 가지 양식(의미적 양식과 시각적 양식) 간의 좋은 매핑 관계를 학습하려면 일반적으로 많은 수의 샘플(CLIP 참조)이 필요하며 이는 기존 제로샷 학습 환경에서는 달성할 수 없습니다. 따라서 보이지 않는 클래스 의미론을 사용하여 생성된 시각적 샘플 분포는 일반적으로 실제 샘플 분포에서 벗어나는데, 이는 다음 두 가지 점을 의미합니다. 1. 이 방법으로 얻은 보이지 않는 클래스 정확도에는 제한이 있습니다. 2. 보이지 않는 클래스에 대해 클래스당 생성된 평균 의사 샘플 수가 보이는 클래스에 대한 각 클래스의 평균 샘플 수와 같을 때 보이지 않는 클래스의 정확도와 보이는 클래스의 정확도 사이에는 큰 차이가 있습니다. 아래 표 1에 나와 있습니다.

우리는 의미론을 카테고리 중심점으로 매핑하는 것만 학습하고, 보이지 않는 클래스 의미가 매핑된 단일 샘플 포인트를 여러 번 복사한 후 분류자 훈련에 참여하더라도, 생성 모델 효과를 사용하는 것에 가까워질 수 있습니다. 이는 생성 모델에 의해 생성된 보이지 않는 의사 샘플 특징이 분류기와 상대적으로 동일하다는 것을 의미합니다.

이전 방법은 일반적으로 보이지 않는 클래스 의사 샘플을 많이 생성하여 GZSL 평가 지표를 충족합니다(비록 보이지 않는 클래스 간 차별에는 많은 수의 샘플이 도움이 되지 않지만). 그러나 이러한 리샘플링 전략은 롱테일 학습 분야에서 분류기가 일부 기능에 과적합되도록 하는 것으로 입증되었으며, 이는 실제 샘플 클래스 특성에서 벗어나는 의사 눈에 띄지 않습니다. 이러한 상황은 보이는 클래스와 보이지 않는 클래스의 실제 샘플을 식별하는 데 도움이 되지 않습니다. 그렇다면 이 리샘플링 전략을 포기하고 대신 보이지 않는 클래스의 의사 샘플(또는 보이는 클래스와 보이지 않는 클래스 간의 클래스 불균형)을 생성하는 오프셋과 동질성을 귀납적 편향으로 사용할 수 있습니까?

이를 바탕으로 코드 한 줄만 수정하면 생성적 제로샷 학습 방법의 효과를 향상시킬 수 있는 플러그 앤 플레이 분류 모듈을 제안했습니다. SOTA 수준을 달성하기 위해 보이지 않는 클래스당 10개의 의사 샘플만 생성됩니다. 다른 생성적 제로 샘플 방법과 비교할 때 새로운 방법은 계산 복잡성 측면에서 큰 이점을 갖습니다. 연구진은 난징 과학 기술 대학교와 옥스퍼드 대학교 출신입니다.

• 논문: https://arxiv.org/abs/2204.11822
• 코드: https://github.com/cdb342/IJCAI-2022-Z 라

이 글에서는 일반화된 제로샷 학습 평가 지수의 변형 하한값을 도출하기 위해 일관된 훈련 및 테스트 목표를 가이드로 사용합니다. 이러한 방식으로 모델링된 분류기는 재채택 전략을 사용하는 것을 방지하고 생성된 유사 샘플에 대한 과적합을 방지하여 실제 샘플 인식에 부정적인 영향을 미치는 것을 방지할 수 있습니다. 제안된 방법은 생성 방법 프레임워크에서 임베딩 기반 분류기를 효과적으로 만들고 생성된 의사 샘플의 품질에 대한 분류기의 의존성을 줄일 수 있습니다.

Method

1. 매개변수화된 사전 소개

분류기의 손실 함수부터 시작하기로 결정했습니다. 보이지 않는 클래스의 생성된 의사 샘플로 클래스 공간이 완성되었다고 가정하면 이전 분류기는 전역 정확도를 최대화하는 목표로 최적화됩니다.

여기서 은 전역 정확도이고, 는 분류기 출력을 나타내고, 는 표본 분포를 나타내고, 은 표본 X의 해당 레이블입니다. GZSL의 평가 지표는 다음과 같습니다.

여기서 및 은 각각 보이는 클래스와 보이지 않는 클래스 집합을 나타냅니다. 훈련 목표와 테스트 목표 사이의 불일치는 이전 분류기 훈련 전략이 보이는 클래스와 보이지 않는 클래스 간의 차이를 고려하지 않았음을 의미합니다. 당연히 우리는 을 도출하여 훈련 및 테스트 목표와 일치하는 결과를 달성하려고 노력합니다. 파생 후 하한값을 얻었습니다.

여기서 는 보이는 클래스, 즉 데이터와 독립적이고 실험에서 하이퍼파라미터로 조정되는 이전 클래스인 보이지 않는 클래스를 나타내고, 는 보이는 클래스 또는 보이지 않는 클래스 내부 사전은 구현 과정에서 보이는 클래스 샘플 빈도 또는 균일 분포로 대체됩니다. 의 하한을 최대화하여 최종 최적화 목표를 얻습니다.

이로부터 분류 모델링 목표는 이전 목표와 비교하여 다음과 같이 변경되었습니다.

교차 엔트로피는 사후 확률 에 적합하며 분류기 손실은 다음과 같습니다.

이는 롱테일 학습의 로짓 조정과 유사하므로 이를 영표본 로짓 조정(ZLA)이라고 합니다. 지금까지 우리는 분류기 훈련에 귀납적 편향으로 보이는 클래스와 보이지 않는 클래스 사이의 범주 불균형을 주입하기 위해 매개변수화된 사전 정의를 구현했으며, 코드 구현에서 원래 로짓에 편향 항을 추가하기만 하면 위의 목표를 달성할 수 있습니다. 효과.

2. 의미론적 사전 소개

지금까지 제로샷 전송의 핵심, 즉 의미론적 사전(semantic Prior)은 생성기를 훈련하고 의사 샘플을 생성하는 역할만 수행했습니다. 보이지 않는 클래스의 생성된 의사 샘플의 품질에 전적으로 의존합니다. 분명히, 분류기 훈련 단계에서 의미론적 사전 분석을 도입할 수 있다면 보이지 않는 클래스를 식별하는 데 도움이 될 것입니다. 제로샷 학습 분야에는 이 기능을 달성할 수 있는 임베딩 기반 방법 클래스가 있습니다. 그러나 이러한 방식은 생성 모델에서 학습한 지식, 즉 의미론과 비전의 연결(의미-시각적 연결)과 유사하여 이전 생성 프레임워크를 직접 도입하게 되었습니다(논문 f 참조). -CLSWGAN) 기반 임베디드 분류기는 원본보다 더 나은 결과를 얻을 수 없습니다(분류기 자체가 더 나은 제로샷 성능을 갖지 않는 한). 본 논문에서 제안한 ZLA 전략을 통해 생성된 보이지 않는 클래스의 의사 샘플이 분류기 훈련에서 수행하는 역할을 변경할 수 있습니다. 원래 보이지 않는 클래스 정보 제공부터 현재 보이지 않는 클래스와 보이는 클래스 사이의 결정 경계 조정에 이르기까지 분류기 훈련 단계에서 의미론적 사전을 도입할 수 있습니다. 구체적으로, 우리는 프로토타입 학습 방법을 사용하여 각 카테고리의 의미를 시각적 프로토타입(즉, 분류자 가중치)에 매핑한 다음 조정된 사후 확률을 샘플과 시각적 프로토타입 간의 코사인 유사성(코사인 유사성)으로 모델링합니다. , 즉,

여기서 은 온도 계수입니다. 테스트 단계에서 샘플은 코사인 유사성이 가장 높은 시각적 프로토타입의 범주에 해당할 것으로 예측됩니다.

Experiments

제안된 분류기를 기본 WGAN과 결합하여 보이지 않는 클래스당 10개의 샘플을 생성했을 때 SoTA와 비슷한 결과를 얻었습니다. 또한, 보다 발전된 CE-GZSL 방법에 삽입하여 다른 매개변수(생성된 샘플 수 포함)를 변경하지 않고도 초기 효과를 향상시켰습니다.

절제 실험에서 우리는 세대 기반 프로토타입 학습자와 순수 프로토타입 학습자를 비교했습니다. 우리는 마지막 ReLU 레이어가 순수 프로토타입 학습기의 성공에 매우 중요하다는 것을 발견했습니다. 음수를 0으로 설정하면 카테고리 프로토타입과 보이지 않는 클래스 기능의 유사성이 증가하기 때문입니다(보이지 않는 클래스 기능도 ReLU가 활성화됨). 그러나 일부 값을 0으로 설정하면 프로토타입의 표현도 제한되므로 추가 인식 성능에 도움이 되지 않습니다. 보이지 않는 클래스 정보를 보상하기 위해 보이지 않는 클래스 샘플을 사용하면 RuLU를 사용할 때 더 높은 성능을 얻을 수 있을 뿐만 아니라 ReLU 레이어 없이도 더 높은 성능 초월을 달성할 수 있습니다.

또 다른 절제 연구에서는 프로토타입 학습자를 초기 분류기와 비교했습니다. 결과는 보이지 않는 클래스 샘플을 대량 생성할 때 프로토타입 학습자가 초기 분류자에 비해 이점이 없음을 보여줍니다. 본 논문에서 제안한 ZLA 기술을 사용하면 프로토타입 학습자가 그 우수성을 보여준다. 앞서 언급했듯이 프로토타입 학습자와 생성 모델 모두 의미-시각적 연결을 학습하고 있어 의미 정보를 충분히 활용하기 어렵기 때문이다. ZLA는 생성된 보이지 않는 클래스 샘플을 통해 보이지 않는 클래스 정보를 제공하는 대신 결정 경계를 조정하여 프로토타입 학습자를 활성화할 수 있습니다.

위 내용은 한 줄의 코드를 사용하여 제로샷 학습 방법의 효과를 크게 향상시키기 위해 Nanjing University of Technology & Oxford는 플러그 앤 플레이 분류기 모듈을 제안합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!