정말 실크처럼 부드럽죠? Hinton 그룹은 이미지와 비디오 장면을 원활하게 전환할 수 있는 대형 파노라마 마스크를 기반으로 하는 인스턴스 분할 프레임워크를 제안했습니다.

파노라마 분할은 이미지의 각 픽셀에 의미 라벨과 인스턴스 라벨을 할당하는 것을 목표로 하는 기본적인 비전 작업입니다. 의미론적 라벨은 각 픽셀의 카테고리(예: 하늘, 수직 객체 등)를 설명하고 인스턴스 라벨은 이미지의 각 인스턴스에 대한 고유 ID를 제공합니다(동일한 카테고리의 다른 인스턴스를 구별하기 위해). 이 작업은 의미론적 분할과 인스턴스 분할을 결합하여 장면에 대한 풍부한 의미론적 정보를 제공합니다.

의미 라벨의 카테고리는 선험적으로 고정되어 있지만 이미지의 개체에 할당된 인스턴스 ID는 인식에 영향을 주지 않고 교환될 수 있습니다. 예를 들어 두 차량의 인스턴스 ID를 교환해도 결과에는 영향을 미치지 않습니다. 따라서 인스턴스 ID를 예측하도록 훈련된 신경망은 단일 이미지에서 여러 인스턴스 ID 할당으로의 일대다 매핑을 학습할 수 있어야 합니다. 일대다 매핑을 학습하는 것은 어려운 일이며 기존 방법에서는 객체 감지, 분할 및 여러 예측 병합을 포함한 다단계 파이프라인을 활용하는 경우가 많습니다. 최근 일부 학자들은 미분 가능한 이분 그래프 매칭을 기반으로 일대다 매핑을 인식 매칭 기반의 일대일 매핑으로 효과적으로 변환할 수 있는 엔드투엔드(end-to-end) 방법을 제안했습니다. 그러나 이러한 방법에는 여전히 맞춤형 아키텍처와 특수 손실 함수는 물론 파노라마 분할 작업을 위한 내장형 유도 바이어스가 필요합니다.

Pix2Seq, OFA, UViM 및 Unified I/O와 같은 최신 범용 비전 모델은 이전 모델보다 훨씬 단순하면서도 일반화 작업을 달성하기 위해 작업이 필요 없는 일반 프레임워크를 옹호합니다. 예를 들어 Pix2Seq는 일부 핵심 시각적 작업을 완료하기 위해 이미지를 기반으로 의미상 의미 있는 일련의 시퀀스를 생성하며, 이러한 모델은 자동 회귀 모델을 교육하기 위한 Transformers를 기반으로 합니다.

새 논문에서 Google Brain의 Ting Chen 및 Geoffrey Hinton과 같은 연구자들은 동일한 개념을 따르고 조건부 이산 데이터 생성의 관점에서 파노라마 분할 작업 문제를 이해합니다.

논문 링크 https://arxiv.org/pdf/2210.06366.pdf

그림 1과 같이 연구원은 파노라마 마스크에 대한 생성 모델을 설계하고 각 사진에 입력합니다. 모델은 개별 토큰 세트를 생성합니다. 사용자는 단순히 과거 프레임의 예측을 추가 조건 신호로 사용하여 이 모델을 비디오 데이터(온라인 데이터/스트리밍 미디어)에 적용할 수 있습니다. 이러한 방식으로 모델은 객체를 추적하고 분할하는 방법을 자동으로 학습합니다.

파노라마 마스크는 이산적이거나 범주형이고 모델이 매우 클 수 있기 때문에 파노라마 분할의 생성 모델링은 매우 어렵습니다. 예를 들어 512×1024 파노라마 마스크를 생성하려면 모델은 100만 개 이상의 개별 태그(의미 및 인스턴스 레이블)를 생성해야 합니다. 토큰은 본질적으로 순차적이고 입력 데이터의 규모가 변경됨에 따라 변경하기 어렵기 때문에 자동 회귀 모델의 경우 여전히 상대적으로 비용이 많이 듭니다. 확산 모델은 고차원 데이터를 더 잘 처리하지만 불연속 영역보다는 연속 영역에 적용되는 경우가 가장 많습니다. 아날로그 비트로 이산 데이터를 표현함으로써 저자는 확산 모델이 잠재 공간을 학습할 필요 없이 대형 파노라마 마스크에서 직접 훈련될 수 있음을 보여줍니다.

광범위한 실험을 통해 연구원들은 유사한 환경에서 일반적인 방법이 최첨단 전문가 방법과 경쟁할 수 있음을 입증했습니다.

모델 아키텍처

확산 모델 샘플링은 반복적으로 수행되므로 추론 중에 네트워크의 순방향 전달이 여러 번 실행되어야 합니다. 따라서 그림 2에서 볼 수 있듯이 연구원들은 의도적으로 네트워크를 1) 이미지 인코더 2) 마스크 디코더의 두 가지 구성 요소로 분할했습니다. 전자는 원시 픽셀 데이터를 상위 수준 표현 벡터에 매핑한 다음 마스크 디코더가 파노라마 마스크를 반복적으로 읽습니다.

픽셀/이미지 인코더​

인코더는 원본 이미지 를 의 기능 맵에 매핑하는 네트워크입니다. 여기서 H'와 w'는 파노라마 마스크의 높이와 너비입니다. 파노라마 마스크의 크기는 원본 이미지와 같거나 더 작을 수 있습니다. 이 연구에서 연구원들은 ResNet을 백본 네트워크로 사용한 다음 Transformer의 인코더 레이어를 특징 추출기로 사용했습니다. 출력 기능 맵에 충분한 해상도가 있고 U-Net 및 기능 피라미드 네트워크에서 영감을 받은 다양한 규모의 기능이 포함되어 있는지 확인하기 위해 연구원은 양방향 연결 및 업샘플링 작업을 사용하여 다양한 해상도 기능을 병합했습니다. 아키텍처 설계의 최신 기술을 사용할 수 있는 더 복잡한 인코더를 사용할 수 있지만 이는 네트워크 모델의 주요 초점이 아니므로 연구원들은 모델에서의 역할을 설명하기 위해 더 간단한 특징 추출기를 사용합니다.

Mask Decoder​

디코더는 모델 추론 중에 이미지 특징을 기반으로 파노라마 마스크를 반복적으로 개선합니다. 구체적으로 연구진이 사용한 마스크 디코더는 TransUNet이다. 네트워크는 인코더의 이미지 특징 맵과 노이즈 마스크(무작위로 초기화되거나 인코딩 프로세스에서 반복적으로)의 연결을 입력으로 취하고 마스크의 정확한 예측을 출력합니다. 이미지 생성 및 이미지 간 변환을 위한 디코더와 표준 U-Net 아키텍처의 한 가지 차이점은 이 논문에서 사용된 U-Net은 병합을 위해 업샘플링 전에 상단에 교차 주의 레이어가 있는 변환기 디코더 레이어를 사용한다는 것입니다. 인코딩된 이미지 기능.

동영상 모드의 적용

연구원은 이미지 조건에서 파노라마 마스크를 p(m|x)로 모델링합니다. 주어진 비디오의 3차원 마스크(추가 시간 차원 포함)를 기반으로 우리 모델을 비디오 파노라마 분할에 직접 적용할 수 있습니다. 온라인/스트리밍 비디오 설정에 적응하기 위해 대신 p(m_t|x_t,m_(t-1),m_(t-k)) 모델링을 사용하여 현재 이미지와 이전 이미지의 마스크를 기반으로 새 파노라마를 생성할 수 있습니다. 순간. 그림 5에서 볼 수 있듯이 이러한 변화는 과거 파노라마 마스크(m_(t-1),m_(t-k))를 기존 노이즈 마스크와 연결함으로써 달성될 수 있습니다. 이 사소한 변경을 제외하면 다른 모든 것은 비디오 기본 모델(p(m|x))과 동일합니다. 이 모델은 매우 간단하며 이미지 파노라마 모델을 미세 조정하여 비디오 장면에 적용할 수 있습니다.

실험 결과

이 논문은 두 가지 최신 방법, 즉 전문가 방법과 일반 방법을 비교합니다. 표 1은 MS-COCO 데이터 세트의 결과를 요약합니다. ResNet-50 기반 백본에서 Pix2Seq-D의 일반화 품질(PQ)은 최첨단 방법에 비해 경쟁력이 있습니다. UViM과 같은 다른 최신 범용 모델과 비교할 때 우리 모델은 더 효율적이면서 훨씬 더 나은 성능을 발휘합니다.

표 2는 Pix2Seq-D를 표준 J&F 측정항목을 사용하여 DAVIS 데이터세트의 감독되지 않은 비디오 객체 분할을 위한 최첨단 방법과 비교합니다. 다른 일반 모델은 작업에 직접 적용할 수 없기 때문에 기준선에 포함되지 않는다는 점은 주목할 가치가 있습니다. 우리의 방법은 특별한 설계 없이도 최첨단 방법과 동일한 결과를 얻습니다.

그림 8, 9, 10은 MS-COCO, Cityscape 및 DAVIS에서 Pix2Seq-D의 결과 예를 보여줍니다.

위 내용은 정말 실크처럼 부드럽죠? Hinton 그룹은 이미지와 비디오 장면을 원활하게 전환할 수 있는 대형 파노라마 마스크를 기반으로 하는 인스턴스 분할 프레임워크를 제안했습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!