真的這麼絲滑嗎？ Hinton組提出基於大型全景遮罩的實例分割框架，影像視訊場景絲滑切換

全景分割是一項基本的視覺任務，該任務旨在為影像的每個像素指定語義標籤和實例標籤。語意標籤描述每個像素的類別（例如天空、垂直物體等），實例標籤為影像中的每個實例提供唯一的 ID（以區分相同類別的不同實例）。該任務結合了語義分割和實例分割，提供了關於場景的豐富語義資訊。

雖然語意標籤的類別是先驗固定的，但指派給影像中物件的實例 ID 是可以互相交換同時不影響辨識的。例如，交換兩輛車的實例 ID 不會影響結果。因此，經過訓練以預測實例 ID 的神經網路應該能夠學習從單一影像到多個實例 ID 分配的一對多映射。一對多映射的學習具有挑戰性，傳統方法通常利用多個階段的管道，包括物件偵測、分割、合併多個預測 。最近，基於可微二分圖匹配，一些學者提出了端到端方法，能夠有效地將一對多映射轉換為基於識別匹配的一對一映射。然而，這些方法仍然需要客製化的架構和專門的損失函數，以及用於全景分割任務的內建歸納偏置。

最近的通用視覺模型，例如Pix2Seq、OFA、UViM 和Unified I/O，提倡通用的、不限制任務的框架來實現泛化任務，同時還能比以前的模型簡單得多。例如，Pix2Seq 根據圖像產生一系列具有語義意義的序列，來完成一些核心的視覺任務，並且這些模型基於 Transformers 來訓練自回歸模型。

在一篇新的論文中，Google大腦的 Ting Chen、Geoffrey Hinton 等研究者遵循相同的理念， 從條件離散資料生成的角度理解全景分割任務問題。

論文連結https://arxiv.org/pdf/2210.06366.pdf

#如圖1 所示，研究者為全景遮罩設計了一個生成模型，並為輸入到模型的每一張圖片都產生一組離散token。使用者只需將過去幀的預測作為附加條件訊號，就可以將此模型應用於視訊資料（線上資料 / 串流媒體）。這樣一來，模型就可以自動地學習追蹤和分割物件。

全景分割的生成式建模非常具有挑戰性，因為全景遮罩是離散的，或者說是有類別的，並且模型可能非常大。例如，要產生 512×1024 的全景掩碼，模型必須產生超過 1M 的離散標記（語義標籤和實例標籤）。這對於自迴歸模型來說開銷還是比較昂貴的，因為 token 本質上是順序的，很難隨著輸入資料的規模而改變。擴散模型更擅長處理高維度數據，但它們最常應用於連續域而不是離散域。透過以模擬位表示離散數據，本文作者表明可以直接在大型全景遮罩上訓練擴散模型，而無需學習潛在空間。

透過廣泛的實驗，研究者證明了他們的通用法可以在類似環境中與最先進的專家方法一較高下。

模型架構

擴散模型取樣是迭代進行的，因此在推理過程中必須多次運行網路的前向傳播。因此，如圖 2 所示，研究者有意將網路分成兩個組件：1）影像編碼器；2) 遮罩解碼器。前者將原始像素資料映射到進階表示向量，然後遮罩解碼器迭代地讀出全景遮罩。

#像素 / 影像編碼器

編碼器是將原始圖像映射到#中的特徵圖的網絡，其中H'和w'是全景遮罩的高度和寬度。全景遮罩可以與原始影像的大小相同或小一點。在這項工作中，研究者使用 ResNet 作為骨幹網絡，然後使用 Transformer 的編碼器層作為特徵提取器。為了確保輸出的特徵圖具有足夠的分辨率，並包含不同尺度的特徵，受U-Net 和特徵金字塔網絡的啟發，研究者使用具有雙邊連接和上採樣操作的捲積從不同的分辨率合併特徵。雖然可以使用更複雜的編碼器，這樣可以使用一些架構設計的最新進展，但這不是網路模型的主要關注點，所以研究者只是使用較簡單的特徵提取器來說明其在模型中的作用。

掩碼解碼器

##解碼器在模型推理過程中基於圖像特徵，迭代地細化全景遮罩。具體來說，研究者使用的遮罩解碼器是 TransUNet。此網路將來自編碼器的影像特徵圖和雜訊遮罩（隨機初始化或迭代地來自編碼過程）的連接作為輸入，並輸出對遮罩的精確預測。解碼器與用於圖像生成和圖像到圖像轉換的標準U-Net 架構之間的一個區別是，在上採樣之前，本文使用的U-Net 頂部使用了帶有交叉注意力層的transformer 解碼器層來合併編碼的影像特徵。

在影片模態下的應用

#研究者將影像條件下的全景遮罩建模為：p(m|x)。基於給定視訊的三維遮罩（有一個額外的時間維度），本文的模型就可以直接適用於視訊全景分割。為了適應線上/ 串流媒體的視訊設置，可以改用p(m_t|x_t,m_(t-1),m_(t-k))建模，從而基於當前的圖像和上一時刻的遮罩產生新的全景掩碼。如圖 5 所示，這項變更可以透過將過去的全景遮罩 (m_(t-1),m_(t-k)) 與現有的雜訊遮罩連接起來來實現。除了這個微小的變化之外，其他方面都與視訊基礎模型（p(m|x)）相同。這個模型很簡單，對影像全景模型進行微調就可以應用到影片場景。

實驗結果

本文與兩個系列的最先進的方法進行了比較，即專家方法和通用方法。表 1 總結了在 MS-COCO 資料集上的結果。 Pix2Seq-D 在基於 ResNet-50 的主幹上的泛化品質（PQ）與最先進的方法相比有一定的競爭力。與其他最近的通用模型如 UViM 相比，本文的模型表現明顯更好，同時效率更高。

表2 將Pix2Seq-D 與無監督視訊物件分割最先進的方法在DAVIS 資料集上進行了比較，指標使用的是標準的J&F。值得注意的是基準不包括其他通用模型，因為它們不能直接適用於該任務。本文的方法在沒有專門設計的情況下取得了與最先進的方法相同的結果。

圖 8、9 和 10 顯示了 Pix2Seq-D 在 MS-COCO、Cityscape 和 DAVIS 上的範例結果。

以上是真的這麼絲滑嗎？ Hinton組提出基於大型全景遮罩的實例分割框架，影像視訊場景絲滑切換的詳細內容。更多資訊請關注PHP中文網其他相關文章！