300多篇相關研究，復旦、南洋理工最新多模態影像編輯綜述論文

AIxiv專欄是本站發布學術、技術內容的欄位。過去數年，本站AIxiv專欄接收通報了2,000多篇內容，涵蓋全球各大專院校與企業的頂尖實驗室，有效促進了學術交流與傳播。如果您有優秀的工作想要分享，歡迎投稿或聯絡報道。投稿信箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

該文章的第一作者帥欣成，目前在復旦大學FVL實驗室攻讀博士學位，畢業於上海交通大學。他的主要研究方向包括影像和影片編輯以及多模態學習。

• 論文題目：A Survey of Multimodal-Guided Image Editing with Text-to-Image Diffusion Models
• 發表單位：復旦大學FVL 實驗室，南洋理工大學
• 發表單位：復旦大學FVL 實驗室，南洋理工大學
發表單位：復旦大學FVL 實驗室，南洋理工大學
• .org/abs/2406.14555

2.1 關於編輯任務的定義與討論範圍。相較於現有的演算法以及先前的編輯綜述，本文對於影像編輯任務的定義更加廣泛。具體的，本文將編輯任務分為 content-aware 和 content-free 場景群組。其中 content-aware 組內的場景為先前的文獻所討論的主要任務，它們的共通性是保留圖像中的一些低階語義特徵，如編輯無關區域的像素內容，或圖像結構。此外，我們開創性地將客製化任務（customization）納入到content-free 場景組中，將這一類保留高級語義（如主體身份信息，或者其他細粒度屬性）的任務作為對常規的編輯場景的補充。

                            ^{圖 2. 一般編輯演算法的統一架構}

ion 進行演算法

, Ed

3.1 Inversion 演算法。 Inversion 演算法

將來源影像集合

編碼到特定的特徵或參數空間，得到對應的表徵
（inversion clue），並以對應的來源文字描述

作為來源影像的識別碼。包括 tuning-based

和 forward-based兩種類型的 inversion 演算法。其可以形式化為：Tuning-based inversion透過原有的 diffusion 訓練過程將來源影像集合植入擴散模型的生成分佈中。形式化過程為：

其中

為引入的可學習的參數，且

。

Forward-based inversion

用於在擴散模型的反向過程中（

）還原某一條前向路徑中的噪音（
）。形式化過程為：

其中為方法中引入的參數，用於最小化，其中，。

3.2.Editing 演算法。 Editing 演算法根據和多模態引導集合來產生最終的編輯結果。包含 attention-based，blending-based，score-based以及 optimization-based的 editing 演算法。其可以被形式化為：

特別地，對於每一步的反向過程，進行瞭如下操作：

其中中的操作表示編輯演算法對於擴散模型的取樣，用於確保編輯後的影像與來源影像集合的一致性，並反應出中引導條件所指明的視覺變換。

特別地，我們將無幹預的編輯過程視作為普通版本的編輯演算法

。其形式化為:

Attention-based editing的形式化過程:

Blending-based editing的形式化過程:

🎎 based editing

的形式化過程:

3.3 Training-Based 的編輯方法。與 training-free 的方法不同的是，training-based 演算法透過在任務特定的資料集中直接學習來源影像集合到編輯影像的映射。這一類演算法可以看作是 tuning-based inversion 的擴展，即透過額外引入的參數將來源影像編碼到生成分佈中。在這類演算法中，最重要的是如何將來源影像注入 T2I 模型中，以下是針對不同編輯場景的注入方案。

Content-aware 任務的注入方案：

         

Content-free 任務的注入方案：

                                圖3. Content-free 任務的注入方案

統一架構在多模態編輯任務中的應用

本文透過定性實驗說明了各個組合在多模態編輯任務中的應用：

   圖4. 關於attention-based editing

的演算法組合的應用

                 

的演算法組合的應用

                               ^{圖6.score-based editing}

                              圖 7.中關於optimization-based editing

詳細分析請查閱原始論文。

5．不同組合在文字引導編輯場景下的比較

對於常見的文本引導的編輯任務，本文透過設計了多個具有挑戰性的定性實驗，以說明不同組合所適合的編輯場景。此外，本文也相應地收集了高品質和具有一定難度的資料集，以定量地說明各種組合中的先進演算法在不同場景下的表現。

對於 content-aware 任務，我們主要考慮物件操作（增 / 刪除 / 替換），屬性改變，風格遷移。特別地，我們考慮了具有挑戰性的實驗設定：1. 多目標編輯。 2. 對於影像的語意佈局影響較大的用例。我們也收集了這些複雜場景的高品質圖片，並對不同組合中的先進演算法進行全面定量比較。

                               圖 8.Contum          一樣使用

結果分析以及更多實驗結果請查閱原始論文。

^{對於 content-free 任務，我們主要考慮基於主體驅動的（subject-driven）客製化任務。並考慮了多種場景，如更換背景，與物體交互，行為改變，以及風格改變。我們也定義了大量的文字引導模板，並對各個方法的整體表現進行定量分析。}

                                  結果分析以及更多實驗結果請查閱原始論文。

6．未來可以研究的方向

此外本文也給了一些關於未來研究方向的分析。這裡以 content-aware 任務和 content-free 任務的挑戰為例。

6.1. Content-aware 任務的挑戰。對於 content-aware 編輯任務的挑戰，現有方法無法同時處理多種編輯場景和控制訊號。這項限制迫使應用在不同任務之間切換合適的後端演算法。此外，一些高級方法在易用性方面不友善。某些方法需要使用者調整關鍵參數以獲得最佳結果，而其他方法則需要繁瑣的輸入，例如來源和目標提示，或輔助遮罩。

6.2.Content-free 任務的挑戰。對於 content-free 編輯任務，現有方法在測試時調優過程冗長且存在過擬合問題 。一些研究旨在透過優化少量參數或從頭開始訓練模型來緩解這個問題。然而，它們常常會失去個性化主體的細節，或表現出較差的泛化能力。此外，目前方法在從少量圖像中提取抽象概念方面也有所不足，它們無法完全將所需概念與其他視覺元素分開。

了解更多研究方向內容可以查閱原始論文。

以上是300多篇相關研究，復旦、南洋理工最新多模態影像編輯綜述論文的詳細內容。更多資訊請關注PHP中文網其他相關文章！