首個基於Mamba的MLLM來了！模型權重、訓練程式碼等已全部開源

AIxiv專欄是本站發布學術、技術內容的欄位。過去數年，本站AIxiv專欄接收通報了2,000多篇內容，涵蓋全球各大專院校與企業的頂尖實驗室，有效促進了學術交流與傳播。如果您有優秀的工作想要分享，歡迎投稿或聯絡報道。投稿信箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com。

1. 進行了廣泛的實驗，評估 Cobra 與旨在提高基礎 MLLM 計算效率的平行研究的性能。值得注意的是，Cobra 甚至在參數較少的情況下實現了與 LLaVA 相當的性能，突顯了其效率。
3. • 原文連結：https://arxiv.org/pdf/2403.14520v2.pdf
   • 專案連結：https://sites.Google.com/view/cobravlm/
   • 計畫連結：https://sites.google.com/view/cobravlm/
   Extending Mamba to Multi-Modal Large Language Model for Efficient Inference
   
   
   方法介紹
   
   
   連接兩個模由態的投影機和LLM 語言主幹組成的VLM 結構。 LLM 主幹部分採用了 2.8B 參數預訓練的 Mamba 語言模型，該模型在 600B token 數量的 SlimPajama 資料集上進行了預訓練並經過了對話資料的指令微調。
   
   
                              圖Cobra 網路結構圖上與工作

   2 和SigLIP 融合的視覺表徵，透過將兩個視覺編碼器的輸出拼接在一起送入投影器，模型能夠更好的捕捉到SigLIP 帶來的高層次的語義特徵和DINOv2 提取的低層次的細粒度影像特徵。

   訓練方案
   
   
   最近的研究表明，對於基於LLaVA 的現有訓練範式（即，只對準層的預對齊階段和LLM 骨幹的微調階段各一次骨幹階段可能是不必要的，而且微調後的模型仍處於欠擬合狀態。因此，Cobra 捨棄了預對齊階段，直接對整個 LLM 語言主幹和投影機進行微調。這個微調過程在一個組合資料集上隨機抽樣進行兩個週期，該資料集包括：
   
   
   在LLaVA v1.5 中使用的混合資料集，其中包含總計655K 視覺多輪對話，包括學術VQA 樣本，以及LLaVA-Instruct 中的視覺指令調校資料和ShareGPT 中的純文字指令調校資料。
   
   
   LVIS-Instruct-4V，其中包含 220K 張帶有視覺對齊和上下文感知指令的圖片，這些指令由 GPT-4V 產生。
   
   
   LRV-Instruct，這是一個包含 400K 視覺指令資料集，涵蓋了 16 個視覺語言任務，目的是減輕幻覺現象。
   2. 整個數據集大約包含 120 萬張圖片和相應的多輪對話數據，以及純文字對話數據。
   實驗
   
   
   定量實驗
   
   定量實驗
   
   
   實驗部分，本文提出了Cobra 樣源的基礎和基本對照模型，本文對開源實驗量級是基於Transformer 架構的VLM 模型的回答速度。
   
   

                                 圖上產生速度與效能相比較 2，GQA，VizWiz，TextVQA 四個開放VQA 任務以及VSR，POPE 兩個閉集預測任務，共6 個benchmark 上進行了分數比較。

                            .
   定性試驗
   

   此外Cobra 也給出了兩個VQA 範例以定性說明Cobra 在物體的空間關係認知和減輕模型幻覺兩個能力上的優越性。

                              圖 Cobra 和其他基線
   ^{收到則在兩個問題上都做出了精確的描述，尤其在第二個實例中，Cobra 準確的辨識出了圖片是來自於機器人的模擬環境。}
   
   
   消融實驗
   
   
   本文從性能和生成速度這兩個維度對 Cobra 採取的方案進行了消融研究。實驗方案分別對投影機、視覺編碼器、LLM 語言主幹進行了消融實驗。
   
   
                                 圖
   時所採取的實驗性對比圖

   7557575% 所採取的實驗性測量的實驗性對比投影機在效果上顯著優於致力於減少視覺token 數量以提升運算速度的LDP 模組，同時，由於Cobra 處理序列的速度和運算複雜度均優於Transformer，在生成速度上LDP 模組並沒有明顯優勢，因此在Mamba 類模型中使用透過犧牲精度減少視覺token 數量的採樣器可能是不必要的。

                               圖中 Cobra v2 特徵的融合有效的提升了 Cobra 的性能。而在語言主幹的實驗中，未經指令微調的 Mamba 語言模型在開放問答的測驗中完全無法給出合理的答案，而經過微調的 Mamba 語言模型則可以在各類任務上達到可觀的表現。
   
   
   結論

   

   ^{本文提出了 Cobra，它解決了現有依賴具有二次計算複雜度的 Transformer 網路的多模態大型語言模型的效率瓶頸。本文探討了具有線性計算複雜度的語言模型與多模態輸入的結合。在融合視覺和語言資訊方面，本文透過對不同模態融合方案的深入研究，成功優化了 Mamba 語言模型的內部資訊整合，實現了更有效的多模態表徵。實驗表明，Cobra 不僅顯著提高了計算效率，而且在性能上與先進模型如 LLaVA 相當，尤其在克服視覺幻覺和空間關係判斷方面表現出色。它甚至顯著減少了參數的數量。這為未來在需要高頻處理視覺訊息的環境中部署高性能 AI 模型，例如基於視覺的機器人回饋控制，開啟了新的可能性。}

以上是首個基於Mamba的MLLM來了！模型權重、訓練程式碼等已全部開源的詳細內容。更多資訊請關注PHP中文網其他相關文章！