GPT-4o的橫空出世，再次創立了一個多模態模型發展的新範式！
為什麼這麼說？
OpenAI稱之為「首個『原生』多模態」模型，意味著GPT-4o與以往所有的模型，都不盡相同。
傳統的多模態基礎模型，通常為每種模態採用特定的「編碼器」或「解碼器」，將不同的模態分離開。
然而，這種方法限制了模型，有效融合跨模態資訊的能力。
GPT-4o是一種「首端對端」訓練的模型，能夠跨越文字、視覺和音訊的模式，所有的輸入和輸出，都由單一神經網絡處理。
而現在，業界首個敢於挑戰GPT-4o的模型現身了！
最近，來自Meta團隊的研究人員發布了「混合模態基座模型」－Chameleon（變色龍）。
論文網址：https://arxiv.org/pdf/2405.09818
與GPT- 4o一樣，Chameleon採用了統一的Transformer架構，使用文字、圖像和程式碼混合模態完成訓練。
以類似文字產生的方式，對圖像進行離散「分詞化」（tokenization），最終產生和推理交錯的文字和圖像序列。
這種「早期融合」的方法，所有的pipeline從一開始就被映射到一個共同的表示空間，因此模型可以無縫處理文字和圖像。
Chameleon產生的多模態內容
同時，這樣的設計，為模型訓練帶來了重大的技術挑戰。
對此，Meta研究團隊引進了一系列架構創新和訓練技術。
結果表明，在純文字任務中，340億參數Chameleon（用10兆多模態token訓練）的表現和Gemini-Pro相當。
在視覺問答和圖片標註基準上，刷新SOTA，效能接近GPT-4V。
不過，不論是GPT-4o，還是Chameleon，都是新一代「原生」端對端的多模態基礎模型早期探索。
GTC 2024大會上，老黃描述了邁向AGI最終願景的重要一步——各種模態互通有無。
Chameleon的發布，簡直就是對GPT-4o做出最快的反應。
有網友表示，token進，token出，簡直無法解釋。
甚至還有人稱，在GPT-4o誕生後發布的非常紮實的研究，OOS將迎頭趕上。
不過，目前Chameleon模型支援生成的模態，主要是圖像文字。缺少了GPT-4o中的語音能力。
網友稱，然後只需添加另一種模態（音訊），擴大訓練資料集，「烹飪」一段時間，我們就會得到GPT-4o...?
Meta的產品管理總監稱，「我非常自豪能夠給予這個團隊支持。讓我們朝著讓GPT-4o更接近開源社區的方向邁進一步」。
或許用不了多久，我們就得到了一個開源版的GPT-4o。
接下來，一起看看Chameleon模型的技術細節。
Meta在Chameleon的論文中首先表示：許多新發布的模型依舊沒有將「多模態」貫徹到底。
這些模型雖然採用了端到端的訓練方式，但仍單獨對不同模態進行建模，使用分開的編碼器或解碼器。
如開頭所述，這種做法限制了模型跨模態資訊的能力，也難以產生包含任意形式資訊的、真正的多模態文件。
為了改進這個缺陷，Meta提出了一系列「混合模態」的基座模型Chameleon——能夠產生文字和圖像內容任意交織在一起的內容。
Chameleon的生成結果，文字和圖像交錯出現
所謂「混合模態」基座模型，指Chameleon不僅使用了端到端的方式從頭開始訓練，而且訓練時將所有模態的資訊交織在一起，並使用統一的架構處理。
如何將所有模態的資訊混合在同一個模型架構中表示？
答案還是「token」。
只要全部表示為token，就可以把所有所有模態的資訊都映射到同一個向量空間中，讓Transformer無縫處理。
但是，這種做法會帶來最佳化穩定性以及模型擴展性方面的技術挑戰。
為了解決這些問題，論文相應地對模型架構進行創新，並使用了一些訓練技巧，包括QK歸一化和Zloss等。
同時，論文也提出了將純文字LLM微調為多模態模型的方法。
要將所有模態全部表示為token，首先需要一個強大的分詞器。
為此，Chameleon的團隊在Meta之前一篇論文的基礎上開發了一種新的圖像分詞器，基於大小為8192的codebook，將規格為512×512的圖像編碼為1024個離散的token。
文字分詞器則是基於Google開發的sentencepiece開源函式庫，訓練了一個同時含有65536個文字token與8192個圖像token的BPE分詞器。
為了徹底激發「混合模態」的潛力，訓練資料也是將不同模態打散、混合呈現給模型的，既有純文字、文字-圖像對，也有文字、圖像交錯出現的多模態文件。
純文字資料囊括了Llama 2和CodeLlama所使用的所有預訓練數據，共計2.9萬億個token。
文字-圖像對包含了一些公開數據，共14億對、1.5兆個token。
對於文字和圖像交錯的數據，論文刻意強調沒有包含來自Meta產品的數據，完全使用公開數據來源，整理出共4000億個token。
Chameleon的預訓練分兩個單獨的階段進行，分別佔總訓練比例的80%和20%。
訓練的第一階段就是讓模型以無監督的方式學習以上數據，第二階段開始時，先將第一階段得到的權重降低50%，並混合更高品質的數據讓模型繼續學習。
在模型擴展到超過8B參數和1T token時，訓練後期會產生明顯的不穩定問題。
由於所有模態共享模型權重，每個模態似乎都有增加norm的傾向，與其他模態「競爭」。
這在訓練初期不會產生太大的問題，但隨著訓練的進行、資料超出bf16的表達範圍時，就會有loss發散的現象。
研究者將其歸因於softmax函數所具有的平移不變性，這種現像在單一模態模型中也被稱為「logit 漂移」（logit drift）。
因此，論文提出了一些架構調整和最佳化方法來保證穩定性：
-QK歸一化（query-key normalization ）：將layer norm應用於注意力模組中的query和key向量，從而直接控制softmax層輸入的norm增長。
-在註意力層和前饋層之後引入dropout
#-在損失函數中使用Zloss正則化
除了資料來源與架構，論文也大方公開了預訓練所用的算力規模。
硬體型號為80GB記憶體的英偉達A100，7B版本並行使用1024個GPU訓練了約86萬個GPU小時，34B模型所使用的GPU數量則擴大了3倍，GPU小時數超過428萬。
作為曾經開源Llama 2的公司，Meta的研究團隊確實大方，相較於連技術報告都沒有的GPT-4o，這篇有數據有乾貨的論文可謂「仁至義盡」。
具體的實驗評估中，研究人員將其分為人工評估和安全測試，以及基準評估。
Chameleon-34B使用了比Llama 2多四倍的token進行訓練後，在各種單模態的基準測試中都取得了驚豔的效果。
在純文字任務生成中，研究人員將預先訓練（非SFT）模型的純文字功能與其他領先的純文字LLM進行比較。
評估內容包括，常識推理、閱讀理解、數學問題和世界知識領域，評估結果如下表所示。
- 常識推理與閱讀理解
#可以觀察到， 與Llama 2相比，Chameleon-7B和Chameleon-34B更具競爭力。甚至，34B甚至在5/8的任務上超過了Llama-2 70B，性能與Mixtral-8x7B相當。
- 數學與世界知識
#儘管進行了其他模態的訓練，但兩個Chameleon模型都表現出很強的數學能力。
在GSM8k上，Chameleon-7B的表現優於對應參數規模的Llama 2模型，表現與Mistral-7B相當。
此外，Chameleon-34B在maj@1（61.4 vs 56.8）和Mixtral-8x7B在maj@32 （77.0 vs 75.1）上的表現都優於Llama 2-70B。
同樣，在數學運算中，Chameleon-7B的表現超過Llama 2，與Mistral-7B在maj@4上的表現相當，而Chameleon-34B的表現超過Llama 2 -70B，接近Mixtral-8x7B在maj@4上的表現（24.7 vs 28.4）。
整體而言，Chameleon的效能全面超過了Llama 2，在某些任務上接近Mistral-7B/8x7B。
在文字到圖像任務中，研究人員具體評測了視覺問答、圖像標註兩項具體任務。
Chameleon在視覺問答和圖像標註任務中打敗Flamingo和Llava-1.5等模型成為SOTA，在純文字任務中也和第一梯隊的Mixtral 8x7B、Gemini Pro等模型表現相當。
#同時，為了進一步評估模型產生多模態內容的質量，論文也在基準測試之外引入了人類評估實驗，發現Chameleon-34B的表現遠遠超過了Gemini Pro和GPT-4V。
相對於GPT-4V和Gemini Pro，人類評審分別打出了51.6%和60.4的偏好率。
下圖展示了，對於一組多樣化的、來自人類標註者的prompt，Chameleon與基線模型在理解和生成內容方面的表現對比。
其中的每個問題，都由三個不同的人類標註回答，並將多數票作為最終答案。
為了了解人類標註者的質量，以及問題的設計是否合理，研究人員也檢視了不同標註者之間的一致性程度。
表5是對20,000個眾包提示和445個紅隊互動進行的安全測試，引發模型產生不安全內容。
與Gemini和GPT-4V相比，Chameleon在處理需要交錯、混合模態反應的提示時，非常有競爭力。
從範例可以看到，在完成問答任務時，Chameleon既能理解輸入的文字+圖像，也能為模型輸出內容加上適當的「配圖」。
並且，Chameleon產生的圖像通常與上下文相關，這樣一來，這種交錯內容的輸出對用戶來說，極具吸引力。
#論文最後，也放上了參與這項研究的貢獻者。
包括預訓練、對齊和安全、推理和評估、所有項目的參與者。
其中，*表示共同一作，†表示關鍵貢獻者，‡表示工作流程負責人，♯表示專案負責人。
以上是Meta首發「變色龍」挑戰GPT-4o，34B參數引領多模態革命！ 10兆token訓練刷新SOTA的詳細內容。更多資訊請關注PHP中文網其他相關文章！
