這個懂中文的AI高手，畫出的高山明月太驚艷！中英雙語AltDiffusion模型已開源

日前，智源研究院大模型研究團隊開源最新雙語AltDiffusion 模型，為中文世界帶來專業級AI 文圖創作的強勁動力：

支持精細長中文Prompts 高級創作；無需文化轉譯，從原汁原味中國話直達形神兼備中國畫；且在繪畫水平上達到低門檻中英對齊原版Stable Diffusion 級震撼視效，可以說是講中文的世界級AI 繪畫高手。

創新模型 AltCLIP 為此工作的基石，為原始 CLIP 模型補齊更強的跨語言三大能力。 AltDiffusion 與 AltCLIP 模型皆為多語言模型，中英雙語為第一階段運作，程式碼與模型已開源。

AltDiffusion

#https://github.com/FlagAI-Open/FlagAI/tree/ master/examples/AltDiffusion 

#AltCLIP

##https://github.com/ FlagAI-Open/FlagAI/examples/AltCLIP 

HuggingFace space試玩位址：

https://huggingface.co/spaces/BAAI/bilingual_stable_diffusion

技術報告

#https://arxiv.org/abs/2211.06679

專業級中文AltDiffusion

——長Prompt精細繪畫原生中國風，滿足中文AI創作高手的高需求

###得益於以AltCLIP 為基礎的強大中英雙語對齊能力，AltDiffusion 達到近似於Stable Diffusion 程度的視效水平，尤其具備更懂中國話、更善中國畫的獨特優勢，非常值得專業級中文AI文圖創作者期待。 #########1. 長Prompt生成，畫面效果毫不遜色#########Prompt長短是檢驗模型文圖生成能力的分水嶺，越長的Prompt，越考驗語言理解、圖文對齊和跨語言這三大能力。 ############在同樣的中英文長 Prompt 輸入調校下，AltDiffusion 在不少圖片生成案例中表現力甚至更勝一籌：元素構成豐富精彩、細節描摹細膩精準。 ########################2. 更懂中國話，更善中國畫#########除中英文Prompts 輸入表現近似之外，AltDiffusion 還能補齊西方世界裡中國畫風的不足，利用中文圖文對繼續微調出中文特色的生成，例如國畫風格生成模型，產出真正的「中國風」。 #########################

AltDiffusion 更懂中文，在中國文化脈絡中的意義描摹上指哪打哪，秒懂創作者意圖。例如「唐朝盛景」的描繪，避免出現因文化誤解而產生的離題情境。

尤其對原生於中國文化的概念，理解與表現更為精確，得以避免「日本風」與「中國風」混淆，令人啼笑皆非的狀況。例如，與Stable Diffusion在中英文輸入對應唐裝人物風格的Prompts，差異一目了然:

在特定風格的生成中，會原生以中文文化脈絡為身分主體，進行風格創作，例如對於下方有「古建築」的prompt，會預設生成中國古代建築。在創作風格上更加貼合中文創作者身分。

3. 中英雙語，產生效果對齊

AltDiffusion基於Stable Diffusion，透過將原Stable Diffusion中的CLIP替換成AltCLIP，並且用中英文圖文對模型進行進一步的訓練得到。由於 AltCLIP 強大的語言對齊能力，AltDiffusion 的生成效果在英文上與 Stable Diffusion 很接近，在中英文雙語的表現上也體現了一致性。

如「戴帽子小狗」的同義中英文Prompts輸入AltDiffusion後，生成畫面效果基本上對齊，一致性極高：

在「男孩」的畫面增加形容詞為「中國男孩」之後，在原小男孩形象基礎上，精準調整成典型「中國」孩子，在語言控制生成中展現出極佳語言理解能力和精準的生成表達結果。

打通StableDiffusion原始生態

#打通StableDiffusion原始生態

—豐富生態工具與PromptsBook應用，可玩性極佳

特別值得一提的是AltDiffusion 的生態打通能力：

所有支援Stable Diffusion的工具如Stable Diffusion WebUI，DreamBooth等都可應用在我們的中英雙語Diffusion 模型上,為中文AI創作提供了豐富選擇：

1.  Stable Diffusion WebUI 

一個優秀的文圖生成、文圖編輯的網頁工具；當我們把北大夜景圖霍格華茲（prompt: Hogwarts）化，瞬間即可呈現夢幻的魔法世界；

#####2. DreamBooth #########透過少量樣本對模型進行調試以產生特定的風格的工具；透過此工具，在AltDiffusion上利用少量中文圖片即可產生特定風格，例如「大鬧天宮」風格。 ######

3.  充分利用社群Stable Prompts Book

Prompts 對於生成模式非常重要，社群使用者透過大量prompts 嘗試，累積出豐富的生成效果案例。這些寶貴的 prompts 經驗，對於 AltDiffusion 用戶幾乎都適用！

此外，可以透過混合中英文方式去搭配一些神奇的風格和元素，或繼續挖掘對AltDiffusion適用的中文Prompts。

4.  方便中文創作者微調

開源的AltDiffusion提供了中文生成模型的一個基礎，大家可以在這個基礎上用更多特定領域的中文數據進行模型微調，方便中文創作者表達。

以首個雙語AltCLIP 為基石

——全面增強跨語言三大能力，中英對齊、中文更優，極低門檻

語言理解，圖文對齊，跨語言能力，是跨語言研究必備的三種能力。

AltDiffusion 的諸多專業級能力，源自於AltCLIP 以創新性換塔思路，在這三大能力上全面增強：與原CLIP 中英文語言對齊能力大大提高，可以無縫接入Stable Diffusion 等所有建立在原CLIP 上的模型和生態工具；同時賦予其強悍的中文能力,在多項數據集取得中文更優效果。 （詳細解讀請參考技術報告）

值得一提的是，這種對齊方法對訓練多語言多模態表徵模型的門檻大大降低，相對於重新去做中文或英文的圖文對預訓練，只需約1% 的計算資源與圖文對資料。

在全面CLIP benchmark中取得了和英文原版一致效果

在一些檢索類別數據集如Flicker-30K上超過了原版

#Flicker-30K上表現效果超過原版CLIP

##中文ImageNet上zero-shot結果最優

以上是這個懂中文的AI高手，畫出的高山明月太驚艷！中英雙語AltDiffusion模型已開源的詳細內容。更多資訊請關注PHP中文網其他相關文章！