圖生影片又有新玩法。
騰訊混元聯合港科大、清華大學聯合推出肖像動畫生成框架“Follow Your Emoji”，可以透過人臉骨架資訊產生任意風格的臉部動畫。基於演算法革新和數據積累，「Follow Your Emoji」可以支持對臉部進 行精細化的控制，包括眉毛、眼睛、翻白眼等細節，動物表情包也可以輕鬆「拿捏」。
Follow Your Emoji不僅支援單一表情多重肖像的生成，也支援單一肖像多表情的生成。
近年來，擴散模型展示了比舊的對抗式生成網路（GAN）更好的生成能力。一些方法利用強大的基礎擴散模型進行高品質視訊和影像生成，但這些基礎模型無法直接在動畫過程中保留參考肖像的身份特徵，導致影片結果顯示失真和不切實際的偽影。這是肖像動畫任務的主要挑戰之一。
圖：論文整體流程圖，上半部是訓練流程，下半部是測試流程
本研究中，研究員提出了一個新穎的基於擴散模型的肖像動畫框架Follow-Your-Emoji。演算法上有兩大主要創新。
這個表情控制訊號能夠有效地引導動畫生成。研究員們透過肖像（面部）3D關鍵點來定位訊息，由於3D關鍵點具有固有的規範屬性，因此可以有效地將目標動作與參考肖像對齊，避免出現失真，導致生成的視頻面部變形。這項技術的應用範圍非常廣泛，可以用於生產的視訊臉部變形。
其次，該研究還提出了一種臉部細粒度損失函數，以幫助模型專注於捕捉微妙的表情變化和參考照片中肖像的詳細外觀。具體地，作者首先利用面部掩模和表情掩模與作者的表情感知信號，然後計算這些掩模區域中地面真實值和預測結果之間的空間距離，來實現表情包對原始肖像的高度還原。
為了訓練模型，本項研究也建構了一個高品質的表情訓練資料集，其中包含18種誇張的表情和來自115位主體的20分鐘真人影片。同時，研究採用了漸進式生成策略，使方法能夠擴展到具有高保真度和穩定性的長期動畫合成。
圖：論文的定量實驗結果和定性試驗結果展示，相比之前的方法，Follow-Your-Emoji可以實現更好的效果
最後，為了解決肖像動畫領域缺乏基準測試的問題，研究還引入了一個名為EmojiBench的綜合基準測試，其中包括410個各種風格的肖像動畫視頻，展示了廣泛的面部表情和頭部姿勢。使用EmojiBench對Follow-YourEmoji進行了全面評估，評估結果表明，本方法在處理訓練領域之外的肖像和動作時表現出色，與現有的基準方法相比，本方法在定量和定性上均表現更好，提供了出色的視覺保真度身份表現和精確的動作渲染。
網址：Follow-Your-Emoji: Freestyle Portrait Animation
論文：[2406.01900] Follow-Your-Emoji: Fine-Controllable and Expressive Freestyle Portrait Animation
以上是騰訊混元聯合港科大及清華推出「Follow Your Emoji」， 一鍵讓照片變表情包的詳細內容。更多資訊請關注PHP中文網其他相關文章！
