首頁 > 科技週邊 > 人工智慧 > GoogleAI新星轉投Pika:影片生成Lumiere一作,擔任創始科學家

GoogleAI新星轉投Pika:影片生成Lumiere一作,擔任創始科學家

WBOY
發布: 2024-02-26 09:37:46
轉載
678 人瀏覽過

影片產生進展如火如荼,Pika迎來一位大將-

Google研究員Omer Bar-Tal,擔任Pika創始科學家

一個月前,還在Google以共同一作的身份發布影片生成模型Lumiere,效果十分驚艷。

GoogleAI新星轉投Pika:影片生成Lumiere一作,擔任創始科學家

當時網友表示:Google加入影片生成戰局,又有好戲可看了。

GoogleAI新星轉投Pika:影片生成Lumiere一作,擔任創始科學家

Stability AI CEO、Google前同事等在內一些業內人士送上了祝福。

GoogleAI新星轉投Pika:影片生成Lumiere一作,擔任創始科學家
GoogleAI新星轉投Pika:影片生成Lumiere一作,擔任創始科學家

Lumiere一作,剛畢業

Omer Bar-Tal,2021年本科畢業於特拉維夫大學的數學與電腦系,隨後前往魏茨曼科學研究所攻讀電腦碩士,主要聚焦於影像和視訊合成領域的研究。

其論文成果多次被頂會接收,如Text2LIVE(ECCV 2022 Oral)、MultiDiffusion(ICML 2023)、TokenFlow(ICLR 2024)。

以TokenFlow為例,他們提出了一個框架,基於擴散模型實現文字驅動的影片編輯,支援影片編輯任務無需任何訓練或微調。

GoogleAI新星轉投Pika:影片生成Lumiere一作,擔任創始科學家

這次加盟Pika前,他曾是谷歌研究院以Student Researcher身份待了9個月,最後經過7個月的研究以共同一作身份推出了Lumiere。這時候碩士應該還沒畢業。

GoogleAI新星轉投Pika:影片生成Lumiere一作,擔任創始科學家

Lumiere的創新點在於,提出了時空U-Net(STU-Net)架構:將視訊在空間和時間兩個維度同時進行下取樣和上取樣,在網路的中間層得到視訊的壓縮時空表示。

在學習了3000萬影片之後,Lumiere可支援文生影片、影片編輯修復、圖片轉影片以及影片風格化等多種功能。

當時Jeff Dean盛讚:多模態影片生成革命正在發生

GoogleAI新星轉投Pika:影片生成Lumiere一作,擔任創始科學家

威爾史密斯吃麵(Pika版)

官宣加盟Pika消息之後,官方以及投資人等也送上了祝福。

GoogleAI新星轉投Pika:影片生成Lumiere一作,擔任創始科學家

前幾天,還有位Pika華人研究員Yilun Du發布了篇文章, 不過應該剛從MIT博士畢業(也可能還沒畢業),論文單位仍是MIT。

GoogleAI新星轉投Pika:影片生成Lumiere一作,擔任創始科學家

另外在官網還在繼續招募中。

GoogleAI新星轉投Pika:影片生成Lumiere一作,擔任創始科學家


以上是GoogleAI新星轉投Pika:影片生成Lumiere一作,擔任創始科學家的詳細內容。更多資訊請關注PHP中文網其他相關文章!

相關標籤:
來源:51cto.com
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
最新問題
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板