Googleが「Vlogger」モデルをリリース：1枚の写真から10秒の動画が生成される

Google は新しいビデオ フレームワークをリリースしました:

必要なのはあなたの写真とスピーチの録音だけです。 私のスピーチの本物のようなビデオ。 ビデオの長さは可変で、現在の例では最大 10 秒です。

口の形にしても表情

にしても、とても自然であることがわかります。 入力画像が上半身全体をカバーしている場合は、豊富なジェスチャと一致させることもできます。:

ネチズンはそれを終えた後、次のように言いました:

これにより、将来的にはオンラインビデオ会議のために髪を整えたり服を着たりする必要がなくなります。

まあ、ポートレートを撮って音声を録音してください

音声コントロールを使用します。ビデオの生成

VLOGGER

と呼ばれます。

これは主に拡散モデルに基づいており、2 つの部分で構成されています。 1 つはランダムな人間から 3D へのモーション (人間から 3D へのモーション) ディフュージョンモデル 。

もう 1 つは、テキストから画像へのモデルを強化するための新しい拡散アーキテクチャです。

結果を特定のキャラクター画像に適合させるために、VLOGGER はパラメータ画像の姿勢図も入力として受け取ります。

VLOGGER のトレーニングは、非常に大規模なデータセット

上で完了します。 ＃＃＃＃＃＃それはどれくらい大きいですか？

全長 2,200 時間、合計 800,000 文字のビデオが含まれています

。 その中で、テスト セットのビデオの長さも 120 時間、合計 4,000 文字です。

Google によると、VLOGGER の最も優れたパフォーマンスはその多様性です。 下の図に示すように、最終的なピクセル画像の色は暗くなります (赤) を表すとアクションが豊かになります。

(顔と唇の両方、体の動きを含む) など。

具体的には、次の表に示すとおりです。

顔の再現方法では、オーディオやテキストを使用してビデオ生成を制御することはできません。

Audio-to-motion では、音声を 3D の顔の動きにエンコードすることで音声を生成できますが、生成される効果は十分に現実的ではありません。

リップシンクはさまざまなテーマのビデオを処理できますが、シミュレートできるのは口の動きだけです。

比較すると、後者の 2 つの方法である SadTaker と Styletalk は Google VLOGGER に最も近いパフォーマンスを示しますが、本体を制御したりビデオをさらに編集したりできないという点でも劣っています。

ビデオ編集といえば、下図に示すように、VLOGGER モデルのアプリケーションの 1 つがこれです。ワンクリックで左目を閉じるだけです。または、ずっと目を開けたままにしてください:

#別のアプリケーションはビデオ翻訳です:

たとえば、次のように変更します。元のビデオの英語の音声を、同じ口の形でスペイン語に変換します。

ネチズンからの苦情

ついに、「古いルール」に従って、Googleはモデルをリリースせず、今私たちが目にできるのは、より多くの効果と論文だけです。

そうですね、多くの不満があります:

モデルの画質、口の形が正しくない、依然としてロボットのように見えるなど。

したがって、否定的なレビューを躊躇せずに残す人もいます:

これが Google のレベルですか?

「VLOGGER」という名前がちょっと残念です。

#——OpenAI の Sora と比較すると、このネチズンの発言は確かに不合理ではありません。 。 ＃＃＃＃＃＃どう思いますか？

#その他の効果:

全文:

https://enriccorona.github.io/vlogger/paper.pdf