飛び回ったり、口を開けたり、見つめたり、眉毛を上げたりする顔の特徴をAIが完璧に模倣し、ビデオ詐欺を防ぐことは不可能

このような強力な AI の模倣能力は本当に止められません、完全に止められません。 AIの発展は今ここまで進んでいるのか？

前足で顔の特徴を飛び回らせ、後ろ足でもまったく同じ表情を再現します。見つめたり、眉を上げたり、口をとがらせたり、どんなに大げさな表現であっても、それはすべて非常によく模倣されています。

#難易度を上げ、眉を高く上げ、目を大きく開き、口の形も歪んでいる仮想キャラクターアバターも完璧に再現できます表現を再現します。

#左側のパラメータを調整すると、それに応じて右側の仮想アバターの動きも変化します。

口と目をア​​ップで見てください。全く同じとは言えませんが、表情が全く同じとしか言えません(遠い)右）。

この研究は、ミュンヘン工科大学などの機関によるもので、ガウシアンアバターは、表情、ポーズ、表現を作成するために使用できる手法です。視点 (視点) )、完全に制御可能なリアルな頭のアバター。

#論文アドレス: https://arxiv.org/pdf/2312.02069.pdf
紙のホームページ: https://shenhanqian.github.io/gaussian-avatars

コンピュータ ビジョンとグラフィックスの分野, 人間を動的に表現する仮想頭部を作成することは、常に困難な問題でした。特に極端な表情や細部の表現に関しては、シワや髪などの細部を捉えることが非常に難しく、生成された仮想キャラクターには視覚的なアーティファクトが発生することがよくあります。時間の経過とともに、神経放射線場 (NeRF) とその変種は、多視点観察から静的シーンを再構成する際に目覚ましい結果を達成しました。その後の研究により、これらの手法が拡張され、人間に合わせたシナリオの動的なシーン モデリングに NeRF を使用できるようになりました。ただし、これらの手法の欠点は、制御性が低く、新しいポーズや表情にうまく適応できないことです。

最近登場した「3D ガウス スプレー法」手法は、NeRF よりも優れたパフォーマンスを達成します。リアルタイムのビュー合成のための高いレンダリング品質。ただし、この方法では、再構成された出力のアニメーションはサポートされていません。

この論文では、3 次元ガウス スプラットに基づく動的な 3D 人間の頭部表現方法である GaussianAvatars を提案します。

具体的には、FLAME (頭全体をモデリング) メッシュを指定して、各三角形の中心で 3D ガウスを初期化しました。 FLAME メッシュがアニメーション化されると、各ガウス モデルは親三角形に基づいて移動、回転、およびスケーリングされます。次に、3D ガウスはメッシュの上に放射フィールドを形成し、メッシュが正確に位置合わせされていない領域や、特定の視覚要素を再現できない領域を補償します。

仮想キャラクターの高度なリアリズムを維持するために、この記事ではバインディング継承戦略を採用しています。同時に、この論文では、仮想キャラクターの斬新な表情や姿勢をアニメーション化するために、現実性と安定性の維持のバランスをとる方法についても研究しています。研究結果は、既存の研究と比較して、GaussianAvatars が新しいビューのレンダリングとビデオ再生の推進において優れたパフォーマンスを発揮することを示しています

方法の紹介

以下の図 2 に示すように、GaussianAvatars への入力は人間の頭部のマルチビュー ビデオ記録です。各タイム ステップで、GaussianAvatars はフォトメトリック ヘッド トラッカーを使用して、FLAME パラメータをマルチビュー観測および既知のカメラ パラメータと照合します。

#FLAME メッシュの頂点の位置は異なりましたが、トポロジーは同じであったため、研究チームはメッシュの三角形と 3D ガウス スプラットの間に一貫した接続を作成することができました。微分可能なタイル ラスタライザーを使用して、スプラットを画像にレンダリングします。次に、実際の画像の監視により、リアルな人間の頭のアバターが学習されます

#最高の品質を得るには、一連の適応密度制御を介してガウス スプラットによって静的シーンを圧縮し、枝刈りする必要があります。オペレーション。これを達成するために、研究チームは、三角形とスプラットの間の接続を破壊することなく、新しいガウス ポイントを FLAME メッシュにバインドしたままにするバインディング継承戦略を設計しました。

#実験結果

この研究では、新しい遠近合成技術を使用して、再構成の品質を評価し、自己再生によるアニメーションの忠実度を評価します。以下の図 3 は、さまざまな方法間の定性的な比較の結果を示しています。新しいパースペクティブ合成に関しては、すべての方法で妥当なレンダリング結果を生成できます。ただし、PointAvatar の結果を詳しく調べると、固定ポイント サイズが原因でポイント アーティファクトが発生していることがわかります。 3D ガウス異方性スケーリング技術を使用した GaussianAvatar は、この問題を軽減できます。

結論として、表 1 の定量的比較からも同様の結果を引き出すことができます。他の方法と比較して、GaussianAvatars は新しいビューの合成で優れたパフォーマンスを発揮し、自己再現にも優れており、LPIPS における知覚の違いが大幅に減少しています。自己再現は FLAME グリッド トラッキングに基づいており、ターゲット画像と完全に一致していない可能性があることに注意してください。

現実のアバター アニメーションの世界におけるパフォーマンスについて、この研究では図 4 に示す異性間再現実験を実施しました。結果は、アバターがソース俳優のまばたきや口の動きを正確に再現し、しわなどの生き生きとした複雑なダイナミクスを示していることを示しました。

#メソッドのコンポーネントの有効性を検証するために、研究ではアブレーション実験も実施しました。結果は次のとおりです。

以上が飛び回ったり、口を開けたり、見つめたり、眉毛を上げたりする顔の特徴をAIが完璧に模倣し、ビデオ詐欺を防ぐことは不可能の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。