DreamFace: 一文で 3D デジタル ヒューマンを生成しますか?

現在、科学技術の急速な発展に伴い、生成型人工知能やコンピュータグラフィックス分野の研究がますます注目を集めており、映画やテレビの制作、ゲーム開発などの業界は大きな課題とチャンスに直面しています。この記事では、3D 生成分野の研究について紹介します。DreamFace は、プロダクション対応の 3D アセット生成をサポートする初のテキストガイドによるプログレッシブ 3D 生成フレームワークで、テキスト生成主導の 3D 超現実的なデジタル ピープルを可能にします。

この作品は、コンピュータ グラフィックス分野のトップ国際ジャーナルである Transactions on Graphics に受理され、コンピュータ グラフィックスに関するトップの国際会議である SIGGRAPH 2023 で発表される予定です。

#プロジェクトのウェブサイト: https://sites.google.com/view/dreamface

論文のプレプリント版: https://arxiv.org/abs/2304.03117

Webデモ: https://hyperhuman.top

##HuggingFace Space:https://huggingface.co/spaces/DEEMOSTECH/ChatAvatar #はじめに

テキストと画像の生成技術における大きな進歩以来、3D 生成技術は徐々に科学研究と産業界の注目を集めるようになりました。しかし、現在市場にある 3D 生成テクノロジーは、CG パイプラインの互換性の問題、精度の問題、実行速度の問題など、依然として多くの課題に直面しています。

これらの問題を解決するために、Yingmo Technology と上海科技大学の研究開発チームは、テキストガイドによるプログレッシブ 3D 生成フレームワークである DreamFace を提案しました。このフレームワークは、CG 制作標準に準拠した 3D アセットを、より高い精度、より高速な実行速度、より優れた CG パイプライン互換性で直接生成できます。この記事では、DreamFace の主な機能を詳細に紹介し、映画やテレビの制作、ゲーム開発、その他の業界での応用の可能性を探ります。

DreamFace フレームワークの概要

##DreamFace フレームワークには、主に 3 つのモジュールが含まれています: ジオメトリ生成、物理ベースのマテリアル拡散生成とアニメーション機能生成。これら 3 つのモジュールは相互に補完し、効率的で信頼性の高い 3D 生成テクノロジーを実現します。

#ジオメトリの生成

##ジオメトリ生成モジュール中心的なタスクは、テキスト プロンプトと一致する幾何学的モデルを生成することです。 DreamFace は、CLIP (Contrastive Language-Image Pre-Training) に基づく選択フレームワークを採用しています。これは、最初に顔の幾何学的パラメータ空間内でランダムにサンプリングされた候補から最適な大まかな幾何学モデルを選択し、次にそれを暗黙的拡散モデル (LDM) 幾何学的モデルを通じて彫刻します。頭部モデルとテキスト キューの一貫性を高めるための詳細。さらに、このフレームワークは、テキスト プロンプトに基づいたヘア スタイルと色の生成をサポートします。

#物理ベースの材料拡散生成

物理ベースのマテリアル拡散生成モジュールは、予測されたジオメトリやテキストの手がかりと一致する顔のテクスチャを予測するように設計されています。 DreamFace はまず、収集された大規模な UV マテリアル データセットで事前トレーニングされた LDM を微調整し、2 つの LDM 拡散モデルを取得しました。次に、共同トレーニング スキームを使用して 2 つの拡散プロセスを調整します。1 つは UV テクスチャ マップの直接ノイズ除去用で、もう 1 つは教師付きレンダリング イメージ用です。

作成されたテクスチャ マップに望ましくない特徴や照明状況が含まれないようにしながら、多様性を維持するために、キュー学習戦略が設計されました。チームは、高品質の拡散マップを生成するために 2 つの方法を使用しています: (1) プロンプト チューニング。手作りのドメイン固有のテキスト キューとは異なり、DreamFace は 2 つのドメイン固有の連続テキスト キュー Cd および Cu を対応するテキスト キューと組み合わせます。これらは U-Net デノイザー トレーニング中に最適化され、不安定性や時間のかかるプロンプトの手動作成を回避します。 (2) 顔以外の部分をマスキングします。 LDM ノイズ除去プロセスは、結果として得られる拡散マップに不要な要素が含まれないようにするために、非顔領域マスクによってさらに制約されます。

最後に、高品質のレンダリングのために超解像度モジュールを介して 4K 物理ベースのテクスチャが生成されます。

##アニメーション アビリティの生成

##DreamFace生成されたモデルにはアニメーション機能があります。固有の変形を予測し、結果のニュートラル モデルをアニメーション化することで、パーソナライズされたアニメーションを生成します。 DreamFace のニューラル フェイシャル アニメーション アプローチは、表情制御に一般的な BlendShape を使用するアプローチと比較して、より細かい表情の詳細を提供し、パフォーマンスを詳細にキャプチャします。

アプリケーションと Outlook

DreamFace フレームワークは、有名人の生成とキャラクターの生成において、次のような成果を上げています。素晴らしい結果が得られました。さらに、キューやスケッチを使用したテクスチャ編集は、エイジングやメイクアップなどのグローバル編集エフェクトに対してサポートされています。さらにマスクやスケッチを組み合わせることで、タトゥーやヒゲ、あざなどさまざまな効果を生み出すことができます。

DreamFace のプログレッシブ生成フレームワークは、複雑な 3D 生成タスクに対する効果的なソリューションを提供し、同様の研究と技術をさらに促進することが期待されています。発達。また、物理ベースのマテリアル拡散生成やアニメーション機能生成により、映画やテレビ制作、ゲーム開発などの関連業界への3D生成技術の応用が促進され、今後の発展と応用に注目していきたいと思います。

以上がDreamFace: 一文で 3D デジタル ヒューマンを生成しますか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。