NVIDIA、ビデオコンテンツを高精度の3Dモデルに変換できるNeuralangelo AIモデルを発表

IT House News 6 月 2 日、Nvidia は今週、ビデオ クリップを詳細レベルとテクスチャの豊富な 3D モデルに変換できる Neuralangelo と呼ばれる AI モデルのリリースを発表しました。

▲ 画像ソース NVIDIA

IT House が問い合わせたところ、ビデオ コンテンツに基づいて 3D モデルを生成する AI がいくつかあることがわかりましたが、これらの AI はコントラストの低いビデオに直面すると起動できないことがよくあります。 NVIDIA の Neuralangelo モデルは、インスタント ニューラル グラフィックス プリミティブを使用し、独自のインスタント NeRF テクノロジを活用しているため、コントラストの低いビデオでも微妙なディテールをキャプチャして、より商業的な価値のある 3D モデルに変換できます。

▲ 画像ソース NVIDIA

NVIDIA は、Neuralangelo の独自性が主にその「精度」と「汎用性」に反映されていることを強調します。

• 「精度」とは、モデルが屋根瓦、ガラス板、滑らかな大理石などの複雑なマテリアルのテクスチャを正確に表現できることを意味します。
「ユニバーサル」とは、クリエイターがスマートフォンで撮影したビデオ映像を使用するだけでリアルなオブジェクトを作成し、それを自分のプロジェクトに組み込むことができることを意味します。

▲ 画像ソース NVIDIA

Neuralangelo モデルは、さまざまな角度から撮影したアイテムのビデオを入力素材として使用し、クリエイターが必要とするモデルを生成します。 Neuralangelo がビデオ内のカメラの動きを決定すると、モデルの 3D アウトラインを生成し、その上に詳細を彫刻し始めます。

▲ 画像ソース NVIDIA

Nvidia は、6 月 18 日から 22 日まで開催される Computer Vision and Pattern Recognition (CVPR) カンファレンスで Neuralangelo モデルをリリースする予定です。 NVIDIA は社内デモンストレーションで、Neuralangelo モデルで復元されたミケランジェロの有名な彫刻「ダビデ像」、ベイエリアにある NVIDIA のオフィス、フラットベッド トレーラーなどの日用品の 3D 復元モデルを展示しました。

▲ 画像ソース NVIDIA

Neuralangelo に加えて、Nvidia がカンファレンスで展示したモデルには、DiffCollage と呼ばれるモデルも含まれていました。 DiffCollage は、テキスト プロンプトを通じてビデオを生成できる AI モデルで、360 度のパノラマ画像やループするダイナミック画像を生成し、これらの画像を特定のビデオに展開できます。

NVIDIA Research のシニア ディレクターであり、この論文の著者である Ming-Yu Liu は、この研究の重要性について次のように述べています。

Neuralangelo が提供する 3D 再構築機能は、クリエイターに多大なメリットをもたらし、デジタル世界で現実世界を再構築するのに役立ちます。このツールにより、開発者は最終的に、小さな彫像であれ、大きな建物であれ、詳細なオブジェクトをビデオ ゲームや産業用デジタル ツインの仮想環境にインポートできるようになります。

IT House の友人は、この論文の具体的な内容をここで見つけることができます。

以上がNVIDIA、ビデオコンテンツを高精度の3Dモデルに変換できるNeuralangelo AIモデルを発表の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。