ホームページ テクノロジー周辺機器 AI SIGGRAPH2024|上海科技大学とYingmuがDressCodeを共同提案:テキストから3D衣服パターンを生成

SIGGRAPH2024|上海科技大学とYingmuがDressCodeを共同提案:テキストから3D衣服パターンを生成

Jul 16, 2024 pm 09:04 PM
業界 3D生成

SIGGRAPH2024|上海科技大学とYingmuがDressCodeを共同提案:テキストから3D衣服パターンを生成
AIxivコラムは、当サイトが学術的・技術的な内容を掲載するコラムです。過去数年間で、このサイトの AIxiv コラムには 2,000 件を超えるレポートが寄せられ、世界中の主要な大学や企業のトップ研究室がカバーされ、学術交流と普及を効果的に促進しています。共有したい優れた作品がある場合は、お気軽に寄稿するか、報告のために当社までご連絡ください。提出メール: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com

3D 生成は、生成人工知能とコンピューター グラフィックスの分野で最も注目を集めているトピックの 1 つです。映画、テレビ、ゲームの標準は、特に業界によって懸念されています。制作プロセスでは、一般的なカテゴリの 3D アセットが手動のモデリングまたはスキャンを通じて作成されることがよくあります。ただし、3D アセットの重要なカテゴリである衣類アセットは、3D で直接モデリングするのではなく、フラット パターンや物理シミュレーションなどのプロセスから派生することがよくあります。

上海科技大学、Yingmo Technology、ペンシルバニア大学は共同で、CG 操作を完全にサポートし、産業プロセスと互換性のある初の 3D 衣服生成フレームワークである DressCode を、テキスト ガイダンスを通じて自動的に提案しました。高品質のレンダリング、編集可能、駆動可能な、シミュレートされた 3D 衣服を生成します。 SIGGRAPH2024|上海科技大学とYingmuがDressCodeを共同提案:テキストから3D衣服パターンを生成
Dresscode は、コンピューター グラフィックス分野のトップ国際ジャーナルである Transactions on Graphics に採択され、コンピューター グラフィックスに関するトップの国際会議である SIGGRAPH 2024 で発表されます。

SIGGRAPH2024|上海科技大学とYingmuがDressCodeを共同提案:テキストから3D衣服パターンを生成

  • プロジェクトリンク: https://sites.google.com/view/projectpage-dresscode
  • ペーパーリンク: https://arxiv.org/abs/2401.16465

はじめに

衣服は人間の外見において重要な役割を果たしており、デジタルヒューマンの作成における衣服のデジタル化の重要性が強調されています。 3D コンテンツ作成における最近の劇的な進歩は、デジタル ヒューマンの作成に不可欠です。

しかし、一般的な生成方法で生成されたメッシュやニューラルフィールドは実際のデジタル衣類の生産プロセスと互換性がないため、このタイプの方法を衣類に直接適用することはまだできていません。カテゴリではあまり良い結果が得られませんでした。

これらの問題を解決するために、Yingmo Technology と上海科技大学の研究開発チームは、初心者向けのデジタル衣類のデザインを簡素化し、初心者向けのデジタル衣類のデザインを改善することを目的として、テキスト駆動型 3D 衣類生成フレームワークである DressCode を提案しました。ファッションデザインの効率化、バーチャル試着、デジタルヒューマンの作成は大きな可能性をもたらします。

このフレームワークは、自然言語インタラクションを通じて CG プロセスに適した衣服モデルを生成することができ、また、パターンの完成とテクスチャ編集を容易にし、ユーザーフレンドリーなインタラクションを通じてデザインプロセスを簡素化します。この記事では、DressCode の主な機能を詳細に紹介し、実際の設計シナリオでの応用の可能性を探ります。

SewingGPT フレームワークの概要

SIGGRAPH2024|上海科技大学とYingmuがDressCodeを共同提案:テキストから3D衣服パターンを生成

パターン生成モジュールとして、この論文ではSewingGPTを提案しています。これは、テキストプロンプトを通じて縫製パターンを生成するためのGPTに基づく自己回帰モデルです。まず、縫製パターンのパラメーターを一連の定量化されたトークンに変換し、Decoder 専用の Transformer をトレーニングします。また、テキスト プロンプト ワードの相互注意を Transformer に統合することにより、生成された結果をガイドするためにテキストを使用できます。

トレーニングが完了すると、モデルはユーザーの条件に従って自己回帰的にトークンシーケンスを生成し、生成されたシーケンスを逆量子化して、生成された縫製パターンパラメータを取得できます。

DressCodeフレームワークの概要

SIGGRAPH2024|上海科技大学とYingmuがDressCodeを共同提案:テキストから3D衣服パターンを生成

SewingGPTを使用すると、フレームワークはテキストプロンプトから直接多様な縫製パターンを生成できます。 CG パイプラインではマテリアル マッピングが非常に重要であるため、フレームワークはこれらのパターンに対応する物理ベースのテクスチャを生成し、衣装デザインのワークフローとより密接に連携します。

著者らが提案した DressCode フレームワークは、SewingGPT と PBR テクスチャ ジェネレーターを使用して 3D 衣服の幾何学的パーツとテクスチャ パーツを生成し、さらに大規模な言語モデルを利用して自然言語対話を通じてユーザー向けにカスタマイズされた衣服を作成します。

テキストプロンプトによる縫製パターンとテクスチャの生成を実現した後、デザイナーがデータセット形式のプロンプトに依存するのではなく、実際のシナリオで自然言語を使用してジェネレーターと対話できるようにするために、著者らは GPT を採用しました。 4 コンテンツ学習を実行して、ユーザーの自然言語入力を解釈し、幾何学的なプロンプト ワードとテクスチャ プロンプト ワードを生成します。

これらのプロンプトワードが SewingGPT と PBR テクスチャジェネレーターに入力された後、生成された縫製パターンとテクスチャが取得され、シミュレーションとレンダリングを通じて最終結果が得られます。同時に、生成された衣服と PBR テクスチャは産業用ソフトウェアにシームレスに統合でき、アニメーション化して人体モデルで駆動し、さまざまな照明の下でレンダリングして鮮やかでリアルな効果を保証できます。

SIGGRAPH2024|上海科技大学とYingmuがDressCodeを共同提案:テキストから3D衣服パターンを生成

パターン完成機能

自己回帰モデルのおかげで、SewingGPTは、部分的なパターン情報を受け取った後、モデルが提供する確率予測を利用することで縫製パターン全体を完成させることができます。さらに、テキスト プロンプトを入力すると、モデルが縫製パターンを完成するようにガイドできます。たとえば、袖が与えられた後、モデルはさまざまなプロンプトに従ってさまざまな縫製パターンを完成させることができます。これにより、ユーザーは部分的なパターンを手動でデザインし、インスピレーションとして SewingGPT を使用し、テキスト プロンプトに基づいて衣服を完成させることができます。

SIGGRAPH2024|上海科技大学とYingmuがDressCodeを共同提案:テキストから3D衣服パターンを生成

テクスチャ編集能力

最近の 3D 生成タスクでは、構造化 UV マッピングを生成できないことが、実際のアプリケーション シナリオ、特に衣服を生成する場合の大きな障害となっています。実際の設計シナリオで使用されます。本論文で提案する縫製パターン表現を利用した生成手法により、パターンごとに独自かつ構造化されたUVマップを作成することが可能となる。これにより、ユーザーは特定の位置のテクスチャを簡単に編集できるようになり、テクスチャ マップの効率的な後処理がサポートされます。

SIGGRAPH2024|上海科技大学とYingmuがDressCodeを共同提案:テキストから3D衣服パターンを生成

アプリケーションと Outlook

DressCode フレームワークは、縫製パターンに基づいた最初の衣服生成作業として、デザイナーとプロの両方が初心者でも簡単にできるようにすることができます。デザイナーはシンプルなテキスト プロンプトを通じて高品質の縫製パターンと PBR テクスチャを生成できるため、衣服のデザイン プロセスが大幅に簡素化されます。

SIGGRAPH2024|上海科技大学とYingmuがDressCodeを共同提案:テキストから3D衣服パターンを生成

DressCode の使いやすさと革新的なアプローチは、デジタル衣料品の未来を推進することを約束します。このような縫製パターンに基づく生成タスクは、デジタル人材による仮想試着、ファッションデザイン、デジタル衣類の開発を促進するものであり、私たちはそれを一緒に楽しみにしています。

以上がSIGGRAPH2024|上海科技大学とYingmuがDressCodeを共同提案:テキストから3D衣服パターンを生成の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

SublimeText3 Mac版

SublimeText3 Mac版

神レベルのコード編集ソフト(SublimeText3)

DeepMind ロボットが卓球をすると、フォアハンドとバックハンドが空中に滑り出し、人間の初心者を完全に打ち負かしました DeepMind ロボットが卓球をすると、フォアハンドとバックハンドが空中に滑り出し、人間の初心者を完全に打ち負かしました Aug 09, 2024 pm 04:01 PM

でももしかしたら公園の老人には勝てないかもしれない?パリオリンピックの真っ最中で、卓球が注目を集めています。同時に、ロボットは卓球のプレーにも新たな進歩をもたらしました。先ほど、DeepMind は、卓球競技において人間のアマチュア選手のレベルに到達できる初の学習ロボット エージェントを提案しました。論文のアドレス: https://arxiv.org/pdf/2408.03906 DeepMind ロボットは卓球でどれくらい優れていますか?おそらく人間のアマチュアプレーヤーと同等です: フォアハンドとバックハンドの両方: 相手はさまざまなプレースタイルを使用しますが、ロボットもそれに耐えることができます: さまざまなスピンでサーブを受ける: ただし、ゲームの激しさはそれほど激しくないようです公園の老人。ロボット、卓球用

初のメカニカルクロー!元羅宝は2024年の世界ロボット会議に登場し、家庭に入ることができる初のチェスロボットを発表した 初のメカニカルクロー!元羅宝は2024年の世界ロボット会議に登場し、家庭に入ることができる初のチェスロボットを発表した Aug 21, 2024 pm 07:33 PM

8月21日、2024年世界ロボット会議が北京で盛大に開催された。 SenseTimeのホームロボットブランド「Yuanluobot SenseRobot」は、全製品ファミリーを発表し、最近、世界初の家庭用チェスロボットとなるYuanluobot AIチェスプレイロボット - Chess Professional Edition(以下、「Yuanluobot SenseRobot」という)をリリースした。家。 Yuanluobo の 3 番目のチェス対局ロボット製品である新しい Guxiang ロボットは、AI およびエンジニアリング機械において多くの特別な技術アップグレードと革新を経て、初めて 3 次元のチェスの駒を拾う機能を実現しました。家庭用ロボットの機械的な爪を通して、チェスの対局、全員でのチェスの対局、記譜のレビューなどの人間と機械の機能を実行します。

クロードも怠け者になってしまった!ネチズン: 自分に休日を与える方法を学びましょう クロードも怠け者になってしまった!ネチズン: 自分に休日を与える方法を学びましょう Sep 02, 2024 pm 01:56 PM

もうすぐ学校が始まり、新学期を迎える生徒だけでなく、大型AIモデルも気を付けなければなりません。少し前、レディットはクロード