SIGGRAPH2024｜上海科技大学とYingmuがDressCodeを共同提案：テキストから3D衣服パターンを生成

AIxivコラムは、当サイトが学術的・技術的な内容を掲載するコラムです。過去数年間で、このサイトの AIxiv コラムには 2,000 件を超えるレポートが寄せられ、世界中の主要な大学や企業のトップ研究室がカバーされ、学術交流と普及を効果的に促進しています。共有したい優れた作品がある場合は、お気軽に寄稿するか、報告のために当社までご連絡ください。提出メール: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com

3D 生成は、生成人工知能とコンピューター グラフィックスの分野で最も注目を集めているトピックの 1 つです。映画、テレビ、ゲームの標準は、特に業界によって懸念されています。制作プロセスでは、一般的なカテゴリの 3D アセットが手動のモデリングまたはスキャンを通じて作成されることがよくあります。ただし、3D アセットの重要なカテゴリである衣類アセットは、3D で直接モデリングするのではなく、フラット パターンや物理シミュレーションなどのプロセスから派生することがよくあります。

上海科技大学、Yingmo Technology、ペンシルバニア大学は共同で、CG 操作を完全にサポートし、産業プロセスと互換性のある初の 3D 衣服生成フレームワークである DressCode を、テキスト ガイダンスを通じて自動的に提案しました。高品質のレンダリング、編集可能、駆動可能な、シミュレートされた 3D 衣服を生成します。

Dresscode は、コンピューター グラフィックス分野のトップ国際ジャーナルである Transactions on Graphics に採択され、コンピューター グラフィックスに関するトップの国際会議である SIGGRAPH 2024 で発表されます。

• プロジェクトリンク: https://sites.google.com/view/projectpage-dresscode
• ペーパーリンク: https://arxiv.org/abs/2401.16465

はじめに

衣服は人間の外見において重要な役割を果たしており、デジタルヒューマンの作成における衣服のデジタル化の重要性が強調されています。 3D コンテンツ作成における最近の劇的な進歩は、デジタル ヒューマンの作成に不可欠です。

しかし、一般的な生成方法で生成されたメッシュやニューラルフィールドは実際のデジタル衣類の生産プロセスと互換性がないため、このタイプの方法を衣類に直接適用することはまだできていません。カテゴリではあまり良い結果が得られませんでした。

これらの問題を解決するために、Yingmo Technology と上海科技大学の研究開発チームは、初心者向けのデジタル衣類のデザインを簡素化し、初心者向けのデジタル衣類のデザインを改善することを目的として、テキスト駆動型 3D 衣類生成フレームワークである DressCode を提案しました。ファッションデザインの効率化、バーチャル試着、デジタルヒューマンの作成は大きな可能性をもたらします。

このフレームワークは、自然言語インタラクションを通じて CG プロセスに適した衣服モデルを生成することができ、また、パターンの完成とテクスチャ編集を容易にし、ユーザーフレンドリーなインタラクションを通じてデザインプロセスを簡素化します。この記事では、DressCode の主な機能を詳細に紹介し、実際の設計シナリオでの応用の可能性を探ります。

SewingGPT フレームワークの概要

パターン生成モジュールとして、この論文ではSewingGPTを提案しています。これは、テキストプロンプトを通じて縫製パターンを生成するためのGPTに基づく自己回帰モデルです。まず、縫製パターンのパラメーターを一連の定量化されたトークンに変換し、Decoder 専用の Transformer をトレーニングします。また、テキスト プロンプト ワードの相互注意を Transformer に統合することにより、生成された結果をガイドするためにテキストを使用できます。

トレーニングが完了すると、モデルはユーザーの条件に従って自己回帰的にトークンシーケンスを生成し、生成されたシーケンスを逆量子化して、生成された縫製パターンパラメータを取得できます。

DressCodeフレームワークの概要

SewingGPTを使用すると、フレームワークはテキストプロンプトから直接多様な縫製パターンを生成できます。 CG パイプラインではマテリアル マッピングが非常に重要であるため、フレームワークはこれらのパターンに対応する物理ベースのテクスチャを生成し、衣装デザインのワークフローとより密接に連携します。

著者らが提案した DressCode フレームワークは、SewingGPT と PBR テクスチャ ジェネレーターを使用して 3D 衣服の幾何学的パーツとテクスチャ パーツを生成し、さらに大規模な言語モデルを利用して自然言語対話を通じてユーザー向けにカスタマイズされた衣服を作成します。

テキストプロンプトによる縫製パターンとテクスチャの生成を実現した後、デザイナーがデータセット形式のプロンプトに依存するのではなく、実際のシナリオで自然言語を使用してジェネレーターと対話できるようにするために、著者らは GPT を採用しました。 4 コンテンツ学習を実行して、ユーザーの自然言語入力を解釈し、幾何学的なプロンプト ワードとテクスチャ プロンプト ワードを生成します。

これらのプロンプトワードが SewingGPT と PBR テクスチャジェネレーターに入力された後、生成された縫製パターンとテクスチャが取得され、シミュレーションとレンダリングを通じて最終結果が得られます。同時に、生成された衣服と PBR テクスチャは産業用ソフトウェアにシームレスに統合でき、アニメーション化して人体モデルで駆動し、さまざまな照明の下でレンダリングして鮮やかでリアルな効果を保証できます。

パターン完成機能

自己回帰モデルのおかげで、SewingGPTは、部分的なパターン情報を受け取った後、モデルが提供する確率予測を利用することで縫製パターン全体を完成させることができます。さらに、テキスト プロンプトを入力すると、モデルが縫製パターンを完成するようにガイドできます。たとえば、袖が与えられた後、モデルはさまざまなプロンプトに従ってさまざまな縫製パターンを完成させることができます。これにより、ユーザーは部分的なパターンを手動でデザインし、インスピレーションとして SewingGPT を使用し、テキスト プロンプトに基づいて衣服を完成させることができます。

テクスチャ編集能力

最近の 3D 生成タスクでは、構造化 UV マッピングを生成できないことが、実際のアプリケーション シナリオ、特に衣服を生成する場合の大きな障害となっています。実際の設計シナリオで使用されます。本論文で提案する縫製パターン表現を利用した生成手法により、パターンごとに独自かつ構造化されたUVマップを作成することが可能となる。これにより、ユーザーは特定の位置のテクスチャを簡単に編集できるようになり、テクスチャ マップの効率的な後処理がサポートされます。

アプリケーションと Outlook

DressCode フレームワークは、縫製パターンに基づいた最初の衣服生成作業として、デザイナーとプロの両方が初心者でも簡単にできるようにすることができます。デザイナーはシンプルなテキスト プロンプトを通じて高品質の縫製パターンと PBR テクスチャを生成できるため、衣服のデザイン プロセスが大幅に簡素化されます。

DressCode の使いやすさと革新的なアプローチは、デジタル衣料品の未来を推進することを約束します。このような縫製パターンに基づく生成タスクは、デジタル人材による仮想試着、ファッションデザイン、デジタル衣類の開発を促進するものであり、私たちはそれを一緒に楽しみにしています。

以上がSIGGRAPH2024｜上海科技大学とYingmuがDressCodeを共同提案：テキストから3D衣服パターンを生成の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。