SIGGRAPH2024|상하이 과학기술대학교와 Yingmu가 공동으로 DressCode 제안: 텍스트에서 3D 의류 패턴 생성

AIxiv 칼럼은 본 사이트에서 학술 및 기술 콘텐츠를 게재하는 칼럼입니다. 지난 몇 년 동안 이 사이트의 AIxiv 칼럼에는 전 세계 주요 대학 및 기업의 최고 연구실을 대상으로 한 2,000개 이상의 보고서가 접수되어 학술 교류 및 보급을 효과적으로 촉진하고 있습니다. 공유하고 싶은 훌륭한 작품이 있다면 자유롭게 기여하거나 보고를 위해 연락주시기 바랍니다. 제출 이메일: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com

3D 세대는 생성 인공 지능 및 컴퓨터 그래픽 분야에서 가장 눈길을 끄는 주제 중 하나입니다. 특히 영화, TV, 게임의 표준이 우려됩니다. 제작 과정에서 일반 카테고리의 3D 자산은 수동 모델링이나 스캐닝을 통해 제작되는 경우가 많습니다. 그러나 3D 자산의 중요한 범주인 의류 자산은 3D로 직접 모델링하기보다는 플랫 패턴, 물리적 시뮬레이션과 같은 프로세스에서 파생되는 경우가 많습니다.

Shanghai University of Science and Technology, Yingmo Technology 및 University of Pennsylvania가 공동으로 CG 작업을 완벽하게 지원하고 산업 프로세스와 호환되는 최초의 3D 의류 생성 프레임워크인 DressCode를 제안했습니다. 고품질 렌더링, 편집 가능, 운전 가능, 시뮬레이션된 3D 의류를 생성합니다.

Dresscode는 컴퓨터 그래픽 분야 최고의 국제 저널인 Transactions on Graphics에 승인되었으며, 컴퓨터 그래픽 분야 최고의 국제 컨퍼런스인 SIGGRAPH 2024에서 발표될 예정입니다.

• 프로젝트 링크: https://sites.google.com/view/projectpage-dresscode
• 논문 링크: https://arxiv.org/abs/2401.16465

소개

의류는 인간의 외모에서 중요한 역할을 하며, 이는 디지털 휴먼 창조에 있어서 의복 디지털화의 중요성을 강조합니다. 최근 3D 콘텐츠 제작의 획기적인 발전은 디지털 휴먼 제작에 매우 중요합니다.

그러나 일반적인 생성 방식으로 생성된 메쉬나 신경장은 실제 디지털 의류 생산 공정과 호환되지 않기 때문에 의류 생성에 대한 작업에는 여전히 공백이 있습니다. 카테고리에서는 좋은 결과를 얻지 못했습니다.

이러한 문제를 해결하기 위해 Yingmo Technology와 Shanghai University of Science and Technology의 R&D 팀은 초보자를 위한 디지털 의류 디자인을 단순화하고 개선하는 것을 목표로 텍스트 기반 3D 의류 생성 프레임워크인 DressCode를 제안했습니다. 패션 디자인의 효율성, 가상 체험 및 디지털 인간 창조는 엄청난 잠재력을 제공합니다.

이 프레임워크는 자연어 상호 작용을 통해 CG 프로세스에 친화적인 의류 모델을 생성할 수 있으며, 패턴 완성 및 질감 편집도 용이하게 하여 사용자 친화적인 상호 작용을 통해 디자인 프로세스를 단순화합니다. 이 기사에서는 DressCode의 주요 기능을 자세히 소개하고 실제 디자인 시나리오에서 응용 가능성을 살펴보겠습니다.

SewingGPT 프레임워크 개요

패턴 생성 모듈의 경우, 논문에서는 텍스트 프롬프트를 통해 재봉 패턴을 생성하기 위한 GPT 기반 자동 회귀 모델인 SewingGPT를 제안합니다. 먼저 재봉 패턴 매개변수를 일련의 수량화된 토큰으로 변환하고 디코더 전용 변환기를 교육합니다. 그리고 Transformer에 텍스트 프롬프트 단어의 교차 주의를 통합함으로써 텍스트를 사용하여 생성된 결과를 안내할 수 있습니다.

훈련이 완료된 후 모델은 사용자 조건에 따라 자동 회귀적으로 토큰 시퀀스를 생성하고 생성된 시퀀스를 역양자화하여 생성된 재봉 패턴 매개변수를 얻을 수 있습니다.

DressCode 프레임워크 개요

SewingGPT를 사용하면 프레임워크는 텍스트 프롬프트에서 직접 다양한 재봉 패턴을 생성할 수 있습니다. 머티리얼 매핑은 CG 파이프라인에서 매우 중요하므로 프레임워크는 이러한 패턴에 해당하는 물리적 기반 텍스처를 생성하여 의상 디자인 워크플로에 더욱 밀접하게 맞춰줍니다.

저자가 제안한 DressCode 프레임워크는 SewingGPT 및 PBR 텍스처 생성기를 사용하여 3D 의류의 기하학적 부분과 텍스처 부분을 생성하고, 나아가 대규모 언어 모델을 활용하여 자연어 상호 작용을 통해 사용자를 위한 맞춤형 의류를 생성합니다.

텍스트 프롬프트를 통해 재봉 패턴과 질감의 생성을 실현한 후 디자이너가 데이터 세트 형식의 프롬프트에 의존하는 대신 자연어를 사용하여 생성기와 상호 작용할 수 있도록 저자는 GPT-를 채택했습니다. 4 사용자의 자연어 입력을 해석하고 기하학적 프롬프트 단어와 질감 프롬프트 단어를 생성하는 콘텐츠 학습을 수행합니다.

이러한 프롬프트 단어를 SewingGPT 및 PBR 텍스처 생성기에 입력한 후 생성된 재봉 패턴 및 텍스처를 얻고 시뮬레이션 및 렌더링을 통해 최종 결과를 얻습니다. 동시에 생성된 의류 및 PBR 텍스처는 산업용 소프트웨어에 완벽하게 통합될 수 있으며, 인간 모델로 애니메이션 및 구동이 가능하고, 다양한 조명 아래에서 렌더링되어 생생하고 사실적인 효과를 보장할 수 있습니다.

패턴 완성 능력

SewingGPT는 자동 회귀 모델 덕분에 모델이 제공하는 확률 예측을 활용해 부분 패턴 정보를 입력받아 전체 재봉 패턴을 완성할 수 있습니다. 또한, 텍스트 프롬프트를 입력하면 모델이 재봉 패턴을 완성하도록 안내할 수 있습니다. 예를 들어, 소매를 준 후 모델은 다양한 프롬프트에 따라 다양한 재봉 패턴을 완성할 수 있습니다. 이를 통해 사용자는 부분 패턴을 수동으로 디자인하고, SewingGPT를 사용하여 영감을 얻고, 텍스트 프롬프트를 기반으로 의류를 완성할 수 있습니다.

텍스처 편집 능력

최근 3D 생성 작업에서 구조화된 UV 매핑을 생성할 수 없다는 점은 실제 응용 시나리오에 큰 장애물이며, 특히 의류를 생성할 때 더욱 그렇습니다. 실제 설계 시나리오에 사용됩니다. 본 논문에서 제안하는 생성 방법은 재봉 패턴 표현을 활용하여 각 패턴에 대해 고유하고 구조화된 UV 맵을 생성할 수 있습니다. 또한 이를 통해 사용자는 특정 위치의 텍스처를 쉽게 편집할 수 있어 텍스처 맵의 효율적인 후처리가 지원됩니다.

Applications and Outlook

DressCode 프레임워크는 재봉 패턴을 기반으로 한 최초의 의류 생성 작업으로 초보자와 전문가 모두에게 탁월한 결과를 제공합니다. 디자이너는 간단한 텍스트 프롬프트를 통해 고품질 재봉 패턴과 PBR 텍스처를 생성하여 의류 디자인 프로세스를 크게 단순화할 수 있습니다.

DressCode의 사용 용이성과 혁신적인 접근 방식은 디지털 의류의 미래를 주도할 것을 약속합니다. 봉제 패턴을 기반으로 한 이러한 생성 과제는 디지털 피플이 만들어가는 가상 시착, 패션 디자인, 디지털 의류 개발을 촉진할 것이며 우리가 함께 기대하는 바입니다.

위 내용은 SIGGRAPH2024|상하이 과학기술대학교와 Yingmu가 공동으로 DressCode 제안: 텍스트에서 3D 의류 패턴 생성의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!