DreamFace: 한 문장으로 3D 디지털 휴먼을 생성하시겠습니까?

오늘날 과학과 기술의 급속한 발전으로 인해 생성 인공 지능 및 컴퓨터 그래픽 분야의 연구가 점점 더 주목을 받고 있습니다. 영화, TV 제작, 게임 개발 등의 산업은 엄청난 도전과 기회에 직면해 있습니다. 이 기사에서는 3D 생성 분야의 연구인 DreamFace를 소개합니다. DreamFace는 Production-Ready 3D 자산 생성을 지원하는 최초의 텍스트 기반 프로그레시브 3D 생성 프레임워크로, 텍스트 생성 기반 3D 초현실적 디지털 인물을 구현합니다.

이 작품은 컴퓨터 그래픽 분야 최고의 국제 저널인 Transactions on Graphics에 게재되었으며, 최고의 국제 컴퓨터 그래픽 컨퍼런스인 SIGGRAPH 2023에서 발표될 예정입니다.

프로젝트 웹사이트: https://sites.google.com/view/dreamface

사전 인쇄 용지: https://arxiv.org/abs/2304.03117

웹 데모: https://hyperhuman.top

HuggingFace Space: https://huggingface.co/spaces/DEEMOSTECH/ChatAvatar

소개

자체 텍스트 및 이미지 생성 기술 이후 획기적인 발전을 이룬 3D 생성 기술은 점차 과학 연구와 산업의 초점이 되었습니다. 그러나 현재 시중에 나와 있는 3D 생성 기술은 CG 파이프라인 호환성 문제, 정확성 문제, 실행 속도 문제 등 여전히 많은 과제에 직면해 있습니다.

이러한 문제를 해결하기 위해 Yingmo Technology와 ShanghaiTech University의 R&D 팀은 텍스트 기반 프로그레시브 3D 생성 프레임워크인 DreamFace를 제안했습니다. 프레임워크는 더 높은 정확도, 더 빠른 실행 속도 및 더 나은 CG 파이프라인 호환성을 통해 CG 제작 표준을 준수하는 3D 자산을 직접 생성할 수 있습니다. 이 기사에서는 DreamFace의 주요 기능을 자세히 소개하고 영화 및 TV 제작, 게임 개발 및 기타 산업에서의 응용 가능성을 살펴보겠습니다.

DreamFace 프레임워크 개요

DreamFace 프레임워크에는 주로 기하학 생성, 물리 기반 재료 확산 생성 및 애니메이션 기능 생성의 세 가지 모듈이 포함됩니다. 이 세 가지 모듈은 서로를 보완하여 효율적이고 안정적인 3D 생성 기술을 구현합니다.

기하학 생성

기하학 생성 모듈의 핵심 작업은 텍스트 프롬프트를 기반으로 일관된 기하학적 모델을 생성하는 것입니다. DreamFace는 CLIP(Contrastive Language-Image Pre-Training) 기반의 선택 프레임워크를 채택합니다. 이 프레임워크는 먼저 얼굴 기하학적 매개변수 공간 내에서 무작위로 샘플링된 후보 중에서 가장 좋은 대략적인 기하학적 모델을 선택한 다음 LDM(암시적 확산 모델) 기하학을 통해 이를 조각합니다. 머리 모델을 텍스트 단서와 더욱 일관되게 만들기 위한 세부 사항입니다. 또한 프레임워크는 텍스트 프롬프트를 기반으로 헤어 스타일 및 색상 생성도 지원합니다.

물리 기반 재료 확산 생성

물리 기반 재료 확산 생성 모듈은 예측된 기하학 및 텍스트 단서와 일치하는 얼굴 질감을 예측하도록 설계되었습니다. DreamFace는 먼저 수집된 대규모 UV 재료 데이터세트에서 사전 훈련된 LDM을 미세 조정하여 두 개의 LDM 확산 모델을 얻었습니다. 그런 다음 공동 훈련 방식을 사용하여 두 가지 확산 프로세스를 조정합니다. 하나는 UV 텍스처 맵을 직접 제거하기 위한 것이고 다른 하나는 감독된 렌더링 이미지를 위한 것입니다.

생성된 텍스처 맵에 바람직하지 않은 기능이나 조명 상황이 포함되지 않도록 하면서 다양성을 유지하기 위해 힌트 학습 전략이 설계되었습니다. 팀은 고품질 확산 맵을 생성하기 위해 두 가지 방법을 사용합니다. (1) 프롬프트 조정. 손으로 제작한 도메인별 텍스트 큐와 달리 DreamFace는 두 개의 도메인별 연속 텍스트 큐 Cd 및 Cu를 해당 텍스트 큐와 결합합니다. 이는 U-Net 디노이저 훈련 중에 최적화되어 불안정성과 시간 소모적인 프롬프트 수동 작성을 방지합니다. (2) 얼굴이 아닌 부분을 마스킹합니다. LDM 노이즈 제거 프로세스는 결과 확산 맵에 원치 않는 요소가 포함되지 않도록 얼굴이 아닌 영역 마스크로 추가로 제한됩니다.

마지막으로 고품질 렌더링을 위해 초해상도 모듈을 통해 4K 물리적 기반 텍스처를 생성합니다.

애니메이션 능력 생성

DreamFace로 생성된 모델에는 애니메이션 기능이 있습니다. 고유한 변형을 예측하고 생성된 Neutral 모델을 애니메이션화하여 맞춤형 애니메이션을 제작할 수 있습니다. DreamFace의 신경 얼굴 애니메이션 접근 방식은 표정 제어를 위해 일반적인 BlendShapes를 사용하는 접근 방식에 비해 더 미세한 표정 디테일을 제공하고 정밀하게 캡처된 성능을 허용합니다.

Applications and Outlook

DreamFace 프레임워크는 설명을 기반으로 한 유명인 생성 및 캐릭터 생성에서 탁월한 결과를 얻었습니다. 또한 에이징, 메이크업 등 글로벌 편집 효과를 위해 큐와 스케치를 사용한 텍스처 편집이 지원됩니다. 마스크나 스케치를 더욱 조합하여 문신, 턱수염, 모반 등 다양한 효과를 연출할 수 있습니다.

DreamFace의 프로그레시브 생성 프레임워크는 복잡한 3D 생성 작업을 해결하기 위한 효과적인 솔루션을 제공하며 더욱 유사한 연구 및 기술 개발을 촉진할 것으로 예상됩니다. 또한, 물리 기반 소재 확산 생성과 애니메이션 기능 생성을 통해 영화 및 TV 제작, 게임 개발 및 기타 관련 산업에 3D 생성 기술의 적용이 촉진될 것입니다. 앞으로의 개발과 적용을 지켜보겠습니다.

위 내용은 DreamFace: 한 문장으로 3D 디지털 휴먼을 생성하시겠습니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!