한 문장으로 3D 모델은 사진 수준의 세부 사항까지 사실적인 외관 스타일을 생성할 수 있습니다.

주어진 입력(예: 텍스트 프롬프트, 이미지 또는 3D 모양 기반)을 기반으로 3D 콘텐츠를 만드는 것은 컴퓨터 비전 및 그래픽 분야에서 중요한 응용 분야를 갖습니다. 그러나 이 문제는 현실적으로 어려운 일이며, 3D 콘텐츠를 제작하려면 전문 아티스트(테크니컬 아티스트)가 많은 시간과 비용을 투자해야 하는 경우가 많습니다. 동시에 많은 온라인 3D 모델 라이브러리의 리소스는 일반적으로 재료가 없는 순수 3D 모델입니다. 이를 현재 렌더링 엔진에 적용하려면 고품질 재료, 조명 및 노멀 맵을 생성하는 기술 아티스트가 필요합니다. 그들을 위해. . 따라서 자동화되고 다양하며 사실적인 3D 모델 자산을 생성할 수 있는 방법이 있다면 유망할 것입니다.

따라서 South China University of Technology, Hong Kong Polytechnic University, InterDimensional Intelligence, Pengcheng 연구소 및 기타 기관의 연구팀은 텍스트 기반 3D 모델 양식화 방법인 TANGO를 제안했습니다. 특정 3D 모델 및 텍스트를 사용하면 보다 사실적인 SVBRDF 재질, 노멀 맵 및 조명을 자동으로 생성할 수 있으며 품질이 낮은 3D 모델에 대한 견고성이 향상됩니다. 이 연구는 NeurIPS 2022에 승인되었습니다.

프로젝트 홈페이지: https://cyw-3d.github.io/tango/

모델 효과

주어진 텍스트 입력과 3차원 모델에 대해 TANGO는 더 많은 것을 생성할 수 있습니다. 세련됨 사실적인 디테일이 뛰어나며 3D 모델 표면에 자체 교차 문제가 발생하지 않습니다. 아래 그림 1에서 볼 수 있듯이 TANGO는 매끄러운 재료(예: 금, 은 등)에 사실적인 반사 효과를 제공할 뿐만 아니라 고르지 않은 재료(예: 벽돌 등)에 대한 단계별 법선을 추정할 수도 있습니다. 울퉁불퉁한 효과.

그림 1. TANGO의 스타일화된 결과

TANGO가 사실적인 렌더링 결과를 생성할 수 있는 핵심은 셰이딩 모델(SVBRDF, 노멀 맵, 라이트)의 모든 구성 요소를 정확하게 결합하는 것입니다. 마지막으로 이러한 분할된 부분은 구형 가우스 미분 렌더러를 통해 출력되고 CLIP으로 전송되어 입력 텍스트로 손실을 계산합니다. 구성 요소 분리에 대한 이론적 근거를 입증하기 위해 연구에서는 각 구성 요소를 시각화했습니다. 그림 2 (a)는 "벽돌로 만든 신발 한 켤레"의 양식화된 결과를 보여주고, (b)는 3D 모델의 원래 법선 방향을 보여주며, (c)는 3D 모델의 각 점에 대해 TANGO가 예측한 법선 방향을 보여줍니다. , (d) (e) (f)는 각각 SVBRDF의 확산 반사, 거칠기 및 정반사 매개변수를 나타내고, (g)는 TANGO에서 예측한 구형 가우스 함수로 표현된 주변광입니다.

그림 2 분리된 렌더링 구성 요소의 시각화

동시에 이 연구는 TAGO가 출력한 결과를 편집할 수도 있습니다. 예를 들어, 그림 3에서 연구에서는 다른 라이트 맵을 사용하여 그림 4의 TANGO 결과를 다시 조명할 수 있으며, 거칠기와 정반사율 매개변수를 편집하여 물체 표면의 반사 정도를 변경할 수 있습니다.

사진 3 TANGO 스타일화된 결과를 다시 조명하기

사진 4 개체 재질 편집

또한 TANGO는 예측된 법선 맵을 사용하여 물체 표면의 세부 사항을 추가하기 때문에 정점 수가 적은 3차원 모델에도 매우 강력합니다. 그림 5에서 볼 수 있듯이 원래 램프와 외계인 모델은 각각 41160개와 68430개의 면을 가졌습니다. 연구원들은 원래 모델을 다운샘플링하여 단 5000개의 면을 가진 모델을 얻었습니다. 원본 모델과 다운샘플링된 모델에서 TANGO의 성능은 기본적으로 유사한 반면, Text2Mesh는 저품질 모델에서 심각한 자기 교차 현상이 나타나는 것을 볼 수 있습니다.

그림 5 견고성 테스트

원리 방법

TANGO는 주로 3차원 개체의 텍스트 안내 스타일화 방법에 중점을 둡니다. 이 분야에서 가장 관련성이 높은 현재 작업은 Text2Mesh입니다. 이 작업은 미리 훈련된 모델 CLIP을 가이드로 사용하여 3D 모델 표면 정점의 색상 및 위치 오프셋을 예측하여 스타일화를 달성합니다. 그러나 단순히 표면 정점 색상을 예측하는 것만으로는 비현실적인 렌더링 효과를 생성하는 경우가 많으며, 불규칙한 정점 오프셋으로 인해 심각한 자기교차가 발생할 수 있습니다. 따라서 본 연구에서는 전통적인 물리 기반 렌더링 파이프라인을 활용하여 전체 렌더링 프로세스를 SVBRDF 재료, 노멀 맵 및 조명의 예측 프로세스로 분리하고 분리된 요소를 각각 구형 가우스 함수로 표현합니다. 이 물리 기반 디커플링 방법을 통해 TANGO는 사실적인 렌더링 효과를 올바르게 생성하고 견고성을 높일 수 있습니다.

그림 6 TANGO 흐름도

그림 6은 TANGO의 흐름을 보여줍니다. 3D 모델과 텍스트(예: 그림의 "금으로 만든 신발")가 주어지면 연구에서는 먼저 3D 모델을 단위 구로 확장한 다음 3D 모델 근처의 카메라 위치를 샘플링하여 이 카메라 위치에서 방출합니다. ray는 3차원 모델과 교차점 n_p의 법선 방향을 사용하여 교차점 x_p을 찾습니다. 다음으로 x_p 및 n_p가 SVBRDF 네트워크와 Normal 네트워크로 전송되어 점의 재료 매개변수와 법선 방향을 예측하는 동시에 여러 구형 가우스 함수를 사용하여 표현합니다. 빛의 현장. 각 교육 반복에 대해 연구에서는 미분 가능한 구형 가우스 렌더러를 사용하여 이미지를 렌더링한 다음 CLIP 모델의 이미지 인코더를 사용하여 증강 이미지를 인코딩하고 마지막으로 CLIP 모델이 기울기를 역전파하여 학습 가능한 모든 매개변수를 업데이트합니다.

요약

본 논문에서는 입력 텍스트를 기반으로 3D 모델의 사실적인 모양 스타일을 생성하고 품질이 낮은 모델에 강인한 새로운 방법인 TANGO를 제안합니다. SVBRDF, 로컬 기하학적 변화(점별 법선) 및 조명 조건에서 모양 스타일을 분리하고 이를 구형 가우스 함수로 표현하고 렌더링함으로써 CLIP을 손실 감독 및 학습으로 사용할 수 있습니다.

TANGO는 기존 방식에 비해 품질이 낮은 3D 모델에도 매우 견고하게 적용할 수 있습니다. 그러나 자기교차를 피하면서 점별 법선 방향으로 기하학적인 디테일을 제공하는 방법은 표현 가능한 소재 표면의 오목함과 볼록함의 정도를 약간 감소시킬 것입니다. 본 연구에서는 TANGO와 Text2Mesh가 정점을 기반으로 한다고 믿습니다. 오프셋은 각자의 방향으로 수행됩니다. 이는 좋은 예비 시도이며 더 많은 후속 연구에 영감을 줄 것입니다.

위 내용은 한 문장으로 3D 모델은 사진 수준의 세부 사항까지 사실적인 외관 스타일을 생성할 수 있습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!