AI 연구도 인상주의로부터 배울 수 있나요? 이 실물 같은 사람들은 실제로 3D 모델입니다.

19세기는 인상주의 미술 운동이 유행했던 시기입니다. 이 운동은 회화, 조각, 판화 및 기타 예술 분야에 영향을 미쳤습니다. 인상주의는 형식적 정확성을 거의 추구하지 않고 짧은 스타카토 붓놀림을 사용하는 것이 특징이며, 이는 나중에 인상주의 미술 스타일로 발전했습니다. 요컨대 인상주의 화가의 붓질은 가식 없이 뚜렷한 특징을 보이며, 형식적 정확성을 추구하지 않고 다소 모호하기까지 하다. 인상파 예술가들은 빛과 색에 대한 과학적 개념을 그림에 도입하고 전통적인 색 개념에 혁명을 일으켰습니다.

D3GA에서 저자는 그 반대의 작업을 수행하여 사실적인 성능 효과를 만들고자 하는 독특한 목표를 가지고 있습니다. 이 목표를 달성하기 위해 저자는 D3GA의 가우스 스플래터링 기술을 현대적인 "세그먼트 브러시 스트로크"로 창의적으로 사용하여 가상 캐릭터의 구조와 모양을 구축하고 실시간이며 안정적인 효과를 달성했습니다.

『해돋이·인상』은 인상주의 화가 모네의 대표작이다.

새로운 애니메이션 콘텐츠를 생성할 수 있는 사실적인 인간 이미지를 만들기 위해서는 현재 아바타 구성에 많은 양의 멀티뷰 데이터가 필요합니다. 단안 방법에는 정확도가 제한되어 있기 때문입니다. 또한 기존 기술에는 정확한 3D 등록을 포함한 복잡한 전처리가 필요합니다. 그러나 이러한 등록 데이터를 얻으려면 반복이 필요하며 엔드투엔드 프로세스에 통합하기가 어렵습니다. 또한 정확한 등록이 필요하지 않고 NeRF(신경 방사선 장)를 기반으로 하는 방법도 있습니다. 그러나 이러한 방법은 실시간 렌더링이 느리거나 의류 애니메이션에 어려움을 겪는 경우가 많습니다.

Kerbl et al.은 전통적인 Surface Splatting 렌더링 방법을 기반으로 개선된 3D Gaussian Splatting(3DGS)이라는 렌더링 방법을 제안했습니다. 신경 방사선장을 기반으로 하는 최첨단 방법과 비교할 때 3DGS는 매우 정확한 3D 초기화 없이도 더 빠른 프레임 속도로 더 높은 품질의 이미지를 렌더링할 수 있습니다.

하지만 3DGS는 원래 정적인 장면을 위해 설계되었습니다. 현재 일부 사람들은 동적 장면을 렌더링하는 데 사용할 수 있는 시간 조건 기반 가우시안 스플레이팅 방법을 제안했습니다. 이 방법은 이전에 관찰된 것만 재생할 수 있으므로 새로운 움직임이나 이전에 볼 수 없었던 움직임을 표현하는 데는 적합하지 않습니다.

구동 신경 방사선장을 기반으로 저자는 3D 인간의 모습과 변형을 모델링하여 정규화된 공간에 배치하되 방사선장 대신 3D 가우시안을 사용합니다. 더 나은 성능 외에도 Gaussian Splatting을 사용하면 카메라 광선 샘플링 휴리스틱을 사용할 필요가 없습니다.

남은 문제는 이러한 케이지 변형을 유발하는 신호를 정의하는 것입니다. 운전자 기반 아바타의 현재 최첨단 기술은 RGB-D 이미지 또는 다중 카메라와 같은 조밀한 입력 신호를 요구하지만 이러한 방법은 전송 대역폭이 상대적으로 낮은 상황에는 적합하지 않을 수 있습니다. 이 연구에서 저자는 골격 관절 각도와 쿼터니언 형태의 3D 안면 키포인트를 포함하여 인간 자세를 기반으로 보다 간결한 입력을 사용합니다.

다양한 체형, 움직임, 의복(은밀한 의복에 국한되지 않음)을 포괄하는 9개의 고품질 멀티뷰 시퀀스에서 개인별 모델을 훈련함으로써 나중에 모든 주제에 대한 새로운 포즈를 만들 수 있습니다. .

방법 개요

• 논문 링크: https://arxiv.org/pdf/2311.08581.pdf
• 프로젝트 링크: https://zielon.github.io/d3ga/

현재 사용되는 방법 가상 캐릭터를 동적으로 체적화하려면 변형 공간에서 표준 공간으로 점을 매핑하거나 순방향 매핑에만 의존합니다. 백 매핑을 기반으로 하는 방법은 오류가 발생하기 쉬운 백 패스가 필요하고 관점 종속 효과를 모델링하는 데 문제가 있기 때문에 표준 공간에 오류를 축적하는 경향이 있습니다.

그래서 저자는 Forward Mapping Only 방식을 채택하기로 결정했습니다. D3GA는 3DGS를 기반으로 신경 표현과 케이지를 통해 확장되어 가상 캐릭터의 각 동적 부분의 색상과 기하학적 모양을 각각 모델링합니다.

D3GA는 3D 포즈 ф, 얼굴 임베딩 κ, 시점 dk 및 표준 케이지 v(및 자동으로 디코딩된 색상 기능 hi)를 사용하여 최종 렌더 C̅ 및 보조 분할 렌더 P̅를 생성합니다. 왼쪽의 입력은 가상 캐릭터 부분당 3개의 네트워크(ΨMLP, ΠMLP, ΓMLP)를 통해 처리되어 케이지 변위 Δv, 가우스 변형 bi, qi, si 및 색상/투명도 ci, oi를 생성합니다.

케이지 변형으로 인해 표준 가우스가 변형된 후 방정식 9를 통해 최종 이미지로 래스터화됩니다.

실험 결과

D3GA는 SSIM, PSNR 및 지각 지표 LPIPS와 같은 지표로 평가됩니다. 표 1은 D3GA가 LBS만 사용하는 방법(즉, 프레임별로 3D 데이터를 스캔할 필요가 없음) 중 PSNR과 SSIM에서 가장 좋은 성능을 가지며 이러한 지표에서 모든 FFD 방법보다 성능이 For BD에 이어 두 번째로 우수함을 보여줍니다. FFD, 훈련 신호가 좋지 않고 테스트 이미지가 없지만(DVA는 200개의 카메라를 모두 사용하여 테스트됨)

질적 비교에 따르면 D3GA는 다른 최첨단 방법보다 의류, 특히 스커트나 스웨트팬츠와 같은 헐렁한 의류를 더 잘 모델링할 수 있습니다(그림 4). FFD는 Free Deformation Mesh를 의미하며 LBS 메시보다 더 풍부한 훈련 신호를 포함합니다(그림 9).

작가의 방식은 볼륨 기반 방식에 비해 가상 캐릭터의 옷을 분리할 수 있고, 옷도 운전 가능하다. 그림 5는 특정 의류 등록 모듈 없이 뼈 관절 각도만으로 각 개별 의류 레이어를 제어할 수 있는 방법을 보여줍니다.

위 내용은 AI 연구도 인상주의로부터 배울 수 있나요? 이 실물 같은 사람들은 실제로 3D 모델입니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!