대형 다중 뷰 가우스 모델 LGM: 5초 안에 고품질 3D 개체를 생성하고 시험해 볼 수 있습니다.

메타버스에서 3D 창작 도구에 대한 수요가 지속적으로 증가함에 따라 최근 사람들은 3차원 콘텐츠 생성(3D AIGC)에 큰 관심을 보였습니다. 동시에 3D 콘텐츠 제작도 품질과 속도 면에서 상당한 발전을 이루었습니다.

현재의 피드포워드 생성 모델은 몇 초 만에 3D 객체를 생성할 수 있지만 훈련 중에 필요한 집중적인 계산으로 인해 해상도가 제한되어 품질이 낮은 콘텐츠가 생성됩니다. 이는 단 5초 만에 고해상도, 고품질 3D 물체를 생성할 수 있는가 하는 의문을 제기합니다.

이 기사에서 Peking University, Nanyang Technological University S-Lab 및 Shanghai Artificial Intelligence Laboratory의 연구원은 새로운 프레임워크 LGM, 즉 Large Gaussian Model을 제안했습니다. 또는 텍스트를 입력하면 단 5초 만에 고해상도, 고품질의 3차원 개체를 생성할 수 있습니다.

현재 코드와 모델 가중치는 모두 오픈 소스입니다. 연구원들은 또한 모든 사람이 시도해 볼 수 있는 온라인 데모를 제공합니다.

• 논문 제목: LGM: 고해상도 3D 콘텐츠 제작을 위한 대형 다중 뷰 가우스 모델
• 프로젝트 홈페이지: https://me.kiui.moe/lgm/
• 코드 : https://github.com/3DTopia/LGM
• Paper: https://arxiv.org/abs/2402.05054
• 온라인 데모: https://huggingface.co/spaces/ashawkey/LGM

이러한 목표를 달성하기 위해 연구자들은 다음 두 가지 과제에 직면합니다.

1. 제한된 계산량에서 효율적인 3D 표현: 기존 3D 생성 작업은 3개의 평면을 기반으로 하는 NeRF를 3D 표현 및 렌더링으로 사용합니다. 파이프라인의 집중적인 장면 모델링과 광선 추적 볼륨 렌더링 기술은 훈련 해상도(128×128)를 크게 제한하여 최종 생성된 콘텐츠 텍스처를 흐릿하게 만들고 품질을 저하시킵니다.
2. 고해상도의 3D 백본 생성 네트워크: 기존 3D 생성 작업에서는 밀도가 높은 변환기를 백본 네트워크로 사용하여 범용 개체를 모델링할 수 있을 만큼 조밀한 매개변수 양을 보장하지만 이는 어느 정도 희생됩니다. 훈련 해상도 최종 3차원 물체의 품질이 저하됩니다.

이를 위해 본 논문에서는 4개 시점 이미지로부터 고해상도 3차원 표현을 합성한 후, 기존 텍스트를 다시점 이미지로, 단일 이미지를 다시점 이미지 모델로 활용하는 새로운 방법을 제안한다. . 고품질 텍스트-3D 및 이미지-3D 작업을 지원합니다 .

기술적으로 LGM 코어 모듈은 Large Multi-View Gaussian Model입니다. 가우스 스퍼터링에서 영감을 받은 이 방법은 효율적이고 가벼운 비대칭 U-Net을 백본 네트워크로 사용하여 4개 뷰 이미지에서 고해상도 가우스 프리미티브를 직접 예측하고 최종적으로 모든 뷰 각도에서 이미지를 렌더링합니다.

구체적으로 백본 네트워크 U-Net은 4가지 관점의 이미지와 해당 Plucker 좌표를 수용하고 다양한 관점에서 고정된 개수의 가우스 특징을 출력합니다. 이 가우스 특징 세트는 최종 가우스 요소에 직접 융합되며 다양한 보기 각도의 이미지는 미분 렌더링을 통해 얻어집니다.

이 프로세스에서는 낮은 계산 오버헤드를 유지하면서 저해상도 피처 맵에서 서로 다른 뷰 간의 상관 관계 모델링을 구현하기 위해 교차 뷰 Self-Attention 메커니즘이 사용됩니다.

이러한 모델을 고해상도에서 효율적으로 훈련시키는 것이 쉽지 않다는 점은 주목할 가치가 있습니다. 강력한 훈련을 달성하기 위해 연구자들은 여전히 ​​다음 두 가지 문제에 직면하고 있습니다.

먼저 학습 단계에서는 objaverse 데이터 세트에 렌더링된 3차원 일관된 다시점 이미지를 사용하는 반면, 추론 단계에서는 기존 모델을 직접 사용하여 텍스트나 이미지로부터 다관점 이미지를 합성합니다. 모델을 기반으로 합성된 다시점 사진은 항상 다시점 불일치 문제가 있기 때문에 이 영역의 격차를 해소하기 위해 본 논문에서는 그리드 왜곡 기반의 데이터 향상 전략을 제안합니다. 즉, 3개 시점의 사진에 무작위화를 적용하는 것입니다. 다중 뷰 불일치를 시뮬레이션하기 위한 이미지 공간 왜곡.

두 번째로, 추론 단계에서 생성된 다시점 이미지는 카메라 시점의 3차원 기하학의 일관성을 엄밀하게 보장하지 않기 때문에 이 글에서도 세 시점의 카메라 포즈를 무작위로 교란하여 이 현상을 시뮬레이션합니다. , 모델이 추론을 더 잘 수행할 수 있도록 무대가 더욱 안정적입니다 .