AIxiv 칼럼은 본 사이트에서 학술 및 기술 콘텐츠를 게재하는 칼럼입니다. 지난 몇 년 동안 이 사이트의 AIxiv 칼럼에는 전 세계 주요 대학 및 기업의 최고 연구실을 대상으로 한 2,000개 이상의 보고서가 접수되어 학술 교류 및 보급을 효과적으로 촉진하고 있습니다. 공유하고 싶은 훌륭한 작품이 있다면 자유롭게 기여하거나 보고를 위해 연락주시기 바랍니다. 제출 이메일: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com
Lei Jiahui, University of Pennsylvania 컴퓨터 과학과 박사 과정 학생(2020~현재), 그의 지도교수는 그의 현재 주요 교수인 Kostas Daniilidis입니다. 연구 방향은 4차원 동적 장면 기하학적 모델링 표현 및 응용 프로그램을 사용한 알고리즘입니다. 그는 최고의 컴퓨터 비전 및 기계 학습 컨퍼런스(CVPR, NeurIPS, ICML, ECCV)에서 첫 번째 또는 공동 저자로 7개의 기사를 발표했습니다. 그의 이전 학사 학위(2016-2020)는 절강대학교 제어학과와 Zhu Kezhen College 혼합 수업을 졸업하고 전공에서 1등을 했습니다.
임의의 단안 비디오에서 렌더링 가능한 동적 장면을 재구성하는 것은 컴퓨터 비전 연구의 성배입니다. 이 논문에서 펜실베니아 대학과 스탠포드 대학의 연구진은 이 목표를 향해 작은 발걸음을 내디뎠습니다.
인터넷에는 물리적 세계에 대한 많은 양의 정보가 포함된 대규모 단안 비디오가 있습니다. 그러나 3D 비전에는 미래의 3D 대형 모델 모델링 및 동적 이해를 지원하기 위해 이러한 비디오에서 3D 동적 정보를 추출하는 효과적인 수단이 여전히 부족합니다. 물리적 세계. 중요하기는 하지만 이 역 문제는 매우 어렵습니다.
첫째, 실제 2D 영상은 다시점 정보가 부족한 경우가 많기 때문에 3D 재구성에 다시점 기하학을 사용할 수 없는 경우가 많아 기존 소프트웨어로는 카메라 포즈와 내부 매개변수를 해결하는 것조차 불가능합니다( COLMAP 등).
둘째, 역동적인 장면의 자유도가 극도로 높으며, 그 변형에 대한 4차원 표현과 장기적인 정보 융합이 아직 미성숙하여 이 어려운 역문제를 더욱 복잡하게 만듭니다.
이 기사에서는 추가 정보 없이 일련의 비디오 프레임 사진만 제공하면 되고 SORA에서 비디오, 영화 및 TV 시리즈 클립을 생성하고 렌더링 가능한 동적을 재구성할 수 있는 새로운 신경 정보 처리 시스템인 MoSca를 제안합니다. , 인터넷 비디오 및 공개 데이터 세트의 단안 야생 비디오 장면.
방법 개요
위의 어려움을 극복하기 위해 Mosca는 먼저 컴퓨터 비전 기반 모델에 저장된 강력한 사전 지식을 활용하여 문제 해결 공간을 줄였습니다.
구체적으로 Mosca는 단안 메트릭 깊이 추정(mono metric-뎁스) 모델 UniDepth, 비디오 임의 지점 장기 추적(track any point) 모델 CoTracker, 광학 흐름 추정(optical flow)을 사용합니다. 모델 RAFT에 의해 계산된 기하학적 오류(에피폴라 오류)와 사전 훈련된 의미 모델 DINO-v2가 제공하는 의미 기능입니다. 자세한 내용은 논문의 3.1장을 참조하세요. 대부분의 실제 동적 변형은 본질적으로 작고 희박하며 그 복잡성은 실제 기하학적 구조보다 훨씬 낮습니다. 예를 들어, 단단한 물체의 움직임은 회전과 병진운동으로 표현될 수 있고, 사람의 움직임은 여러 관절의 회전과 병진운동으로 대략적으로 근사화될 수 있습니다.
이 관찰을 바탕으로 이 기사에서는 위의 초석 모델 출력을 2차원에서 4차원으로 업그레이드하고 융합하는 동시에 물리 영감 변형 정규화(ARAP)를 통합하는
새로운 컴팩트 동적 장면 표현인 4D 모션 스캐폴드를 제안합니다. . 4차원 모션 스캐폴드는 그래프입니다. 그래프의 각 노드는 강체 모션(SE(3)) 궤적의 문자열입니다. 그래프의 토폴로지는 강체 사이의 거리를 고려하여 구성된 가장 가까운 이웃 가장자리입니다. 전역적으로 모션 궤적 곡선. 공간 내 임의 지점에서의 변형은 듀얼 쿼터니언을 사용하여 시공간에서 보간된 그래프에서 노드의 강체 궤적을 평활화하여 표현할 수 있습니다. 이 표현은 해결해야 하는 모션 매개변수를 크게 단순화합니다. (자세한 내용은 논문의 3.2장을 참조하세요.) 4차원 모션 스캐폴드의 또 다른 큰 장점은 단안 깊이 및 비디오 2차원 점 추적을 통해 직접 초기화할 수 있으며, 이후 알려지지 않은 교합점 위치 및 로컬 좌표계 방향을 효율적으로 해결할 수 있다는 것입니다. 물리적 정규 기간 최적화. 자세한 내용은 논문 3.3장을 참조하세요. 4차원 모션 스캐폴딩을 사용하면 언제든지 원하는 지점을 원하는 목표 시간으로 변형할 수 있어 관측 정보를 전역적으로 융합할 수 있습니다. 구체적으로, 비디오의 각 프레임은 추정된 깊이 맵을 사용하여 3차원 공간으로 역투영되고 3차원 가우스(3DGS)로 초기화될 수 있습니다. 이러한 가우스는 4차원 모션 비계에 "결합"되어 언제든지 자유롭게 이동할 수 있습니다. 특정 순간의 장면을 렌더링하려면 융합을 위한 4차원 스캐폴딩을 통해 다른 모든 전역 순간의 가우시안을 현재 순간으로 전송하기만 하면 됩니다. 4차원 모션 스캐폴딩과 가우시안을 기반으로 한 이 동적 장면 표현은 가우시안 렌더러를 통해 효율적으로 최적화될 수 있습니다(자세한 내용은 해당 논문의 3.4장 참조). 마지막으로 Mosca는 카메라의 내부 및 외부 매개변수가 필요하지 않은 시스템이라는 점을 언급할 가치가 있습니다. Mosca는 위에서 언급한 Cornerstone 모델의 에피폴라 기하학 오류 출력을 사용하여 정적 배경 마스크를 결정하고, Cornerstone 모델의 깊이 및 점 추적 출력을 사용하여 재투영 오류를 효율적으로 최적화하고 전역 번들 조정을 해결하여 직접 출력할 수 있습니다. 카메라 내부 매개변수 및 포즈, 후속 렌더링을 통해 카메라를 계속 최적화합니다(자세한 내용은 해당 논문의 3.5장 참조). 실험 결과 Mosca는 DAVIS 데이터 세트 비디오의 동적 장면을 재구성할 수 있습니다. Mosca가 여러 가우스 기반 렌더러를 유연하게 지원한다는 점은 주목할 가치가 있습니다. 기본 3DGS 렌더러 외에도 이 기사에서는 최근 Gaussian 표면 재구성 렌더러 GOF(Gaussian Opacity Field)도 테스트했습니다. 그림의 가장 오른쪽 열차에서 볼 수 있듯이 GOF는 더 높은 품질의 일반 및 깊이를 렌더링할 수 있습니다. Moska는 까다로운 iPhone DyCheck 데이터 세트에서 상당한 개선을 달성하는 동시에 널리 비교 가능한 Nvidia 데이터 세트에 대한 다른 방법도 비교합니다. 
위 내용은 실제 비디오이든 AI 비디오이든 'Mosca'는 4D 동적 렌더링 가능한 장면을 재구성하고 복원할 수 있습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
