메타디지털피플 2세대가 왔습니다! VR 헤드셋과 작별하세요. iPhone으로 스와이프하세요.

Meta의 실감형 디지털 휴먼 2.0이 다시 진화하여 이제 iPhone으로 생성할 수 있습니다. 휴대폰을 꺼내 스캔하기만 하면 됩니다!

이르면 2019년 3월, 페이스북은 이번 행사에서 1세대 디지털 휴먼 이미지(코덱 아바타 1.0)를 시연했습니다. 1세대 디지털 휴먼은 다중 신경망을 사용하는 132개의 카메라가 장착된 전용 캡처 장비를 사용하여 생성되었습니다.

생성되면 VR 헤드셋 장치에 5개의 카메라가 있습니다. 각 눈은 얼굴 아래 2개의 내부 보기와 3개의 외부 보기를 제공합니다. 아래와 같습니다.

이후 Facebook은 보다 사실적인 이미지를 얻기 위해 마이크와 시선 추적 기술만을 사용하는 등 이러한 가상 이미지의 사실성을 지속적으로 개선해 왔습니다. 2020년 8월 마침내 Codec Avatar 버전 2.0으로 진화했습니다. 버전 1.0에 비해 버전 2.0의 가장 큰 개선점은 카메라가 더 이상 얼굴을 스캔하고 추적할 필요가 없고 눈의 움직임만 추적하면 된다는 것입니다.

새로운 신경망은 VR 헤드셋의 시선 추적 데이터와 마이크의 오디오 피드를 융합하여 착용자의 얼굴 표정을 추론합니다. 소리 모델과 눈 움직임 모델 데이터는 하이브리드 모델로 피드백되고, 융합 모델에 의한 계산 및 처리를 거쳐 렌더러에서 아바타 이미지가 출력된다.

올해 5월 팀은 아바타 버전 2.0이 "완전히 현실적인" 효과를 완전히 달성했다고 발표했습니다. 프로젝트 리더 중 한 명인 Sheikh는 "향후 10년 동안의 가장 큰 과제 중 하나는 대면 상호 작용과 구별할 수 없는 원격 아바타 상호 작용을 달성할 수 있는지 여부입니다"라고 말했습니다.

위 비교를 보면 a는 실제 사람의 사진이고 e는 최종 렌더링으로 생성된 가상의 사람인 것 같지 않나요? 걱정하지 마십시오. 위의 내용은 실제 적용 시나리오에서 현재 메타 가상 인간의 이미지는 다음과 같습니다.

맨 오른쪽의 "가장 현실적인" 이미지도 여전히 만화 이미지이므로 "완전히 현실적인" 이미지와는 조금 거리가 있겠지만 메타는 10년을 이야기하고 있습니다. 데모 이미지를 보면 이 목표를 달성할 수 있다는 희망이 아직 작지 않습니다.

게다가 가상인간 기술의 발전은 현실주의적인 방향으로만 반영되는 것이 아닙니다. 메타는 계속해서 다른 방향을 추구할 필요도 없습니다. 예를 들어 VR 헤드셋을 벗는다고요?

과거에는 별도의 코덱 아바타를 생성하려면 위 사진처럼 171개의 고해상도 카메라가 탑재된 "MUGSY"라는 특수 캡처 장치가 필요했습니다.

Meta에서는 이제 이걸 가져올 필요 없이 iPhone만 있으면 된다고 합니다! 전면 깊이 센서가 장착된 스마트폰(예: FaceID 기능이 있는 iPhone)이 직접 스캔(정확히 수십 스캔)할 수 있는 한, 사실적인 가상 인간 아바타를 생성할 수 있습니다.

먼저 얼굴을 무표정하게 유지하고, 한 번 스캔한 후 다양한 표정을 만들어 보세요. 최대 65가지 표정이 지원됩니다.

Meta는 휴대폰으로 표정 스캔을 완료하는 데 평균 3~4분 정도 걸린다고 합니다. 물론 이를 위해서는 컴퓨팅 성능의 지원이 필요합니다. 최종 생성된 사실적인 가상 인간 아바타는 4개의 고급 GPU가 장착된 시스템에서 약 6시간이 걸립니다. 물론, 이 기술이 제품에 사용된다면 이러한 계산은 사용자 고유의 컴퓨팅 리소스 없이 클라우드 GPU로 넘겨지게 됩니다.

그렇다면 이전에는 100대의 카메라가 필요했던 일을 왜 단 하나의 휴대폰으로 할 수 있을까요? 그 비결은 Hypernetwork라는 일반 모델에 있습니다. 이는 다른 신경망의 가중치를 생성하는 신경망입니다. 위의 예에서는 특정 인물을 위한 코덱 아바타를 생성하는 것입니다.

연구원들은 MUGSY와 유사한 고급 캡처 장치를 사용하여 255명의 서로 다른 얼굴을 스캔하여 이 모델을 훈련시켰습니다. 카메라가 90개밖에 없어요.

다른 연구자들이 스마트폰으로 스캔하여 생성된 인물 사진을 시연했지만 Meta는 생성된 결과가 SOTA 수준이라고 밝혔습니다.

그러나 현재 시스템으로는 여전히 안경과 긴 머리를 감당할 수 없습니다. 그리고 그것은 신체의 다른 부분이 아닌 머리로만 갈 수 있습니다.

물론 메타가 이 수준의 충실도에 도달하려면 아직 갈 길이 멀습니다. 이제 메타의 초상화에 만화 스타일이 추가되었습니다. 그리고 그 현실감은 시간이 지나면서 서서히 줄어들었습니다. 이제 이 이미지는 Quest 2를 사용하여 Horizon Worlds를 플레이하는 사람들에게 더 적합할 수 있습니다.

그러나 코덱 아바타는 현재 만화 같은 업그레이드가 아닌 독립 실행형 옵션으로 끝날 수 있습니다. Meta CEO Zuckerberg는 미래에 대해 다음과 같이 설명했습니다. 표현주의적인 초상화를 사용하여 일반적인 게임을 할 수 있고, 보다 현실적인 초상화를 사용하여 업무 회의 등에 참석할 수 있습니다.

올해 4월 코덱 아바타 팀을 맡고 있는 야세르 셰이크는 "코덱 아바타가 활용되기까지 얼마나 걸릴지는 예측할 수 없다"고 밝혔습니다. 그는 프로젝트가 큰 진전을 이루었다고 믿었습니다.

위 내용은 메타디지털피플 2세대가 왔습니다! VR 헤드셋과 작별하세요. iPhone으로 스와이프하세요.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!