안정적인 영상확산이 왔습니다! 3D 합성 기능 주목, 네티즌들: 진행 속도 너무 빠르다

Stable Video Diffusion이 드디어 영상 처리를 시작했습니다. -

생성 영상 모델 Stable Video Diffusion(SVD)을 출시했습니다.

Stability AI 공식 블로그에서는 새로운 SVD가 텍스트를 비디오로, 이미지를 비디오로 생성할 수 있음을 보여줍니다.

객체를 단일 관점에서 다중 관점으로 변환, 즉 3D 합성도 지원합니다. :

외부 평가에 따르면 관계자들은 SVD가 런웨이와 피카의 영상 생성 AI보다 사용자들에게 훨씬 더 인기가 있다고 주장합니다.

아직까지는 기본 모델만 공개됐지만, 관계자는 “계속 확장해 안정적인 확산과 유사한 생태계를 구축할 계획”이라고 밝혔다.

종이코드 웨이트가 현재 온라인에 올라와 있다.

최근 영상생성 분야에서도 새로운 방식이 등장하고 있는데 이제는 Stable Diffusion이 등장할 차례인데 네티즌들이 "빠르다"고 한탄할 정도로 진행이 너무 빠르네요!

하지만 데모 효과만으로도 그다지 놀랍지 않다고 말하는 네티즌이 더 많았습니다.

SD를 좋아하고, 이 데모도 훌륭하지만... 단점도 있고, 조명과 그림자도 틀리며, 전체적으로 일관성이 없습니다(영상이 프레임 간 깜박임).

대체로 이것이 시작입니다. 네티즌들은 SVD의 3D 합성 기능에 대해 매우 낙관적입니다.

더 좋은 것이 곧 나올 것이라고 장담할 수 있습니다. 완전한 3D 장면

SD 비디오의 공식 버전이 출시됩니다

위에 표시된 것 외에도 공식은 더 많은 데모를 공개했습니다. 먼저 살펴보겠습니다.

우주 유영도 예정:

배경을 그대로 유지하고 새 두 마리만 움직이게 할 수도 있습니다.

SVD에 대한 연구 논문도 발표되었습니다. 보고서에 따르면 SVD는 Stable Diffusion 2.1을 기반으로 합니다. 약 6억 개 샘플의 비디오 데이터 세트가 사전 훈련되었습니다.

다중 뷰 데이터 세트를 미세 조정하여 단일 이미지의 다중 뷰 합성을 포함하여 다양한 다운스트림 작업에 쉽게 적응할 수 있습니다.

미세 조정을 거쳐 두 가지 이미지-비디오 모델이 공식 발표되었습니다. 이 모델은 사용자 요구에 따라 초당 3~30프레임의 사용자 정의 프레임 속도로 14프레임(SVD) 및 25프레임(SVD-XT) 비디오를 생성할 수 있습니다.

미세 조정된 다시점 비디오 생성 모델 마지막으로 , SVD-MV

라는 이름을 붙였습니다. 테스트 결과에 따르면 GSO 데이터세트에서 SVD-MV가 멀티뷰 세대 모델인 Zero123, Zero123XL, SyncDreamer보다 좋은 점수를 받았습니다:

Stability AI에서는 SVD가 현재 연구에만 국한되어 있으며 실용적이거나 상업적인 응용에는 적합하지 않다고 명시하고 있습니다. SVD는 현재 모든 사람이 이용할 수는 없지만 사용자 대기자 명단 등록이 열려 있습니다.

영상 세대 폭발

최근 영상 세대 분야에 '난전' 상태가 돌고 있습니다

PikaLabs에서 개발한 Vincent Video AI가 있었습니다.

나중에 " 역사상 가장 강력한 영상" 생성 AIMoonvalley 출시:

최근 Gen-2의 “모션 브러시” 기능도 공식 출시되었습니다. 원하는 곳에 그림을 그릴 수 있습니다:

지금 SVD가 또 등장했는데, 3D 영상 생성이 가능하다는 게 또 필요하네요

하지만 텍스트를 3D로 생성하는 데는 별 진전이 없는 것 같고, 네티즌들 역시 이 현상에 대해 매우 혼란스러워하고 있습니다. 사람들은 데이터가 개발을 방해하는 병목 현상이라고 생각합니다.

일부 네티즌들은 강화 학습의 능력이 충분히 강하지 않다는 것이 문제라고 생각합니다

이 분야의 최신 진행 상황을 알고 계시나요? 댓글란에 공유해주세요~

문서 링크: https://static1.squarespace .com/static/6213c340453c3f502425776e/t/655ce779b9d47d342a93c890/1700587395994/stable_video_diffusion.pdf 다시 작성해야 할 내용은 다음과 같습니다.

위 내용은 안정적인 영상확산이 왔습니다! 3D 합성 기능 주목, 네티즌들: 진행 속도 너무 빠르다의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!