세계 최초의 오픈소스 Sora형 건축 비디오 생성 모델이 출시되었습니다!
데이터 처리, 모든 훈련 세부정보, 모델 가중치를 포함한 전체 훈련 과정이 모두 공개되어 있습니다.
최근 출시된 오픈소라 1.0 입니다.
그것이 가져오는 실제 효과는 다음과 같습니다. 번화한 도시의 밤 장면에서 번화한 교통을 생성할 수 있습니다.
항공 사진의 관점을 사용하여 절벽 해안과 바위에 부딪히는 바닷물의 장면을 보여줄 수도 있습니다.
또는 타임랩스 사진으로 촬영한 광활한 별이 빛나는 하늘.
Sora가 출시된 이후 Sora를 공개하고 재현하는 것은 놀라운 효과와 기술적 세부 사항의 부족으로 인해 개발 커뮤니티에서 가장 많이 회자되는 주제 중 하나가 되었습니다. 예를 들어 Colossal-AI 팀은 비용을 46% 절감할 수 있는 Sora 교육 및 추론 복제 프로세스를 시작했습니다.
단 2주 만에 팀은 Sora와 유사한 솔루션을 재현하는 최신 진행 상황을 다시 한 번 공개했으며 기술 솔루션과 자세한 실습 튜토리얼을 무료로 GitHub에 오픈 소스로 만들었습니다.
그럼 문제는 소라를 어떻게 재현할 것인가 입니다.
Open-Sora 오픈 소스 주소: https://github.com/hpcaitech/Open-Sora
Sora 복제 솔루션에는 다음 네 가지 측면이 포함됩니다.
모델은 Sora 동종 아키텍처 DiT(확산 변압기)를 채택합니다.
DiT 아키텍처를 사용한 고품질 오픈 소스 그래프 모델인 PixArt-α를 기반으로 하며, 이를 기반으로 임시 주목 레이어를 도입하고 이를 비디오 데이터로 확장합니다.
구체적으로 전체 아키텍처에는 사전 훈련된 VAE, 텍스트 인코더 및 공간-시간적 주의 메커니즘을 활용하는 STDiT(Spatial Temporal Diffusion Transformer) 모델이 포함됩니다.
그 중 STDiT의 각 레이어 구조는 아래 그림과 같습니다.
시간적 관계를 모델링하기 위해 2차원 공간적 관심 모듈에 1차원적인 시간적 관심 모듈을 중첩하는 직렬 방식을 사용합니다. Temporal Attention 모듈 이후에는 Cross-Attention 모듈을 사용하여 텍스트의 의미를 정렬합니다.
완전 주의 메커니즘과 비교할 때 이러한 구조는 훈련 및 추론 오버헤드를 크게 줄입니다.
공간-시간적 주의 메커니즘을 사용하는 Latte 모델과 비교하여 STDiT는 사전 훈련된 이미지 DiT의 가중치를 더 잘 활용하여 비디오 데이터에 대한 훈련을 계속할 수 있습니다.
ΔSTDiT 구조도
전체 모델의 학습 및 추론 과정은 다음과 같습니다.
훈련 단계에서는 먼저 사전 훈련된 VAE(Variational Autoencoder) 인코더를 사용하여 비디오 데이터를 압축한 다음 압축된 잠재 공간에 텍스트 임베딩과 함께 STDiT 확산 모델을 훈련시키는 것으로 이해됩니다.
추론 단계에서는 VAE의 잠재 공간에서 가우스 잡음을 무작위로 샘플링하고 프롬프트 임베딩과 함께 STDiT에 입력하여 잡음 제거된 특징을 얻습니다. 마지막으로 VAE 디코더에 입력되고 디코딩된 비디오가 얻어집니다. .
Δ모델 훈련 과정
훈련 재현 부분에서 Open-Sora는 SVD(Stable Video Diffusion)를 말합니다.
3단계로 나뉩니다:
각 단계는이전 단계의 가중치를 바탕으로 훈련을 계속합니다.
처음부터 시작하는 단일 단계 학습과 비교하여 다단계 학습은 데이터를 점진적으로 확장하여 고품질 비디오 생성 목표를 보다 효율적으로 달성합니다.
Δ3단계 훈련 계획
팀은 인터넷의 풍부한 이미지 데이터와 빈첸시안 그래프 기술을 사용하여 먼저 고품질 빈첸시안 그래프 모델을 학습시켰고, 이 모델을 다음 단계의 비디오 사전 학습을 위한 초기화 가중치로 사용했습니다.
동시에 현재 고품질 시공간 VAE가 없기 때문에 Stable Diffusion 사전 학습된 이미지 VAE를 사용합니다.
이를 통해 초기 모델의 우수한 성능을 보장할 뿐만 아니라 전체 비디오 사전 학습 비용을 크게 절감할 수 있습니다.
이 단계는 주로 모델의 일반화 능력을 높이고 영상의 시계열 상관관계를 효과적으로 파악하는 단계입니다.
교육을 위해 많은 양의 영상 데이터를 사용해야 하고 영상 자료의 다양성을 보장해야 합니다.
동시에 2단계 모델에는 1단계 Vincentian 그래프 모델을 기반으로 하여 Temporal Attention 모듈을 추가하여 영상 속 시간적 관계를 학습합니다. 나머지 모듈은 첫 번째 단계와 일관성을 유지하고 첫 번째 단계 가중치를 초기화로 로드하는 동시에 시간적 주의 모듈의 출력을 0으로 초기화하여 보다 효율적이고 빠른 수렴을 달성합니다.
Colossal-AI 팀은 PixArt-alpha의 오픈 소스 가중치를 2단계 STDiT 모델의 초기화로 사용하고 T5 모델을 텍스트 인코더로 사용했습니다. 그들은 사전 훈련을 위해 256x256의 작은 해상도를 사용하여 수렴 속도를 더욱 높이고 훈련 비용을 줄였습니다.
Δ오픈소라 생성 효과( 프롬프트 : 거북이가 산호초 사이를 유유히 헤엄치는 수중 세계의 영상 )
보고서에 따르면 이 단계에서는 모델 생성 품질을 크게 향상시킬 수 있습니다. 사용된 데이터 크기는 이전 단계보다 한 단계 낮지만 비디오 지속 시간, 해상도 및 품질은 더 높습니다.
이런 방식으로 미세 조정하면 짧은 영상에서 긴 영상으로, 낮은 해상도에서 높은 해상도로, 낮은 충실도에서 높은 충실도로 비디오 생성을 효율적으로 확장할 수 있습니다.
Colossal-AI가 각 단계의 리소스 사용량도 자세하게 공개했다는 점은 언급할 가치가 있습니다.
오픈소라의 재생산 과정에서는 H800 64대를 훈련에 사용했습니다. 두 번째 단계의 총 학습량은 2808 GPU 시간으로 약 US$7,000이며, 세 번째 단계의 학습량은 1920 GPU 시간으로 약 US$4,500입니다. 예비 추정 후 전체 훈련 계획은 Open-Sora 재생산 프로세스를 약 US$10,000까지 성공적으로 제어했습니다.
Sora 재발의 임계값과 복잡성을 더욱 줄이기 위해 Colossal-AI 팀은 코드 웨어하우스에서 편리한 비디오 데이터 전처리 스크립트를 제공하여 누구나 쉽게 Sora 재발 사전 훈련을 시작할 수 있습니다.
공개 비디오 데이터 세트 다운로드, 샷 연속성을 기반으로 긴 비디오를 짧은 비디오 클립으로 분할, 오픈 소스 대형 언어 모델 LLaVA를 사용하여 정확한 프롬프트 단어 생성 등이 포함됩니다.
제공하는 일괄 동영상 제목 생성 코드는 카드 2개, 3초로 동영상에 주석을 달 수 있으며 품질은 GPT-4V에 가깝습니다.
최종 비디오/텍스트 쌍은 교육에 직접 사용할 수 있습니다. GitHub에서 제공하는 오픈 소스 코드를 사용하면 자신의 데이터 세트에 대한 교육에 필요한 비디오/텍스트 쌍을 쉽고 빠르게 생성할 수 있으므로 Sora 복제 프로젝트를 시작하기 위한 기술적 임계값과 사전 준비가 크게 줄어듭니다.
또한 Colossal-AI 팀은 훈련 가속화 솔루션도 제공합니다.
오퍼레이터 최적화, 하이브리드 병렬화 등 효율적인 훈련 전략을 통해 64프레임, 512x512 해상도 비디오 처리 훈련에서 1.55배 가속 효과를 달성했습니다.
동시에 Colossal-AI의 이기종 메모리 관리 시스템 덕분에 단일 서버(8H800)에서 1분 1080p 고화질 비디오 교육 작업을 방해 없이 수행할 수 있습니다.
그리고 팀은 또한 STDiT 모델 아키텍처가 훈련 중에도 뛰어난 효율성을 보여준다는 것을 발견했습니다.
완전 주의 메커니즘을 사용하는 DiT와 비교하여 STDiT는 프레임 수가 증가함에 따라 최대 5배의 가속을 달성합니다. 이는 긴 비디오 시퀀스 처리와 같은 실제 작업에서 특히 중요합니다.
마지막으로 팀은 더 많은 오픈소라 생성 효과도 출시했습니다.
, 기간 00:25
팀과 Qubits는 장기적으로 Open-Sora 관련 솔루션 및 개발을 업데이트하고 최적화할 것이라고 밝혔습니다. 앞으로는 더 높은 품질, 더 긴 비디오 콘텐츠를 생성하고 다중 해상도 기능을 지원하기 위해 더 많은 비디오 교육 데이터가 사용될 것입니다.
실용적인 적용 측면에서는 영화, 게임, 광고 및 기타 분야에서의 구현을 추진할 것이라고 팀은 밝혔습니다.
관심 있는 개발자는 GitHub 프로젝트를 방문하여 자세히 알아볼 수 있습니다~
Open-Sora 오픈소스 주소: https://github.com/hpcaitech/Open-Sora
참조 링크:
[1]https: //arxiv .org/abs/2212.09748 변압기를 사용한 확장 가능한 확산 모델.
[2]https://arxiv.org/abs/2310.00426 PixArt-α: 사실적인 텍스트-이미지 합성을 위한 확산 변환기의 빠른 훈련.
[3]https://arxiv.org/abs/2311.15127 안정적인 비디오 확산: 잠재 비디오 확산 모델을 대규모 데이터 세트로 확장.
[4]https://arxiv.org/abs/2401.03048 Latte: 비디오 생성을 위한 잠재 확산 변환기.
[5]https://huggingface.co/stabilityai/sd-vae-ft-mse-original.
[6]https://github.com/google-research/text-to-text-transfer-transformer.
[7]https://github.com/haotian-liu/LLaVA.
[8]https://hpc-ai.com/blog/open-sora-v1.0.
위 내용은 세계 최초의 Sora와 유사한 오픈 소스 복제 솔루션이 여기에 있습니다! 모든 학습 세부정보 및 모델 가중치에 대한 전체 공개의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
