OpenAI를 기다리지 마세요. 세계 최초의 Sora와 같은 것이 먼저 오픈 소스입니다! 모든 학습 세부정보/모델 가중치가 완전히 공개되며 비용은 미화 10,000달러에 불과합니다.

얼마 전 OpenAI Sora는 놀라운 영상 생성 효과로 빠르게 인기를 얻었으며, 다른 Vincent 영상 모델과의 차이점을 부각하며 전 세계의 관심의 초점이 되었습니다.

2주 전 46% 비용 절감으로 Sora 훈련 추론 재생 프로세스를 출시한 후 Colossal-AI 팀은 세계 최초의 Sora와 유사한 아키텍처 비디오 생성 모델 "Open-Sora 1.0"을 완전 오픈 소스화했습니다. - 데이터 처리, 모든 훈련 세부 사항 및 모델 가중치를 포함한 전체 훈련 과정을 다루며, 글로벌 AI 애호가들과 손을 잡고 비디오 제작의 새로운 시대를 열었습니다.

Open-Sora 오픈소스 주소: https://github.com/hpcaitech/Open-Sora

미리 살펴보시려면 에서 출시한 "Open-Sora"를 살펴보겠습니다. Colossal-AI 팀 1.0" 모델이 생성한 분주한 도시의 스냅샷 영상.

Open-Sora 1.0이 생성한 번화한 도시의 스냅샷

이것은 Sora의 재현 기술, 즉 모델 아키텍처, 훈련된 모델 가중치 및 위의 Wensheng 비디오 교육 세부 정보, 데이터 전처리 프로세스, 데모 표시 및 자세한 시작 튜토리얼, Colossal-AI 팀은 GitHub에서 무료로 완전히 오픈 소스화되었습니다.

Xinzhiyuan은 가능한 한 빨리 팀에 연락하여 Open-Sora 관련 솔루션과 최신 개발을 계속 업데이트할 것이라는 소식을 들었습니다. 관심 있는 친구들은 Open-Sora의 오픈 소스 커뮤니티를 계속 지켜봐 주시기 바랍니다.

소라 복제 솔루션의 종합적인 해석

다음으로, 모델 아키텍처 설계, 학습 복제 솔루션, 데이터 전처리, 모델 생성 효과 표시 및 효율적인 학습을 포함하여 소라 복제 솔루션의 여러 핵심 차원을 심층적으로 해석하겠습니다. 최적화 전략.

모델 아키텍처 설계

이 모델은 현재 널리 사용되는 DiT(확산 변압기) [1] 아키텍처를 채택합니다.

저작팀은 DiT 아키텍처를 기반으로 하는 고품질 오픈 소스 Vincent 그래프 모델 PixArt-α[2]를 사용하고 이를 기반으로 Temporal Attention 레이어를 도입하고 이를 비디오 데이터로 확장합니다. .

구체적으로 전체 아키텍처에는 사전 훈련된 VAE, 텍스트 인코더 및 공간-시간적 주의 메커니즘을 활용하는 STDiT(Spatial Temporal Diffusion Transformer) 모델이 포함됩니다.

그 중 STDiT의 각 레이어 구조는 아래 그림과 같습니다. 이는 시간 관계를 모델링하기 위해 2차원 공간 주의 모듈에 1차원 시간 주의 모듈을 중첩하는 직렬 방법을 사용합니다.

Temporal Attention 모듈 이후에는 Cross-Attention 모듈을 사용하여 텍스트의 의미를 정렬합니다. 전체 주의 메커니즘과 비교하여 이러한 구조는 훈련 및 추론 오버헤드를 크게 줄입니다.

공간-시간 주의 메커니즘을 사용하는 Latte [3] 모델과 비교하여 STDiT는 사전 훈련된 이미지 DiT의 가중치를 더 잘 활용하여 비디오 데이터에 대한 훈련을 계속할 수 있습니다.

STDiT 구조 다이어그램

전체 모델의 학습 및 추론 과정은 다음과 같습니다. 훈련 단계에서는 먼저 사전 훈련된 VAE(Variational Autoencoder) 인코더를 사용하여 비디오 데이터를 압축한 다음 압축된 잠재 공간에 텍스트 임베딩과 함께 STDiT 확산 모델을 훈련하는 것으로 이해됩니다.

추론 단계에서는 VAE의 잠재 공간에서 가우스 잡음을 무작위로 샘플링하고 프롬프트 임베딩과 함께 STDiT에 입력하여 잡음 제거된 특징을 얻습니다. 마지막으로 VAE 디코더에 입력하고 디코딩하여 비디오를 얻습니다.

모델 훈련 프로세스

Training 복제 계획

우리는 Open-Sora의 복제 방식이 SVD(Stable Video Diffusion) [3] 작업을 참조한다는 것을 팀에서 배웠습니다. , 즉:

1. 고품질 비디오의 미세 조정

2. 데이터.

각 단계는 이전 단계의 가중치를 기반으로 훈련을 계속합니다. 처음부터 단일 단계 학습에 비해 다단계 학습은 데이터를 점진적으로 확장하여 고품질 비디오 생성 목표를 보다 효율적으로 달성합니다.

3단계 훈련 계획

첫 번째 단계: 대규모 이미지 사전 훈련

첫 번째 단계는 대규모 이미지 사전 훈련을 통해, 성숙한 Vincentian 그래프 모델의 도움으로 비디오 사전 훈련 비용을 효과적으로 절감합니다.

저자팀은 인터넷상의 풍부한 대용량 이미지 데이터와 앞선 Vincent 그래프 기술을 통해 다음 단계의 초기화 가중치가 될 고품질의 Vincent 그래프 모델을 학습시킬 수 있다고 밝혔습니다. 비디오 사전 훈련.

동시에 현재 고품질 시공간 VAE가 없기 때문에 Stable Diffusion [5] 모델로 사전 훈련된 이미지 VAE를 사용했습니다. 이 전략은 초기 모델의 뛰어난 성능을 보장할 뿐만 아니라 비디오 사전 훈련의 전체 비용을 크게 줄입니다.

2단계: 대규모 동영상 사전 학습

2단계에서는 모델 일반화 능력을 높이고 동영상의 시계열 상관관계를 효과적으로 파악하기 위해 대규모 동영상 사전 학습을 수행합니다.

이 단계에서는 비디오 테마의 다양성을 보장하여 모델의 일반화 능력을 높이기 위해 훈련에 많은 양의 비디오 데이터를 사용해야 한다는 것을 이해합니다. 2단계 모델은 1단계 Vincentian 그래프 모델에 Temporal Attention 모듈을 추가하여 영상 속 시간적 관계를 학습합니다.

나머지 모듈은 첫 번째 단계와 일치하며 첫 번째 단계 가중치를 초기화로 로드하는 동시에 Temporal Attention 모듈의 출력을 0으로 초기화하여 보다 효율적이고 빠른 수렴을 달성합니다.

Colossal-AI 팀은 PixArt-alpha[2]의 오픈 소스 가중치를 2단계 STDiT 모델의 초기화로 사용하고 T5[6] 모델을 텍스트 인코더로 사용했습니다. 동시에 사전 훈련을 위해 256x256의 작은 해상도를 사용하여 수렴 속도를 더욱 높이고 훈련 비용을 줄였습니다.

3단계: 고품질 비디오 데이터 미세 조정

3단계에서는 고품질 비디오 데이터를 미세 조정하여 비디오 생성 품질을 크게 향상시킵니다.

저자팀은 3단계에서 사용되는 영상 데이터의 크기는 2단계에 비해 한 자릿수 작지만 영상의 길이, 해상도, 화질은 더 높다고 언급했습니다. 이러한 방식으로 미세 조정함으로써 짧은 영상에서 긴 영상으로, 낮은 해상도에서 높은 해상도로, 낮은 충실도에서 높은 충실도까지 비디오 생성을 효율적으로 확장할 수 있었습니다.

저자 팀은 Open-Sora 재현 과정에서 훈련에 64개의 H800 블록을 사용했다고 밝혔습니다.

두 번째 단계의 총 훈련량은 2808 GPU 시간으로 약 US$7,000입니다. 세 번째 단계의 훈련량은 1920 GPU 시간으로 약 4500달러입니다. 예비 추정 후, 전체 훈련 계획은 Open-Sora 재현 프로세스를 약 US$10,000까지 성공적으로 제어했습니다.

데이터 전처리

Sora 재발의 임계값과 복잡성을 더욱 줄이기 위해 Colossal-AI 팀은 코드 웨어하우스에서 편리한 비디오 데이터 전처리 스크립트도 제공하여 누구나 쉽게 Sora 재발 사전 훈련을 시작할 수 있습니다. , 공개 비디오 데이터 세트 다운로드를 포함하여 긴 비디오는 샷 연속성을 기반으로 짧은 비디오 클립으로 분할되고 오픈 소스 대형 언어 모델 LLaVA [7]는 정확한 프롬프트 단어를 생성하는 데 사용됩니다.

작가팀에서 제공한 일괄 동영상 제목 생성 코드는 카드 2개로 3초 만에 동영상에 주석을 달 수 있으며 품질도 GPT-4V에 가깝다고 언급했습니다. 결과 비디오/텍스트 쌍은 교육에 직접 사용될 수 있습니다.

GitHub에서 제공하는 오픈 소스 코드를 사용하면 자체 데이터 세트에 대한 교육에 필요한 비디오/텍스트 쌍을 쉽고 빠르게 생성할 수 있으므로 Sora 복제 프로젝트를 시작하기 위한 기술적 임계값과 사전 준비가 크게 줄어듭니다.

데이터 전처리 스크립트를 기반으로 자동 생성된 동영상/텍스트 쌍

모델 생성 효과 표시

오픈소라의 실제 동영상 생성 효과를 살펴보겠습니다. 예를 들어 Open-Sora를 사용하여 절벽 해안의 바위에 바닷물이 부딪히는 모습을 항공 영상으로 생성해 보세요.

절벽에서 솟아올라 호수로 흘러가는 산과 폭포의 웅장한 조감도를 오픈소라에 담아보세요.

하늘로 가는 것 외에도 바다에 들어갈 수도 있습니다. 프롬프트를 입력하고 Open-Sora가 수중 세계의 장면을 생성하도록 하세요. 장면에서 바다거북이 유유히 헤엄치고 있습니다. 산호초.

오픈소라는 저속 촬영을 통해 별이 빛나는 은하수를 보여줄 수도 있습니다.

비디오 생성에 대한 더 흥미로운 아이디어가 있다면 Open-Sora 오픈 소스 커뮤니티를 방문하여 무료 경험을 위한 모델 가중치를 얻을 수 있습니다.

링크: https://github.com/hpcaitech/Open-Sora

저자 팀이 Github에서 현재 버전은 400K 훈련 데이터만 사용한다고 언급했다는 점은 주목할 가치가 있습니다. 생성 품질과 텍스트를 따라가는 능력을 향상시켜야 합니다. 예를 들어, 위의 거북이 비디오에서 결과 거북이는 다리가 하나 더 있습니다. Open-Sora 1.0은 인물 사진이나 복잡한 이미지를 생성하는 데도 능숙하지 않습니다.

작성팀은 기존 결함을 지속적으로 해결하고 생산 품질을 향상시키는 것을 목표로 Github에 수행할 일련의 계획을 나열했습니다.

효율적인 교육 지원

Sora 재생의 기술적 한계를 대폭 낮추고 지속 시간, 해상도, 콘텐츠 등 다차원에서 비디오 생성 품질을 향상시키는 것 외에도 저자 팀은 Colossal도 제공합니다. -AI 가속 시스템은 소라의 재발에 대한 효율적인 훈련 지원을 제공합니다.

오퍼레이터 최적화, 하이브리드 병렬화 등 효율적인 훈련 전략을 통해 64프레임, 512x512 해상도 영상 처리 훈련에서 1.55배 가속 효과를 달성했습니다.

동시에 Colossal-AI의 이기종 메모리 관리 시스템 덕분에 단일 서버(8 x H800)에서 1분 1080p 고화질 비디오 교육 작업을 방해 없이 수행할 수 있습니다.

또한 저자 팀의 보고서에서 STDiT 모델 아키텍처도 훈련 중에 탁월한 효율성을 보였다는 사실을 발견했습니다.

완전 주의 메커니즘을 사용하는 DiT와 비교하여 STDiT는 프레임 수가 증가함에 따라 최대 5배의 가속 효과를 달성합니다. 이는 긴 비디오 시퀀스 처리와 같은 실제 작업에서 특히 중요합니다.

오픈소라 모델 영상생성 효과 한눈에

huan오픈소라 오픈소스 프로젝트에 지속적인 관심 부탁드립니다: https://github.com /hpcaitech/Open-Sora

저자팀은 Open-Sora 프로젝트를 지속적으로 유지 및 최적화할 예정이며, 더 높은 품질, 더 긴 영상 콘텐츠를 생성하고 멀티 지원을 위해 더 많은 영상 훈련 데이터를 활용할 것으로 예상된다고 언급했습니다. -실용적인 해상도 기능 영화, 게임, 광고 및 기타 분야에서 AI 기술 구현을 촉진합니다.