Ein hochauflösendes 16-Sekunden-720p-Video mit einem Objektiv wird mit einem Klick erstellt, und die Open-Source-Version von Sora hält neue Überraschungen bereit

Das OpenSora-Team schlug ein innovatives Videokomprimierungsnetzwerk (VAE) vor, das in zwei Dimensionen komprimiert: Raum und Zeit. Konkret führten sie zunächst eine 8x8-fache Komprimierung in der räumlichen Dimension durch, gefolgt von einer weiteren 4-fachen Komprimierung in der zeitlichen Dimension. Durch diese innovative Komprimierungsstrategie wird nicht nur der Nachteil vermieden, dass die Videoglätte aufgrund der Bildextraktion beeinträchtigt wird, sondern auch die Schulungskosten erheblich gesenkt, wodurch eine doppelte Optimierung von Kosten und Qualität erreicht wird.

                                                                                                                                                 Videokomprimierungsnetzwerkstruktur Stable Diffusion 3, das neueste Diffusionsmodell, um die Bildqualität deutlich zu verbessern und Videogenerierung durch Verwendung der Rectified-Flow-Technologie als Ersatz für DDPM. Obwohl der Rectified-Flow-Trainingscode von SD3 noch nicht veröffentlicht wurde, hat das Luchen Open-Sora-Team eine vollständige Trainingslösung basierend auf den Forschungsergebnissen von SD3 bereitgestellt, einschließlich:

Einfacher und benutzerfreundlicher Rectified-Flow Training
Logit-Norm-Zeitschritt-Sampling zur Trainingsbeschleunigung
Zeitschritt-Sampling basierend auf Auflösung und Videolänge
Durch die Integration dieser Technologien können wir nicht nur das Training des Modells beschleunigen, Außerdem kann es die Wartezeit in der Inferenzphase erheblich verkürzen und ein reibungsloses Benutzererlebnis gewährleisten. Darüber hinaus unterstützt diese Schulungslösung auch die Ausgabe mehrerer Video-Seitenverhältnisse während des Inferenzprozesses, erfüllt die Anforderungen von Videomaterialien in verschiedenen Szenarien und stellt den Erstellern von Videoinhalten umfangreichere kreative Werkzeuge zur Verfügung.

Sie enthüllten im Bericht auch weitere Kerndetails zum Modelltraining, einschließlich praktischer Tipps zur Datenbereinigung und Modelloptimierung sowie zum Aufbau eines umfassenderen Modellbewertungssystems, um die Robustheit und Generalisierungsfähigkeiten des Modells sicherzustellen. Sie bieten außerdem eine Gradio-Anwendung, die mit einem Klick bereitgestellt werden kann und die Anpassung von Parametern wie Ausgabe-Bewegungsbewertungen, ästhetischen Bewertungen und Linsenbewegungsmethoden unterstützt. Sie kann sogar Anweisungen automatisch über GPT-4o mit einem Klick ändern und unterstützt chinesische Eingaben. Wenn Sie nicht anders können, als sich die Hände schmutzig zu machen, klicken Sie bitte auf https://github.com/hpcaitech/Open-Sora/blob/main/docs/report_03.md

Von OpenAI Sora Seit seiner Veröffentlichung sind die Erwartungen der Branche an die Offenheit von Sora in die Höhe geschossen, aber die Realität ist, dass es sich weiterhin um ein Wartespiel handelt. Die offene Quelle von Luchen Open-Sora hat der Innovation und Entwicklung von Vincent Video große Dynamik verliehen. „Einem Mann das Fischen beizubringen ist schlimmer, als ihm das Fischen beizubringen.“ Wenn Sie ihre Github-Adresse besuchen, können Sie die Modellgewichte und einen vollständigen Satz an Trainingscodes kostenlos ohne Schwellenwert erhalten, was es Benutzern ermöglicht, von passiven Inhaltskonsumenten zu werden aktive Content-Ersteller. Diese Transformation hat Unternehmensanwendern neue Fähigkeiten eröffnet, um selbständig Vincent Video-Anwendungen zu entwickeln, sei es die Erstellung immersiver Spiele, kreativer Werbung oder die Produktion von Film- und Fernsehblockbustern – die Anwendungsszenarien der Vincent Video-Technologie wurden exponentiell erweitert.

Wir hoffen, dass dieser Funke die Leidenschaft für Innovation im gesamten Vincent-Videobereich entfachen und ein Präriefeuer von der Spitze bis zur Oberfläche entfachen kann.

Schließlich beigefügt ist der Open-Source-Link zu Luchen OpenSora:

https://wandb.ai/lambdalabs/lego/ Berichte /Text2Bricks-Fine-tuning-Open-Sora-in-1-000-GPU-Hours--Vmlldzo4MDE3MTky

https://hpc-ai.com/blog/open-sora-from-hpc- ai -tech-team-continues-open-source-generate-any-16-second-720p-hd-video-with-one-click-model-weights-ready-to-use