Venir vite! Luchen Open-Sora peut collecter de la laine et vous pouvez facilement démarrer la génération de vidéos pour 10 yuans.

Récemment, la piste des modèles de génération vidéo est en plein essor, avec les vidéos Vincent, les vidéos Tu, etc. Cependant, même s'il existe de nombreux modèles sur le marché, la plupart des gens ne peuvent toujours pas en faire l'expérience car ils n'ont pas les qualifications nécessaires pour les tests internes, ils ne peuvent donc que regarder les « modèles » et soupirer. Il n'y a pas si longtemps, nous avons parlé du modèle Open-Sora de Luchen Technology. En tant que premier modèle open source de type Sora au monde, il fonctionne non seulement bien sur plusieurs types de vidéos, mais il est également peu coûteux et accessible à tous. Est-ce que ça marche? comment utiliser? Jetons un coup d'œil à la critique de ce site.

Récemment, la nouvelle version open source 1.2 d'Open-Sora peut générer des vidéos haute définition 720p d'une durée maximale de 16 secondes :

L'effet généré est vraiment incroyable. que tant de lecteurs en arrière-plan veulent se lancer dans l'expérience.

Comparé à de nombreux logiciels fermés, qui nécessitent de longues files d'attente pour obtenir les qualifications des tests internes, cet Open-Sora entièrement open source est évidemment plus accessible. Cependant, le Github officiel d'Open-Sora regorge de technologie et de code. Si vous souhaitez déployer l'expérience vous-même, sans parler des exigences matérielles élevées du modèle, cela représente également un grand défi pour les compétences de codage de l'utilisateur lors de la configuration. environnement.

Alors, existe-t-il un moyen de permettre aux utilisateurs d'IA, même novices, d'utiliser facilement Open-Sora ?

Tout d'abord la conclusion : oui, et il peut être déployé en un seul clic. Après le démarrage, il peut également contrôler la durée de la vidéo, l'image, l'objectif et d'autres paramètres sans code.

Es-tu excité ? Voyons ensuite comment implémenter le déploiement Open-Sora. À la fin de l'article, vous trouverez des didacticiels détaillés et des adresses d'utilisation au niveau des nounous, qui peuvent être utilisés sans aucune formation technique.

Solution de visualisation basée sur Gradio

Concernant les derniers détails techniques d'Open-Sora, Nous avons réalisé un rapport approfondi. Dans le rapport, nous nous sommes concentrés sur l'architecture de base du modèle OpenSora et son réseau de compression vidéo (VAE) innovant. À la fin de cet article, nous mentionnions que l'équipe Luchen Open-Sora propose des applications Gradio déployables en un clic. Alors, à quoi ressemble exactement cette application Gradio ?

Gradio lui-même est un package Python conçu pour le déploiement rapide de modèles d'apprentissage automatique. Il permet aux développeurs de générer automatiquement une interface Web en définissant l'entrée et la sortie du modèle, simplifiant ainsi le processus d'affichage et d'interaction en ligne du modèle.

Nous avons lu attentivement la page d'accueil GitHub d'Open-Sora et avons constaté que l'application combine organiquement le modèle Open-Sora avec Gradio, offrant une solution d'interaction élégante et concise.

Il utilise une interface graphique pour faciliter l'opération. Dans l'interface, les utilisateurs peuvent modifier librement les paramètres de base tels que la durée, le rapport hauteur/largeur et la résolution de la vidéo générée. Ils peuvent également ajuster indépendamment l'amplitude du mouvement, le score esthétique et les méthodes de mouvement de l'objectif plus avancées de la vidéo générée. Il prend également en charge l'appel de GPT-4 pour optimiser l'invite, afin de pouvoir prendre en charge la saisie de texte en chinois et en anglais.

Après le déploiement de l'application, les utilisateurs n'ont pas besoin d'écrire de code lorsqu'ils utilisent le modèle Open-Sora. Il leur suffit de saisir l'invite et de cliquer pour remplacer les paramètres afin d'essayer différentes combinaisons de paramètres pour générer des vidéos. La vidéo générée sera également affichée directement dans l'interface Gradio et pourra être téléchargée directement sur la page Web sans avoir besoin de chemins compliqués.

                                                                                                                                                                          ^{Source de l'image : https://github.com/hpcaitech/Open-Sora/blob/main/assets/readme/gradio_basic.png}

Nous avons remarqué que l'équipe Open-Sora a Le script pour adapter le modèle à Gradio est fourni dans Github, et le code de ligne de commande pour le déploiement est également fourni. Cependant, nous devons encore passer par une configuration d'environnement complexe pour exécuter avec succès le code déployé. Si nous voulons profiter pleinement des fonctions d'Open-Sora, notamment pour générer des vidéos haute résolution à long terme (telles que 720P 16 secondes), nous avons besoin d'une carte graphique avec de bonnes performances et une grande mémoire vidéo (la carte officielle est la H800). . La solution de Gradio ne semble pas mentionner comment résoudre ces deux problèmes.

Ces deux problèmes peuvent sembler très difficiles à première vue, mais ils peuvent être parfaitement résolus par Luchen Cloud, réalisant véritablement un déploiement facile sans avoir besoin de technologie. Comment commencer? Il y a un tutoriel super simple ici sur ce site.

Tutoriel de déploiement super simple en un clic

Est-il facile de déployer Open-Sora sur Luchen Cloud ?

Tout d'abord, Luchenyun propose plusieurs types de cartes graphiques, parmi lesquelles des cartes graphiques haut de gamme telles que l'A800 et le H800 peuvent également être louées facilement. Après nos tests, cette carte mémoire vidéo de 80 Go peut répondre aux exigences d'inférence du projet Open-Sora avec une seule carte.

Deuxièmement, Luchen Cloud a équipé une image dédiée pour le projet Open-Sora. Cette image est comme une pièce finement décorée dans laquelle vous pouvez emménager avec vos bagages. L'ensemble de l'environnement d'exploitation peut être démarré en un seul clic, éliminant ainsi le besoin de liens de configuration d'environnement complexes.

Enfin, Luchenyun propose également des prix super avantageux et des services super personnalisés. Le prix d'une carte A800 est inférieur à 10 yuans par heure et le temps d'initialisation de l'image n'est pas facturé. L'hébergeur cloud peut être arrêté à tout moment pour arrêter la facturation. Autrement dit, pour moins de 10 yuans/heure, vous pourrez pleinement profiter de l’expérience surprenante apportée par Open-Sora ! De plus, nous avons également inclus une méthode pour obtenir un coupon de 100 yuans à la fin de l'article. Dépêchez-vous et créez un compte pour obtenir le coupon et suivez notre tutoriel !

Site Web Luchenyun : https://cloud.luchentech.com/

Tout d'abord, entrez sur le site Web pour créer un compte sur Luchenyun. Dès que vous entrez sur la page principale, vous pouvez voir directement les machines disponibles à la location sur le marché de la puissance de calcul. Obtenez un coupon ou rechargez 10 yuans, et vous pourrez suivre le guide de l'utilisateur de Luchenyun pour commencer à créer un hôte cloud.

La première étape consiste à choisir un miroir. Dès que vous ouvrez l'image publique, la première sur laquelle vous cliquez est OpenSora (1.2), ce qui est vraiment pratique.

La deuxième étape consiste à choisir le mode de facturation. Il existe deux méthodes de facturation : la facturation à marée et la facturation au fur et à mesure. Nous l'avons essayé et avons constaté que la mesure de la marée permet d'économiser de l'argent et que l'A800 est encore moins cher pendant les périodes d'inactivité !

Pour l'inférence Open-Sora, un A800 suffit, nous avons choisi une configuration à 1 carte et avons autorisé la connexion SSH, la persistance du stockage et les données publiques montées (y compris les poids des modèles). Ces fonctions sont gratuites, offrent plus de commodité et sont super conscientes.

Après la sélection, cliquez sur Créer. Le temps de démarrage de l'hôte cloud est très court et la machine sera opérationnelle en quelques dizaines de secondes. Cette période n’est pas facturée, donc si vous rencontrez une image relativement volumineuse qui prend beaucoup de temps, vous n’avez pas à vous soucier du coût.

Dans la troisième étape, nous cliquons sur JupyerLab depuis la page de l'hôte cloud pour accéder à la page Web. Dès notre entrée, un terminal nous a été ouvert.

Nous entrons ls pour afficher les fichiers de l'hôte cloud. Nous pouvons voir que le dossier Open-Sora est au chemin initial.

Puisque nous utilisons l'image exclusive Open-Sora, nous n'avons pas besoin d'installer d'environnement supplémentaire. L’étape la plus longue a été parfaitement résolue.

À ce stade, nous pouvons saisir directement la commande pour exécuter Gradio afin de démarrer rapidement Gradio et véritablement réaliser un déploiement en un clic.

Bashpython gradio/app.py

La vitesse est très rapide, il ne faut que plus de dix secondes à Gradio pour commencer à courir.

Cependant, nous avons constaté que cette gradio fonctionne par défaut sur le serveur http://0.0.0.0:7860. Si vous souhaitez l'utiliser dans votre navigateur local, vous devez d'abord ajouter votre clé publique ssh à celle de Luchen Cloud dans la machine. . Cette étape est également très simple. Entrez simplement le fichier ci-dessous et collez-y la clé secrète de la machine locale.

Ensuite, nous devons également rédiger les instructions de mappage du port d'achèvement local. Nous pouvons suivre les instructions de cette capture d'écran. Lorsque vous l'utilisez, vous devez le remplacer par l'adresse et le port spécifiques de votre propre hôte cloud.

Ensuite, ouvrez la page Web correspondante et une interface d'opération visuelle apparaîtra bientôt.

Nous avons d'abord entré au hasard une invite en anglais et cliqué pour commencer à générer (la résolution par défaut de 480p a été utilisée, ce qui sera plus rapide).

^{a river flowing through a rich landscape of trees and mountains (一条河流流经茂密的树木和山脉)}

很快生成就完成了，耗时约 40 秒。生成结果整体还不错，有河有山有树木，和指令符合。但是我们期待的是雄鹰从高处俯瞰的效果。

没关系，调整了指令再来一次：

^{a bird's eye view of a river flowing through a rich landscape of trees and mountains (鸟瞰河流流经树木和山脉的丰富景观)}

这次生成的内容果然带上了鸟瞰效果。不错，这个模型还是很听话的。

如前文所说，gradio 界面上还有很多其他选项，比如调整分辨率、画幅长宽比、视频时长，甚至还能控制视频的动态效果幅度等，可玩性非常强，我们测试时使用的是 480P 分辨率，而最高可支持 720P，大家可以逐个尝试，看看不同选项搭配的效果。

想要进阶？微调也能轻松上手

此外，继续深挖 Open-Sora 的网页，我们发现他们还提供了继续微调模型的代码指令。使用自己喜欢的类型的视频微调模型的话，就能让这个模型生成更符合我的审美要求的视频了！

让我们用潞晨云的公开数据中提供的视频数据来验证一下。

由于环境全都是配置好的，我们只需复制粘贴训练指令。

torchrun --standalone --nproc_per_node 1 scripts/train.py configs/opensora-v1-2/train/stage1.py --data-path /root/commonData/Inter4K/meta/meta_inter4k_ready.csv

这边输出了一连串模型训练的信息。

训练已经正常启动了，居然只要单卡就能训！

（ 踩坑提示：在此之前我们遭遇了一次 OOM, 结果发现程序挂了以后显存依旧被占用，然后发现是忘记关闭上一步 Gradio 的推理了 ORZ，所以大家用单卡训的时候一定要记得关掉 Gradio，因为 Gradio 上面加载了模型一直在等待用户输入来进行推理）。

以下是我们训练的时候 GPU 资源占用情况：

简单算一笔账，训练一步大约耗时约 20 秒，根据 Open-Sora 提供的数据，训练 70k 步（如下图所示），那他们耗时大约在 16 天左右，和他们文档中声称的 2 周左右相近（假设他们的所有机器各完成一个 step 的时间和我们这台机器相似）。

在这 70k 步中，第一阶段占 30k 步，第二阶段占 23k 步，那第三阶段其实只训练了 17k 步。而这个第三阶段，就是用高质量视频进行微调，用来大幅度提升模型质量，也就是我们现在想要做的事情。

不过，从报告中看，他们的训练使用了 12 台 8 卡机器，所以如果我们用潞晨云平台训练和第三阶段相同的数据量，大约需要：

95 小时 * 8 卡 * 12 台 * 10 元 / 小时 = 91200 元

Ce nombre est encore un peu un seuil d'évaluation, mais il est également très rentable pour créer un modèle vidéo Vincent exclusif. Surtout pour les entreprises, aucun travail préparatoire n'est requis. En suivant le didacticiel étape par étape, vous pouvez effectuer un réglage fin pour moins de 100 000 yuans, voire moins. J'ai vraiment hâte de voir des versions plus améliorées d'Open-Sora dans le domaine professionnel !

Enfin, ajoutons l'événement bénéfice de coupon de 100 yuans que nous avons mentionné plus tôt ~ Bien que le coût de notre examen soit inférieur à 10 yuans, nous devons quand même économiser de l'argent !

D'après les informations officielles de Luchen Cloud, on peut voir que les utilisateurs partagent leur expérience sur les réseaux sociaux et les forums professionnels (comme Zhihu, Xiaohongshu, Weibo, CSDN, etc.) (avec #Luchenyun ou @Luchen Technology ), vous pouvez obtenir un bon de 100 yuans (valable une semaine) en le partageant efficacement une fois, ce qui équivaut à cinq ou six cents vidéos générées lors de notre évaluation~

Enfin, nous avons compilé des liens de ressources pertinents Mettez-le ci-dessous pour que tout le monde puisse démarrer rapidement. Amis qui souhaitent l'essayer immédiatement, cliquez pour lire le texte original pour l'envoyer en un clic et commencez votre voyage vidéo IA !

^{Liens de ressources associés :}

^{Plateforme Lu Chenyun : https://cloud.luchentech.com/}

^{Base de code Open-Sora : https://github.com/hpcaitech / Open-Sora/tree/main?tab=readme-ov-file#inference}

^{Tutoriel Bilibili : https://www.bilibili.com/video/BV1ow4m1e7PX/?vd_source=c6b752764cd36ff0e535a768e35d98d2}

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!