Depuis la sortie de ChatGPT et Stable Diffusion, divers projets open source connexes ont fleuri, ce qui est vraiment écrasant.
Aujourd'hui, je me concentre sur la sélection de quelques projets open source de haute qualité à partager avec vous, qui seront d'une grande aide dans notre travail, nos études et notre vie quotidienne.
Il s'agit d'un projet open source de Microsoft en un peu plus d'une semaine, il a gagné plus de 23,6 000 étoiles.
Pour résumer simplement, il s’agit d’un système de questions/réponses multimodal.
Prend en charge la peinture par l'IA, les questions et réponses linguistiques et les questions et réponses en image, intégrant les trois points chauds récents de l'industrie de l'IA.
Affichage de l'effet :
Le cadre de mise en œuvre du système est le suivant :
Il s'agit d'un projet open source qui "fait des miracles avec beaucoup d'efforts", intégrant les résultats de recherche de nombreuses parties. Tout en un : BLIP, CLIP, ChatGPT, pix2pix, inpainting, vqa, etc.
Pour parler franchement, il s'agit de vous apprendre à utiliser ces projets pour construire un système de questions/réponses multimodal. Cette architecture système a une grande valeur de référence.
Adresse du projet :
https://github.com/microsoft/visual-chatgpt
Il s'agit d'un projet open source correspondant à un article CVPR 2023.
Juste open source, frais et chaud~
La fonction est la suivante : à partir d'une image et d'un morceau d'audio, synthétisez une vidéo du visage parlant cette voix.
Combinées avec ChatGPT, AIGC et la conversion audio-texte, les images virtuelles en deux ou trois dimensions peuvent être « en direct ».
De plus, le projet a également été transformé en un plug-in pour webui de diffusion stable, qui peut être utilisé directement en diffusion stable.
L'image générée peut être directement associée à un morceau d'audio pour générer une vidéo synthétisée.
Adresse du projet :
https://github.com/winfredy/sadtalker
peut-il être modifié pour générer des images ? La vidéo peut-elle être éditée ?
FateZero : Je peux !
L'image de gauche est l'image originale, l'image de droite est l'effet généré, le texte d'entrée est :
Ajouter un style d'animation Pokémon :
Ajouter un style de peinture à l'encre :
En plus du style migration de la vidéo, il prend également en charge la modification du contenu.
Par exemple : l'écureuil mange de la carotte, devient, le lapin mange de l'aubergine.
Ce projet est également basé sur sd, ce qui est un pas de plus vers la génération de vidéos en un seul clic.
Adresse du projet :
https://github.com/chenyangqiqi/fatezero
arXiv Je crois que tout le monde sait qu'il s'agit du site Web d'hébergement de documents le plus populaire auprès des scientifiques et des chercheurs du monde entier. .savant.
Afin d'améliorer l'efficacité des utilisateurs d'arXiv lisant des articles, quelqu'un a ouvert ChatPaper, un outil open source qui utilise ChatGPT pour résumer les articles arXiv.
La motivation du développeur, il l'a expliqué ainsi :
En bref, ce projet peut télécharger les derniers articles sur arXiv en fonction des mots-clés des utilisateurs, en utilisant la puissante capacité de résumé de l'API ChatGPT3.5, condensez-le dans un format fixe avec peu de mots et facile à lire.
En parallèle, le projet aide les particuliers à le déployer eux-mêmes, ou à se rendre directement chez Hugge Face pour en faire l'expérience.
Adresse du projet :
https://github.com/kaixindelele/ChatPaper
https://huggingface.co/spaces/wangrongsheng/ChatPaper
Il y a trop d'entreprises toutes dans ChatGPT récemment, Divers projets open source connexes émergent également sans cesse.
J'espère que ces projets pourront vous être utiles.