Pour résoudre la difficulté de reproduire de grands modèles et de collaborer, cette équipe d'étudiants post-95 a créé une communauté nationale open source d'IA.

Au cours de la dernière décennie, la technologie de l'IA a connu d'énormes progrès. Que ce soit dans le traitement du langage naturel, la reconnaissance d'images ou dans des domaines plus innovants, l'impact de l'IA a été omniprésent.

Avec la croissance explosive du nombre de recherches, le monde universitaire et l'industrie sont également confrontés à certains défis, notamment les problèmes de « reproduction papier » et de « collaboration interdisciplinaire ». Surtout à l'ère des grands modèles, face à la recherche de modèles avec des dizaines de milliards de paramètres, l'open source, la reproduction et la collaboration deviennent plus importants, mais la difficulté devient encore plus grande.

La reproduction papier est avant tout un élément de référence important pour juger de la valeur d'un résultat. Dans le même temps, dans le domaine en développement rapide de l'IA, assurer la reproductibilité de la recherche favorisera mieux l'accumulation de connaissances et la vulgarisation de la technologie. C'est également la clé du maintien de l'intégrité académique et de la promotion de l'innovation continue. Face à ces problèmes, il est particulièrement important de prôner une science ouverte et une recherche transparente. En open source, en données et en détails expérimentaux, en fournissant une plate-forme informatique à moindre coût pour les besoins de réplication et en fournissant des programmes interactifs pour prendre en charge une réplication rapide, nous pourrons peut-être construire un moyen plus robuste et plus efficace de faire progresser la recherche scientifique. .

Si l'on parle du problème de la « difficulté à reproduire », c'est comme ajouter un haut mur au « dialogue » entre chercheurs. Le problème de la « difficulté de collaboration » crée également une barrière invisible à la coopération interdisciplinaire.

À l'ère des grands modèles, comment construire une plate-forme pratique capable d'abaisser le seuil de communication et de collaboration est devenu un grand défi. Les méthodes traditionnelles de collaboration en matière de développement logiciel que nous connaissons, telles que la gestion du code et le contrôle des versions basées sur Git, peuvent ne plus être applicables dans des scénarios tels que la R&D en IA qui reposent davantage sur des expériences que sur des processus déterministes. Sa gestion des versions expérimentales est complexe et relativement complexe. Les seuils d’utilisation et de déploiement élevés entravent souvent la communication et la collaboration entre experts de différents domaines. Le domaine actuel de l’IA nécessite de nouveaux modèles et outils de collaboration, notamment des plateformes de contrôle de version et de collaboration plus intuitives et plus faciles à utiliser, afin que les experts sans formation technique puissent facilement participer au processus de développement, d’évaluation et de démonstration du modèle.

En d’autres termes, les chercheurs scientifiques et les praticiens espèrent parvenir à une collaboration plus efficace et plus approfondie basée sur le partage des connaissances et de la technologie, et promouvoir le développement futur dans le domaine de l’IA.

Dans ce contexte, une toute nouvelle plateforme communautaire AI open source "SwanHub" est née.

Adresse de l'expérience : https://swanhub.co/

Il est à noter que SwanHub est issu d'une très jeune équipe d'étudiants diplômés et d'étudiants de premier cycle de l'Université des sciences et technologies électroniques de Xi'an en Chine. Les quatre membres de l'équipe sont tous nés après 1995. Ils possèdent non seulement une riche expérience dans la recherche en IA, mais ont également une passion pour l'open source. Sous la direction de leurs instructeurs, les professeurs Wu Jiaji et Tan Mingzhou, ils ont construit à partir de zéro une plateforme unique de développement collaboratif, de partage open source et d'affichage visuel pour les modèles d'IA, dans le but de résoudre les difficultés actuelles de reproduction, de déploiement et de gestion. Les modèles d’IA : une question centrale difficile.

Quels problèmes SwanHub résout-il ?

Dans la plateforme SwanHub, les chercheurs et les praticiens de l'IA ont non seulement accès à une multitude de ressources de modèles et d'outils open source, mais bénéficient également de la commodité et de l'efficacité du développement collaboratif. Actuellement, SwanHub a lancé plusieurs fonctions de base, notamment l'hébergement de modèles d'IA, l'affichage visuel, etc.

Tout d'abord, les chercheurs en IA peuvent héberger leur propre code sur SwanHub pour la gestion des versions, tout comme en utilisant la plateforme d'hébergement Github. Cependant, par rapport à GitHub, SwanHub prend en charge l'hébergement de fichiers volumineux de plus grande capacité, et les chercheurs peuvent héberger et gérer des versions de fichiers de poids de modèle allant jusqu'à des dizaines de Go.

"L'affichage visuel" est également un point fort de SwanHub. De nombreux articles de recherche publiés dans les meilleures conférences et revues démontreront de beaux effets et des technologies innovantes. Mais dans la pratique, les ingénieurs et les chercheurs qui tentent de reproduire ces résultats se heurtent souvent à des difficultés. Pour cette raison, ces dernières années, de nombreuses conférences universitaires ont exigé que les auteurs soumettent non seulement du code, mais également un certain nombre de démos pour fournir des informations de recherche plus suffisantes, et SwanHub fournit précisément une telle plate-forme pour afficher publiquement les résultats et obtenir davantage de recherches scientifiques. trafic.

Comme le montre la figure ci-dessous, la plate-forme SwanHub fournit un flux de travail de déploiement de modèle de démonstration simple, permettant aux utilisateurs de déployer facilement du code et des poids de modèle dans une démonstration de page Web visuelle et interactive en cliquant sur quelques boutons. Réalisez des tests en ligne en temps réel. les résultats d'inférence des modèles d'IA et prennent en charge le partage avec des collaborateurs, des réviseurs, des pairs ou leur publication sur Internet. SwanHub prend également en charge les frameworks de visualisation grand public tels que Gradio, StreamLit, etc.

SwanHub fournit non seulement une plate-forme aux chercheurs qui souhaitent partager leurs résultats pour afficher leurs modèles open source, mais d'autres chercheurs peuvent également accéder facilement aux résultats open source d'autres chercheurs, à une démonstration d'expérience et à un forum de discussion pour les universitaires. discussions.

De plus, l'équipe a déclaré que SwanHub lancerait bientôt deux fonctions : la première fonction est un service de déploiement de code à guichet unique, permettant aux utilisateurs de déployer facilement des modèles d'apprentissage automatique en tant qu'API de service cloud (Application Programming Interface), et également un support. ouvert à toute la communauté ou usage privé. Pour les chercheurs qui ouvrent l'API de leurs propres modèles, leurs résultats de recherche peuvent être intégrés plus rapidement dans divers scénarios d'application et l'impact de leurs recherches peut être amélioré en même temps, pour les utilisateurs, leurs résultats de recherche peuvent également être davantage rendus disponibles ; rapidement. L'application a accès à diverses puissantes fonctionnalités d'IA open source. La deuxième fonction est l'outil de gestion d'expériences modèles SwanLab. Les utilisateurs peuvent connecter leur propre programme d'enregistrement d'expériences à SwanLab pour réaliser des fonctions d'enregistrement et de gestion des journaux d'expériences en ligne. La plate-forme peut non seulement aider à enregistrer les journaux de formation et à héberger des modèles intermédiaires, mais également à fournir des résultats de formation visuels, des messages de fin de formation, des enregistrements et des recommandations d'hyperparamètres, une comparaison de versions croisées de modèles et d'autres fonctions, ce qui permet aux chercheurs de faire rapidement des essais et des erreurs et de développer. , ainsi que d'améliorer de nombreux aspects. L'efficacité de la formation collaborative entre les personnes.

                                                                                                                                                                      ^{Modèle de fonction d'hébergement de journal de formation en cours de développement}

Les idéaux techniques de quatre jeunes

Ce que peu de gens savent, c'est que la plateforme communautaire open source SwanHub Dans les coulisses se trouvent quatre jeunes " "Post -95" membres.

Lin Zeyi, Chen Shaohong, Han Xiangyu et Lei Qingyang se sont rencontrés sur le campus de l'Université des sciences et technologies électroniques de Xi'an. Ils ont formé un club appelé « Lightyear Technology Studio » en raison de leurs intérêts respectifs pour la technologie. Plus tard, plusieurs jeunes partageant les mêmes idées ont fondé conjointement « Ji Chuang Studio » et se sont lancés dans l'aventure de l'entrepreneuriat technologique.

L'inspiration pour la création de SwanHub ne vient pas seulement de la compréhension de l'équipe des besoins de la communauté open source en fonction du domaine actuel de l'IA, mais elle est également liée à sa propre expérience de recherche.

En s'engageant dans la recherche sur l'IA, ils ressentent souvent les besoins et les défis liés à la collaboration interne et à la présentation de projets. Bien que certaines plates-formes open source couramment utilisées puissent fournir des fonctions d'hébergement de base, elles manquent souvent d'une section de collaboration visuelle basée sur un modèle, ce qui rend difficile l'unification des efforts entre les membres du laboratoire.

Pour la plupart des chercheurs, des questions comme celle-ci sont très courantes. D'une part, les difficultés provoquées par des versions expérimentales complexes et la collaboration de plusieurs personnes limiteront le développement des projets de recherche. D'autre part, la difficulté de déployer le modèle et la difficulté de reproduire le processus de formation gênent également la communication interne de l'équipe. et l’accumulation de connaissances. Dans les activités quotidiennes d’échange académique, il leur manque également une plateforme pour afficher intuitivement leurs résultats et leur accumulation.

"Ces facteurs renforcent encore notre désir de construire notre propre plateforme de collaboration et d'affichage." a déclaré Lin Zeyi, chef de projet SwanHub. "Nous espérons fournir une communauté open source pour le domaine de l'IA afin d'aider davantage de chercheurs et de praticiens scientifiques dans des aspects tels que la reproduction sur papier, la sélection de technologies et le partage de technologies. De plus, nous espérons que ce modèle visible et interactif. Le modèle collaboratif peut améliorer la vitesse d'itération des projets d'IA et l'efficacité de la communication entre les membres de l'équipe, réduisant ainsi les attentes inutiles et les coûts de communication. Par conséquent, l'idée originale du projet SwanHub est de fournir un flux de travail d'IA complet, du papier au projet. Code open source au déploiement et à la présentation visuelle. Grâce à cet ensemble de flux de travail, les utilisateurs peuvent facilement créer des démonstrations visuelles tout en menant des expériences et en soumettant des articles pour une reproduction et des tests rapides par leurs pairs. D’un autre côté, les projets universitaires qui proposent des démonstrations interactives sont plus susceptibles d’obtenir une plus grande diffusion et une meilleure réputation, gagnant ainsi une plus grande influence académique.

Dans le même temps, l'équipe a également pris en compte les besoins des développeurs de l'industrie. Contrairement au développement de logiciels traditionnel, le développement de l'IA est une science expérimentale, en particulier à l'ère des grands modèles, les idées de développement et de test de la technologie ont également subi de grands changements : dans les applications pratiques, bien que le modèle puisse ne pas fonctionner correctement sur certains indicateurs objectifs, Ils fonctionnent bien, mais comment utiliser leur « intelligence » dans des scénarios réels et comment les intégrer dans des flux de travail professionnels nécessite souvent que des experts dans des domaines connexes effectuent des tests approfondis des effets réels, et ce processus est également plein de défis.

Chen Shaohong, membre du projet SwanHub, en a une profonde compréhension. Son équipe de recherche en IA a déjà participé à un projet visant à développer des algorithmes de traitement vidéo pour un fabricant de smartphones. À cette époque, les membres de l'équipe de recherche étaient dispersés dans plusieurs villes du pays et la plupart des travaux nécessitaient une collaboration en ligne. Cependant, à en juger par l'ensemble du processus en ligne de mise à jour de l'algorithme, de vérification, de déploiement côté client et de retour d'information, chaque itération du modèle prend « 1,5 semaines » dans son ensemble, ce qui n'est évidemment pas en mesure de suivre le rythme de mise en œuvre initialement prévu du projet.

Afin d'accélérer l'efficacité de la mise à jour de l'algorithme, Chen Shaohong a recommandé à l'équipe de recherche d'utiliser SwanHub. Après avoir formé une version du modèle, la démo peut être rapidement mise à jour sur la plateforme. Personnel de divers départements du fabricant, y compris PM. , chef de produit, test, marché et autres Les chercheurs peuvent tester les effets en ligne et fournir des commentaires d'amélioration diversifiés, ce qui améliore considérablement l'efficacité de la communication et de la collaboration entre les deux parties, et augmente également considérablement la vitesse d'itération du modèle.

Ce type de collaboration interdisciplinaire était difficile à réaliser dans les collaborations précédentes centrées sur le code - par exemple, demander à un membre du projet du service marketing d'installer l'environnement et de gérer le projet était extrêmement difficile, et la plate-forme avec Démo comme noyau rend possible une collaboration interdisciplinaire.

La valeur de l'open source : le moteur du changement technologique de l'IA

Il y a vingt ans, un livre intitulé « Open Source : Voice of the Revolution » est devenu populaire dans le cercle technologique. Ce livre explore et enregistre en profondeur la compréhension et l'élaboration de la culture open source par plus d'une douzaine de pionniers de l'open source, parmi lesquels des figures légendaires telles que Linus Torvalds, le père de Linux, et Richard Stallman, le fondateur du mouvement du logiciel libre.

Par exemple, Linus Torvalds a toujours été un fidèle partisan de l'open source et a déclaré un jour publiquement : « L'avenir est tout open source. Depuis plus de 30 ans, il n'a ménagé aucun effort pour injecter ses efforts dans la communauté Linux. , permettant à Linux de passer progressivement d'un système d'exploitation libre avec seulement quelques centaines d'utilisateurs à une communauté formidable et créative.

L'enthousiasme des membres de l'équipe SwanHub pour l'open source est né de ce livre. Ils ont même essayé de traduire le manuscrit, qui n'avait que la version originale anglaise, en chinois. Le processus de traduction leur a permis de mieux comprendre le rôle de l'open source dans le monde universitaire. les échanges et le développement technologique peuvent jouer un rôle énorme dans la promotion.

C'est aussi la valeur profonde de la construction de la communauté open source SwanHub. Dans le domaine de l’IA aujourd’hui, la plupart des avancées marquantes sont profondément ancrées dans les principes de la science ouverte et de l’open source. Ces principes prônent non seulement la libre diffusion et le partage des connaissances, mais favorisent également considérablement la collaboration en matière de recherche scientifique et l'innovation à l'échelle mondiale.

La "Transformers Library" de la communauté Hugging Face en est un exemple classique : cette société, fondée en 2016, a rapidement acquis une large reconnaissance et un accueil chaleureux de la part de la communauté IA grâce à son interface facile à utiliser et son grand nombre de pré -modèles formés. Il fournit non seulement une plate-forme de publication, de partage et de collaboration, mais ouvre également la voie à un modèle de collaboration innovant, qui abaisse considérablement le seuil d'utilisation des modèles d'apprentissage profond, permettant ainsi à davantage de développeurs et de chercheurs d'appliquer ces modèles dans des projets et des recherches réels.

Mieux encore, la communauté Hugging Face encourage et facilite la collaboration à l'échelle mondiale. Les développeurs et les chercheurs partagent leurs propres modèles développés, contribuent au code, posent des questions et travaillent ensemble pour trouver des solutions sur cette plateforme. Cette approche collaborative du brainstorming a grandement favorisé le développement de la technologie de l'IA et a également ouvert certaines technologies de pointe qui auraient pu être fermées au public.

Le succès de Hugging Face n'est pas un hasard. Il révèle qu'une communauté technologique ouverte et collaborative a joué un rôle important dans la promotion du progrès technologique. Lorsque les chercheurs scientifiques disposent de canaux leur permettant de partager ouvertement les résultats de leurs recherches, tels que les données, les méthodologies, les modèles et les outils, leurs contributions peuvent devenir la richesse commune de la communauté des chercheurs.

Cette pratique du partage ouvert permet à d'autres chercheurs de se tenir sur les épaules de « géants » et non seulement de voir plus loin, mais aussi de continuer à explorer et à innover. Dans un tel environnement, le développement de la technologie de l’IA peut progresser rapidement dans un cycle positif.

À ce stade, les objectifs de SwanHub et de Hugging Face sont fondamentalement les mêmes. Concernant l'avenir de SwanHub, l'équipe espère continuer à améliorer les capacités et l'expérience de SwanHub en matière de collaboration, de déploiement, de communauté, etc., et construira une matrice d'outils autour de SwanHub, y compris l'outil de programmation modulaire de grands modèles SwanChain, l'outil de gestion d'expériences de modèles SwanLab, etc., couvrant l’IA tout le cycle de vie de la recherche et continuant à emprunter la voie de l’open source.

De nos jours, les grands modèles sont en plein essor et de nouveaux résultats émergent. Des entreprises comme Google et OpenAI n'ont peut-être pas de « fossé », mais les forces de l'open source augmentent et rattrapent constamment leur retard. inclut également les efforts conjoints d’innombrables défenseurs de l’open source.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!