L'équipe Tsinghua lance une nouvelle plateforme : utiliser l'IA décentralisée pour remédier à la pénurie de puissance de calcul

Récemment, une donnée souligne la croissance étonnante de la demande de puissance de calcul dans le domaine de l'IA -

Selon les estimations des experts du secteur, la phase de formation de Sora lancée par OpenAI nécessite environ 4200 à 10500 NVIDIA H100 pendant un mois, et lorsque le modèle est généré jusqu'à l'étape d'inférence, le coût de calcul dépassera rapidement l'étape de formation.

Si cette tendance se poursuit, il pourrait être difficile pour l'offre de GPU de répondre à la demande continue de grands modèles.

Cependant, une nouvelle tendance est apparue récemment à l'étranger, qui pourrait apporter de nouvelles solutions à la prochaine « pénurie de puissance de calcul » : l'IA décentralisée.

Il y a trois semaines, le 23 mars, Stability AI a soudainement publié un communiqué annonçant la démission du PDG de l'entreprise, Emad Mostaque. Emad Mostaque lui-même a révélé sa prochaine démarche pour poursuivre le « rêve d’une IA décentralisée ».

Cependant, en raison de la difficulté à résoudre des problèmes techniques tels que l'incertitude et l'instabilité des réseaux décentralisés, la dernière vague d'IA décentralisée est difficile à véritablement mettre en œuvre à l'ère des grands modèles.

Récemment, Qubits a découvert qu'une équipe Tsinghua qui a démarré une entreprise à l'étranger s'est concentrée sur l'IA décentralisée et a créé NetMind.AI. En 2023, NetMind a publié un livre blanc détaillant la plateforme décentralisée de partage de puissance de calcul NetMind Power. Cette plateforme vise à résoudre les problèmes de l’IA décentralisée à l’ère des grands modèles.

1. Rendre le GPU abordable pour chaque développeur

En septembre 2021, NetMind.AI a lancé un projet de plate-forme informatique décentralisée appelé NetMind Power.

Il existe une grande quantité de puissance de calcul sur site dans le monde : puissance de calcul sur site dans les centres de données traditionnels, puissance de calcul sous-utilisée appartenant aux petites et moyennes entreprises et GPU dispersés appartenant aux particuliers. Cette puissance de calcul est soit inutilisée, soit utilisée pour les jeux et le rendu vidéo. Dans le même temps, la puissance de calcul de l’IA devient de plus en plus rare. Les chercheurs en IA, les petites et moyennes entreprises, en particulier les startups en IA, et les entreprises traditionnelles participant à des projets d’IA souffrent tous du coût élevé et du seuil élevé de puissance de calcul de l’IA.

NetMind Power a créé un réseau informatique dédié à la centralisation, exploitant la technologie de base développée par NetMind pour exploiter les ressources informatiques mondiales et fournir des services informatiques d'IA faciles à utiliser et abordables pour l'industrie de l'IA.

△NetMind Power est un choix économique pour obtenir de la puissance de calcul, offrant aux utilisateurs des solutions de ressources informatiques efficaces et abordables.

Actuellement, NetMind Power a collecté des milliers de cartes graphiques, dont H100, A100, 4090, 3090.

Quatre points forts de la plateforme :

1. Cluster dynamique décentralisé - Créez des applications d'IA fiables et efficaces sur une puissance de calcul extrêmement incertaine

La plateforme Power utilise la technologie de cluster distribué dynamique basée sur le P2P, combinée à ses algorithmes de routage, de clustering et de routage uniques. les réseaux neuronaux intègrent des milliers de nœuds informatiques dans une puissante architecture de cluster de réseau, répondant spécifiquement à des besoins de haut niveau tels que les applications d'IA.

Lorsque les utilisateurs effectuent des opérations liées à l'IA sur la plate-forme Power, telles que la formation de modèles, le réglage fin ou l'inférence, le réseau décentralisé de Power peut déployer rapidement la meilleure IA grâce à des algorithmes d'optimisation dans les nœuds informatiques du monde entier en très peu de temps. ressources informatiques pour fournir des services aux utilisateurs.

Dans le même temps, Power fournit aux utilisateurs du côté B des stratégies de cluster dynamiques, qui peuvent réorganiser et configurer intelligemment les nœuds en quelques secondes, fournissant ainsi des clusters exclusifs personnalisables, hautement évolutifs et hautement redondants.

2. Écosystème d'IA complet : abaissez le seuil d'utilisation de la puissance de calcul et développez les scénarios d'application de réseau décentralisés

Avec les années d'accumulation de NetMind dans le domaine de l'IA, Power Network comprendra des bibliothèques de modèles open source, des bases écologiques d'IA telles que l'IA. les ensembles de données, le chiffrement des données et des modèles, ainsi que des services complets tels que la formation, l'inférence et le déploiement de modèles, créent une plate-forme MaaS (Model as a Service) pour responsabiliser à la fois les fournisseurs de puissance de calcul et les applications d'IA.

Destinée aux projets IA+ destinés aux chercheurs scientifiques, aux petites et moyennes entreprises dans le domaine de l'IA et aux entreprises traditionnelles, la plateforme MaaS de Power réduira considérablement le seuil d'utilisation de la puissance de calcul, en particulier pour les petites et moyennes entreprises et les entreprises traditionnelles. les entreprises qui ne disposent pas de capacités professionnelles de développement de l’IA. Un point est particulièrement important.

Pour les fournisseurs de puissance de calcul traditionnels, davantage d'utilisateurs peuvent être atteints grâce au réseau Power. De plus, avec l'aide de la plateforme MaaS de Power, ils peuvent étendre les scénarios d'application et obtenir des bénéfices plus élevés. De cette manière, Power Network peut intégrer la puissance de calcul centralisée traditionnelle des petites et moyennes tailles dans le réseau de puissance de calcul décentralisé, élargissant ainsi considérablement l'échelle du réseau.

3. Algorithme de formation asynchrone - résolvez les goulots d'étranglement du réseau et exploitez le potentiel de la puissance de calcul inutilisée

Dans le domaine actuel de l'apprentissage automatique, en particulier dans la formation de modèles de langage à grande échelle, il est généralement nécessaire de réaliser une formation distribuée synchrone entre les GPU via des câbles GPU dédiés ou des réseaux internes à large bande passante, ce qui augmente inévitablement le seuil et le coût de formation.

NetMind Power brise les barrières de la vitesse du réseau et de la bande passante dans la formation distribuée grâce à des technologies de segmentation de modèles auto-développées et de données asynchrones. Même les nœuds de formation répartis dans différents coins du monde peuvent participer simultanément à d'énormes formations de modèles au travail.

4. Cryptage de modèles et isolation des données - résoudre les problèmes de sécurité dans les réseaux décentralisés

Power fournit une technologie de cryptage de modèles unique pour garantir la sécurité des modèles d'IA et des données des utilisateurs dans des scénarios informatiques volontaires décentralisés. Toutes les communications réseau sont cryptées pour garantir la sécurité de la transmission des données ; l'isolation des données et la division des modèles garantissent qu'aucun nœud du réseau décentralisé ne peut obtenir des données et des modèles complets, améliorant ainsi considérablement la sécurité.

Photos

Deuxièmement, une autre équipe avec une formation Tsinghua qui fait de l'entrepreneuriat à l'étranger depuis de nombreuses années

L'équipe principale de NetMind.AI vient de Tsinghua et travaille dans le domaine de l'IA depuis plus de 10 années.

Le fondateur et PDG de l'entreprise, Kai Zou, est diplômé de la classe de sciences fondamentales en mathématiques et physique de l'Université Tsinghua en 2010, et a obtenu une maîtrise en mathématiques et statistiques de l'Université de Georgetown en 2013.

C'est un entrepreneur en série qui a dirigé à la fois ProtagoLabs et l'organisation à but non lucratif AGI Odyssey. Parallèlement, il est également un investisseur providentiel et a investi dans de nombreuses start-ups d'IA, notamment Haiper.ai, Auto Edge, Qdot et Orbit.

Il convient de noter que l'article « EDA : Easy Data Augmentation Techniques for Boosting Performance on Text Classification Tasks » publié par Kai Zou et le chercheur OpenAI Jason Wei a été cité plus de 2 000 fois. Le PDG et son équipe croient fermement que la plateforme qu’ils ont construite devrait fournir des ressources aux universitaires qui effectuent réellement des recherches universitaires et aux ingénieurs d’entreprise qui promeuvent le développement de l’IA.

Photo

Le CTO de l'entreprise a obtenu une maîtrise en informatique de l'Université George Washington en 2016 avant de rejoindre NetMind.AI, il a été chef d'équipe senior chez Microsoft, il a de l'expérience dans le Web3, la technologie blockchain ; et distribution Il possède une vaste expérience dans les systèmes hybrides, Kubernetes, le cloud computing, Azure et AWS, et possède des compétences professionnelles en informatique de pointe, en développement full-stack et en apprentissage automatique.

3. L’idéal ultime : amener l’IA dans chaque foyer

Derrière la vision de NetMind de l’IA décentralisée, se cache en réalité l’idéal d’une technologie inclusive.

En regardant l'histoire du développement de la technologie informatique, la tendance à la décentralisation apparaît souvent lorsque la concentration des ressources informatiques augmente fortement. En tant que force ascendante, elle lutte contre les géants qui tentent de monopoliser toutes les ressources, s'ouvrant ainsi. une nouvelle ère. Ce cycle d’inclusion technologique a permis aux nouvelles technologies de se propager véritablement aux quatre coins du monde.

Le grand marché des modèles d’aujourd’hui se trouve peut-être à un tel moment.

En regardant le grand marché des modèles, après une année entière de développement vigoureux, peu de startups peuvent vraiment prendre pied. À l’exception de quelques licornes stars, l’avenir des grands modèles semble converger entre les mains de géants de la technologie comme Microsoft, Google et Nvidia. Au fil du temps, quelques entreprises peuvent développer un contrôle monopolistique sur les prix, la disponibilité et l’accès aux ressources informatiques.

À l’heure actuelle, des récits démocratisés comme NetMind Power sont nécessaires pour écrire un nouveau plan pour l’histoire d’AGI.

Actuellement, NetMind a coopéré dans les domaines académique et commercial -

En termes d'universitaires, NetMind Power a actuellement coopéré avec de nombreuses grandes universités nationales et étrangères, y compris les meilleures universités dans le domaine de l'informatique, l'Université de Cambridge, Oxford. Université et Université Carnegie Mellon, Université Northwestern, Université Tsinghua, Université des sciences et technologies de Huazhong, Université Rice, Université Fudan, Université Jiao Tong de Shanghai, etc.

Photos

En termes d'activité, NetMind Power fournit aux entreprises des solutions de puissance de calcul d'IA basées sur des réseaux décentralisés, permettant aux entreprises de se concentrer sur le développement de modèles et l'innovation de produits. De plus en plus d'entreprises accélèrent le lancement de produits innovants en matière d'IA avec l'aide de Netmind Power. Par exemple, Haiper.ai, l'équipe vidéo de Wensheng qui a récemment pris de l'ampleur en Amérique du Nord, a profondément intégré sa formation et son inférence de modèles à la plateforme NetMind Power.

À l'avenir, NetMind Power deviendra progressivement une communauté d'IA décentralisée et accélérera l'innovation mondiale en matière d'IA.

Les praticiens de l'apprentissage automatique, les chercheurs universitaires et les entreprises du côté des applications d'IA peuvent trouver la puissance de calcul et les modèles dont ils ont besoin sur la plateforme NetMind Power. Ils peuvent également héberger leurs propres modèles formés sur la plateforme, ou même les fournir. la plateforme.

Les utilisateurs peuvent non seulement utiliser la puissance de calcul correspondante sur la plateforme pour résoudre leurs propres besoins de formation, mais également fournir leurs modèles formés à davantage de personnes ou d'entreprises dans le besoin via la plateforme, en les transmettant couche par couche.

En prolongeant le calendrier, pour véritablement réaliser l'AGI, l'universalisation et la démocratisation de l'IA sont des conditions préalables inévitables. Aujourd'hui, NetMind.AI, qui a pris les devants, apporte sa propre contribution, recherche davantage de partenaires et fait un pas solide vers l'ère démocratique de l'AGI.