Défi du modèle de langage étendu du périphérique NeurIPS2024 Edge

Avec le développement rapide de l'intelligence artificielle, notamment dans le domaine du traitement du langage naturel (NLP), les grands modèles de langage (LLM) ont montré un grand potentiel de transformation. Ces modèles changent notre façon de travailler et de communiquer, et présentent un large éventail d'applications sur une variété d'appareils informatiques. Cependant, l’énorme modèle de LLM pose des défis considérables quant à son application sur des appareils de pointe tels que les smartphones, les appareils IoT et les systèmes montés sur véhicule. Notre concours vise à repousser les limites des performances, de l'efficacité et des capacités multitâches de LLM sur les appareils de périphérie aux ressources limitées. Contexte de la concurrence : bien que le LLM ait un énorme potentiel d'application, ses énormes paramètres imposent de fortes exigences aux ressources des appareils de pointe. Par exemple, un modèle LLM à 10 B paramètres, même après traitement de quantification, nécessite jusqu'à 20 Go de mémoire, et la capacité de mémoire de la plupart des smartphones est loin de répondre à cette exigence. De plus, la consommation d'énergie élevée du LLM constitue également un gros problème. Habituellement, un smartphone entièrement chargé ne peut durer que moins de deux heures lorsqu'il est utilisé pour une conversation. Principal défi : besoins en mémoire : l'inférence LLM nécessite une grande quantité de mémoire, que même les smartphones haut de gamme ne peuvent pas transporter. Problème de consommation d'énergie : une consommation d'énergie élevée lors de l'inférence LLM pose un défi pour la durée de vie de la batterie des smartphones. Perte de performances : maintenir les performances du modèle tout en atteignant un taux de compression élevé est un problème majeur avec la technologie existante. Manque de fonctionnalités hors ligne : la plupart des LLM nécessitent une connexion Internet, ce qui limite leur application dans des environnements aux réseaux instables. Objectifs du concours : Ce concours vise à résoudre les défis ci-dessus et à promouvoir l'application pratique du LLM sur les appareils de pointe. Nous invitons les chercheurs, les ingénieurs et les professionnels de l'industrie de divers domaines à participer à la conception conjointe de systèmes, de matériel et d'algorithmes pour permettre le déploiement de LLM hautes performances sur des appareils de pointe. Rejoignez notre défi LLM NeurIPS Edge Device ! Nous invitons sincèrement les experts de divers domaines à participer au NeurIPS Challenge pour présenter les capacités de LLM sur les appareils de pointe. Les trois premiers du concours se partageront une cagnotte totale de 300 000. Piste de compétition : Défi de compression : Démontrer comment compresser un LLM pré-entraîné sans perte de performances significative. Défi de formation à partir de zéro : formez un LLM conçu pour les appareils de pointe à partir de zéro, en optimisant le processus de formation pour créer des modèles efficaces. Raisons de participer : Gagnez le grand prix : une cagnotte totale de 300 000. Stimuler l'innovation : Contribuer à la recherche de pointe au LLM. Développez votre réseau : connectez-vous avec des experts et des pairs de premier plan dans votre domaine. Mettez en valeur votre talent : soyez reconnu lors des meilleures conférences sur l'IA. Dates importantes : Début des inscriptions : 25 juin 2024 Date limite d'inscription : 25 juillet 2024 Date limite de soumission : 25 octobre 2024 Annonce des résultats : 20 novembre 2024 Atelier hors ligne : Que diriez-vous du 11 décembre 2024 Pour participer : Inscription : Inscrivez-vous via Google Forms sur le site officiel de la compétition, le site officiel de la compétition. Choisissez une piste : choisissez parmi un défi de compression, un défi d'entraînement à partir de zéro, ou les deux. Soumettez votre solution : Soumettez votre modèle avant la date limite. Êtes-vous prêt à relever le défi ? Inscrivez-vous maintenant et commencez à préparer votre concours ! Pour plus d'informations et pour vous inscrire, veuillez visiter : Discord : Lien Lien d'inscription : Lien Travaillons ensemble pour promouvoir le développement du LLM sur les appareils de pointe. Je vous souhaite bonne chance et au plaisir de vous voir au NeurIPS 2024 ! ?Organisateur du défi LLM NeurIPS Edge Device :

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!