ZTE lance « Nebula R&D Big Model » : un assistant de programmation IA et 100 milliards de jetons font des débuts choquants

IT House a rapporté que lors de la China Mobile Global Partner Conference du 11 au 13 octobre 2023, ZTE a présenté son « Nebula R&D Large Model », conçu pour aider les développeurs à effectuer l'analyse de la demande et la conception, la programmation, les tests et le déploiement de versions de produits. etc.

Selon les rapports, le « Nebula R&D Large Model » prend en charge un mécanisme de liste blanche, qui peut contrôler efficacement la portée de l'utilisation. Dans le même temps, il peut également identifier efficacement les fragments de code sensibles grâce à la reconnaissance de la valeur des caractéristiques du code, et surveiller et intercepter le contenu sensible en temps réel grâce au mécanisme de reconnaissance de mots sensibles. De plus, le modèle dispose également d'un mécanisme d'audit en arrière-plan qui peut retracer complètement les événements de sécurité

ZTE a déclaré qu'en avril 2023, le « Nebula R&D Large Model » a été lancé. À l'heure actuelle, le nombre d'utilisateurs actifs quotidiens a atteint 12 000, le taux d'adoption du code a atteint 40 % à 45 % et l'efficacité du codage a augmenté de . 30 %, et l’efficacité globale de la R&D a augmenté de 10 %.

Selon l'annonce officielle, IT Home a appris que ZTE injecterait des données de domaine, une accumulation de connaissances, un grand nombre de documents techniques dans le domaine de la communication et 100 milliards de corpus de codes sans fil/réseau central/cloud dans des modèles à grande échelle pour une pré-production incrémentielle. -formation , et adopter un cadre de formation parallèle

ZTE affirme : « Notre solution de déploiement auto-développée adopte une stratégie de traitement par lots dynamique et la technologie PagedAttention, combinées à une quantification de modèle sans perte, ce qui améliore considérablement le débit. Le débit d'un seul GPU (A800) atteint 1 500 jetons/seconde, en utilisant uniquement quatre GPU. Les cartes (A800) peuvent répondre aux besoins de plus d'un millier de personnes. Par rapport au schéma de déploiement conventionnel de l'industrie, le débit d'un seul GPU a été augmenté de plus de 10 fois et de plus de 20 fois. , combiné à la technologie de quantification int4, sans réduire la précision du modèle, la taille du modèle et l'utilisation de la mémoire sont réduites de moitié. »

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!