Quel type de puce IA est nécessaire pour intégrer un grand modèle dans un appareil photo ? La réponse d'Aixin Yuanzhi est AX650N

Xinxixi (Compte public : aichip001)

Auteur | ZeR0

Éditeur | Moying

Une façon de le réécrire est la suivante : le concours de grands modèles d'IA déclenche un engouement sans précédent. Selon le rapport principal du 30 mai, la montée en puissance de ChatGPT est le principal moteur de ce concours. Dans cette compétition, la rapidité est la clé pour obtenir l’avantage du premier arrivé. De la formation du modèle à la mise en œuvre, il existe un besoin urgent de puces d’IA plus performantes.

En mars de cette année, Aixin Yuanzhi, une société de R&D de puces de perception visuelle IA et de plate-forme de puissance de calcul de base, a lancé la puce SoC de troisième génération AX650N avec une puissance de calcul élevée et une efficacité énergétique élevée. Liu Jianwei, co-fondateur et vice-président d'Aixin Yuanzhi, a déclaré dans une récente interview avec Xinxi et d'autres médias que la puce AX650N présente des avantages évidents lors de l'exécution de Transformer, et Transformer est une structure couramment utilisée dans les grands modèles actuels.

Transformer a été initialement utilisé pour gérer des tâches dans le domaine du traitement du langage naturel, et s'est progressivement étendu au domaine de la vision par ordinateur, montrant le potentiel de remplacer l'algorithme traditionnel de vision par ordinateur CNN dans de plus en plus de tâches visuelles. Comment déployer efficacement Transformer côté appareil et côté périphérie est devenu une considération essentielle pour de plus en plus d'utilisateurs qui ont des exigences de déploiement de modèles à grande échelle lors du choix d'une plate-forme.

Par rapport à l'utilisation d'un GPU pour déployer de grands modèles Transformer dans le cloud, Aixin Yuanzhi estime que le plus grand défi du déploiement de Transformer en périphérie et en extrémité vient de la consommation d'énergie, ce qui permet à Aixin Yuanzhi d'obtenir une précision mixte avec des performances élevées et une faible consommation. consommation NPU est devenue la plate-forme privilégiée pour le déploiement de Transformers aux extrémités et en périphérie.

Les données montrent que lors de l'exécution du modèle visuel grand public Swin Transformer (SwinT) sur la plate-forme Aixin Yuanzhi AX650N, les performances atteignent 361 FPS, la précision atteint 80,45 % et la consommation d'énergie est aussi faible que 199 FPS/W. , qui est très compétitif lors du déploiement à l'atterrissage.

1. Il possède à la fois une puissance de calcul élevée et une efficacité énergétique élevée, et a été adapté à une variété de modèles de transformateurs

La puce AX650N est une autre puce de vision intelligente haute performance lancée par Aixin Yuanzhi après les séries AX620 et AX630.

Ce SoC adopte une conception multicœur hétérogène, intégrant un processeur A55 à 8 cœurs, un NPU haute puissance de calcul de 43,2TOPs@INT4 ou 10,8TOPs@INT8, un FAI prenant en charge 8K@30fps, ainsi que H.264 et H. 265 codecs.

En termes d'interfaces, l'AX650N prend en charge le LPDDR4x 64 bits, plusieurs entrées MIPI, les sorties Gigabit Ethernet, USB et HDMI 2.0b, et prend en charge 32 canaux de décodage 1080p à 30 ips.

Pour le déploiement de grands modèles sur les bords et les extrémités, l'AX650N présente les avantages d'une haute performance, d'une haute précision, d'une faible consommation d'énergie et d'un déploiement facile.

Plus précisément, lorsque Aixin Yuanzhi AX650N exécute SwinT, les hautes performances de 361 images sont comparables aux SoC de contrôle de domaine haut de gamme basés sur GPU dans le domaine de la conduite autonome automobile ; la haute précision de 80,45 % est supérieure à la moyenne du marché ; La vitesse de 199 FPS/W reflète sa faible consommation d'énergie et est plusieurs fois plus avantageuse que l'actuel SoC de contrôle de domaine basé sur GPU haut de gamme.

Aixin Yuanzhi a expliqué que les premiers clients côté périphérie et côté final accordaient plus d'attention au nombre de téraoctets de puissance de calcul, mais il s'agit d'une donnée indirecte. Ce qui intéresse en fin de compte les utilisateurs, c'est la vitesse à laquelle le modèle peut fonctionner dans les affaires réelles. ainsi que le coût de déploiement et le coût d'utilisation.

À cet égard, l'AX650N prend en charge une précision mixte faible. Si les utilisateurs adoptent INT4, ils peuvent réduire considérablement l'utilisation de la mémoire et de la bande passante et contrôler efficacement le coût du déploiement côté extrémité et côté périphérie.

Actuellement, l'AX650N a été adapté aux modèles Transformer tels que ViT/DeiT, Swin/SwinV2, DETR, etc., et peut également fonctionner au-dessus de 30 images dans DINOv2, ce qui rend la détection, la classification, la segmentation et d'autres opérations plus pratiques pour les utilisateurs. Les produits basés sur l'AX650N ont déjà été appliqués dans d'importants scénarios de vision par ordinateur tels que les villes intelligentes, l'éducation intelligente et la fabrication intelligente.

2. Il est facile de déployer de grands modèles et peut exécuter des modèles originaux GitHub

Aixin Yuanzhi a également créé une nouvelle génération de chaîne d'outils d'IA Pulsar2. La chaîne d'outils comprend des fonctions quatre-en-un de conversion de modèle, de quantification hors ligne, de compilation de modèles et de planification hétérogène, ce qui renforce encore la nécessité d'un déploiement efficace des modèles de réseau. Tout en optimisant en profondeur l'architecture NPU, elle étend également la prise en charge des opérateurs et des modèles. Capacités et portée, ainsi que prise en charge des réseaux de structure Transformer.

Aixin Yuanzhi a constaté dans la pratique que les entreprises du marché qui font la promotion de puces capables d'exécuter SwinT doivent généralement apporter quelques modifications au modèle. Les modifications peuvent provoquer une série de problèmes et apporter davantage de désagréments aux utilisateurs.

Auparavant, la plupart des modèles visuels Transformer similaires à SwinT étaient déployés sur des serveurs cloud, car les GPU sont plus conviviaux pour la prise en charge du calcul de structure MHA. Au contraire, les puces d'IA côté bord/côté appareil doivent garantir que le modèle de structure CNN est. plus efficace en raison de ses limites architecturales. Eh bien, fondamentalement, peu d'optimisation des performances a été apportée à la structure MHA, et la structure du réseau doit même être modifiée avant de pouvoir être déployée à contrecœur.

L'AX650N est facile à déployer. Vous pouvez exécuter efficacement le modèle original sur GitHub sur la plateforme Aixin Yuanzhi sans le modifier ni recycler QAT.

"Nos utilisateurs ont signalé que notre plate-forme est actuellement la meilleure plate-forme pour la prise en charge de Transformer, et nous voyons également la possibilité d'implémenter de grands modèles sur notre plate-forme." Liu Jianwei a déclaré que les clients peuvent apprécier l'AX650N en tant qu'IA. La mise en œuvre finale du La plate-forme de puissance de calcul est plus pratique, plus facile à utiliser, plus adaptable aux scénarios et plus rapide à démarrer, ce qui améliore considérablement l'efficacité des utilisateurs et raccourcit le cycle de production de masse.

Les commentaires des clients recueillis par Aixin Yuanzhi montrent qu'après avoir obtenu la carte de développement et la documentation d'Aixin Yuanzhi, il faut essentiellement une heure pour terminer la reproduction de la démo et exécuter le modèle de réseau privé.

La puce AX650N peut s'adapter rapidement aux structures de réseau émergentes, grâce à un certain degré de flexibilité et de maintenance de la programmabilité dans la conception matérielle et logicielle. Ensuite, Aixin Yuanzhi AX650N continuera d'optimiser la structure du Transformer et d'explorer des modèles de Transformer plus grands tels que les grands modèles multimodaux.

Aixin Yuanzhi lancera également la carte de développement AXera-Pi Pro basée sur AX650N et mettra plus d'informations et d'exemples d'IA sur GitHub afin que les développeurs puissent explorer rapidement des applications de produits plus riches.

3. Les scénarios d'application visuelle ont créé un besoin urgent de modèles Transformer

De l'avis d'Aixin Yuanzhi, le déploiement de grands modèles visuels côté périphérie ou côté terminal peut aider à résoudre le problème d'un investissement trop élevé dans les applications intelligentes d'IA dans des scénarios à longue traîne.

La méthode précédente de surveillance des déchets fluviaux consistait à ce qu'après la découverte de déchets sur la rivière, la collecte de données et l'étiquetage étaient d'abord nécessaires, puis une formation sur le modèle était effectuée. Si de nouveaux déchets apparaissent dans un lit de rivière qui n'a pas été préalablement couvert par des annotations de données et des modèles entraînés, le modèle risque de ne pas être en mesure de les identifier. Se recycler à partir de zéro prend du temps et demande beaucoup de travail.

Le grand modèle Transformer a des capacités de compréhension sémantique et est plus polyvalent que les modèles CNN traditionnels. Il peut comprendre et effectuer un plus large éventail de tâches en aval sans connaître à l'avance toutes les scènes visuelles complexes. En utilisant de grands modèles pré-entraînés avec une formation non supervisée, de nouveaux déchets jamais vus auparavant peuvent être identifiés.

Aixin Yuanzhi a déclaré à Xinxi qu'à l'heure actuelle, tous les scénarios d'application qui utilisent des caméras pour capturer des images ont commencé à avoir une demande urgente pour les grands modèles Transformer. La vitesse de mise en œuvre spécifique dépend de la R&D et de l'investissement en ressources des clients dans chaque segment.

Du point de vue de la conception de l'architecture des puces, pour permettre un déploiement plus rapide des modèles Transformer en périphérie ou en extrémité, d'une part, nous devons essayer de réduire l'utilisation de la bande passante des grands modèles, et d'autre part, nous devons optimiser la structure de Transformer. La personne concernée en charge d'Aixin Yuanzhi a déclaré que l'expérience en ingénierie accumulée lors du déploiement réel de l'AX650N sera réitérée dans la plate-forme de puces de nouvelle génération, permettant au modèle Transformer de fonctionner plus rapidement et mieux, lui donnant un certain avantage de premier arrivé par rapport à d'autres pairs.

« C'est pourquoi la plate-forme de puces d'Aixin est le meilleur choix pour la mise en œuvre de Transformer, car lorsque tout le monde réduit le modèle, ils doivent vouloir voir l'effet de l'exécution à l'extrémité. Nous avons une telle plate-forme qui peut faire cela. une expérience en boucle fermée", a-t-il déclaré.

Afin d'optimiser davantage l'effet d'inférence du transformateur, Aixin Yuanzhi se concentrera sur la manière de permettre au matériel de lire efficacement les données discrètes et de permettre aux calculs de prise en charge de correspondre à la lecture des données. De plus, Aixin Yuanzhi essaie également d'utiliser 4 bits pour résoudre le problème des grands paramètres de modèle et explore la prise en charge de certains modèles de systèmes experts clairsemés ou mixtes (MOE, Mixture of Experts).

Conclusion : les puces IA hautes performances constituent la pierre angulaire du déploiement de grands modèles

De la production en série de la première puce de vision AI haute performance AX630A en 2020, à la puce intelligente Edge Side de deuxième génération auto-développée AX620A en 2021, en passant par la nouvelle puce AX650N de troisième génération, Aixin Yuanzhi a continué à lancer des puces de vision IA haut de gamme dotées d'une puissance de calcul et d'un rapport d'efficacité énergétique élevé qui répondent aux besoins des applications d'IA à la fois en extrémité et en périphérie.

Le Dr Qiu Xiaoxin, fondateur, président et PDG d'Aixin Yuanzhi, a déclaré que le développement de la technologie de l'intelligence artificielle continue de créer de nouvelles opportunités ont favorisé le développement d'Aixin Yuanzhi dans les technologies de puces telles que le traitement visuel et l'électronique automobile. . Progress, la récente explosion des grands modèles a créé de nouvelles opportunités pour l’exploration persistante d’Aixin du côté final et du côté Edge au cours des dernières années.

Les plans de R&D et de mise en œuvre associés d'Aixin visent tous un seul objectif, c'est-à-dire que lorsque les utilisateurs ou utilisateurs potentiels pensent à Transformer, ils peuvent penser à Aixin Yuanzhi, puis développer davantage de modèles basés sur Transformer sur la plate-forme informatique d'IA d'Aixin Yuanzhi. À terme, cela accélérera la mise en œuvre de grands modèles et d'applications intelligentes du côté final et du côté périphérique.

À son tour, l'accumulation d'une plus grande expérience de déploiement favorisera également l'évolution continue des puces et des logiciels d'Aixin Yuanzhi, et aidera les ingénieurs en algorithmes à développer davantage le modèle Transformer en fournissant des outils plus performants et plus faciles à utiliser. à l'imagination pour des applications innovantes.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!