Tianyi Cloud a remporté le championnat du International AI Summit Large Model Challenge

Le 7 juin, le premier grand défi de modèle (Atelier CVPR 2023 sur le modèle de fondation : 1er défi de modèle de fondation) organisé par la plus grande conférence internationale sur l'intelligence artificielle CVPR 2023 a pris fin. Ce concours a attiré des universités de renom du monde entier. du monde et 1 024 candidats issus d'entreprises renommées. Après deux mois de compétition acharnée, l'équipe Tianyi Cloud AI (nom de l'équipe CTRL) a bien performé sur la piste multitâche des grands modèles et a remporté le championnat de cette compétition.

(Source photo : Photo Network)

La conférence CVPR est une conférence universitaire internationale sur la vision par ordinateur et la reconnaissance de formes organisée par l'IEEE. Elle comprend les derniers résultats de recherche et développements technologiques dans ce domaine.

Le processus traditionnel de production de modèles visuels utilise généralement une seule tâche et est formé à partir de zéro, et chaque tâche ne peut pas apprendre les unes des autres. En raison du nombre limité de données sur une seule tâche, l'effet réel du modèle dépend trop de la distribution des données sur les tâches et l'effet de généralisation pour différents scénarios est généralement faible.

Ces dernières années, la technologie de pré-formation Big Data s'est développée rapidement en utilisant de grandes quantités de données pour acquérir des connaissances générales et les transférer vers des tâches en aval, elle permet essentiellement un apprentissage mutuel entre différentes tâches. Le modèle pré-entraîné basé sur des données massives possède une bonne exhaustivité des connaissances et peut toujours obtenir de bons résultats même si une petite quantité de données est utilisée pour affiner les tâches en aval. Cependant, le processus de production de modèles basé sur la pré-formation + le réglage fin des tâches en aval nécessite une formation séparée des modèles pour chaque tâche, ce qui consomme beaucoup de ressources en recherche et développement. En revanche, le programme de formation multitâche forme un modèle général puissant à l'aide de données provenant de plusieurs tâches, qui peut être directement appliqué pour gérer plusieurs tâches, améliorant ainsi efficacement la productivité du modèle et les capacités de généralisation.

Dans ce concours, les candidats doivent utiliser un seul modèle pour compléter simultanément la formation conjointe de trois tâches représentatives : la classification, la détection et la segmentation dans les scènes de circulation. L'équipe Tianyi Cloud AI s'est appuyée sur sa riche expérience en matière de développement d'algorithmes dans la conception de modèles et a sélectionné un modèle pré-entraîné avec seulement 60 % des paramètres de la deuxième place, obtenant ainsi une plus grande précision avec moins de paramètres.

Afin de résoudre le problème de convergence lente causé par des fonctions de perte et des gradients incohérents de chaque branche dans la formation multitâche, l'équipe Tianyi Cloud AI a adopté la méthode d'égalisation des pertes et une échelle de gradient unifiée pour équilibrer la fonction de perte de chaque branche de tâche et donne au gradient une échelle cohérente, améliorant ainsi l'efficacité de la formation et la vitesse de convergence du modèle. En outre, l'équipe Tianyi Cloud AI utilise également des pyramides de fonctionnalités et des mécanismes d'attention spécifiques aux tâches soigneusement conçus pour permettre à chaque tâche de branche d'utiliser des fonctionnalités du réseau fédérateur qui sont plus efficaces pour ses propres tâches, améliorant ainsi encore la précision et les performances de l'ensemble. modèle.

Grâce aux stratégies de conception de modèles et de formation ci-dessus, l'équipe Tianyi Cloud AI a obtenu d'excellents résultats dans la compétition, démontrant pleinement sa profonde accumulation et ses capacités d'innovation continue dans les domaines de l'image, de l'audio et de la multimodalité. À l'avenir, Tianyi Cloud continuera d'innover et d'explorer dans le vaste domaine de l'intelligence artificielle, bénéficiera à davantage d'utilisateurs avec une technologie plus avancée et d'excellents résultats, et fournira un soutien au développement numérique de milliers d'industries.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!