Le Shanghai Digital Brain Research Institute lance DB1, le premier grand modèle de prise de décision multimodal de Chine, capable de permettre une prise de décision rapide sur des problèmes ultra-complexes

Récemment, l'Institut de recherche sur le cerveau numérique de Shanghai (ci-après dénommé « Institut de recherche sur le cerveau numérique ») a lancé le premier modèle de prise de décision multimodale de cerveau numérique à grande échelle (appelé DB1), remplissant l'écart dans cet aspect en Chine et au-delà Le potentiel du modèle pré-entraîné dans la prise de décision de texte, d'image-texte, d'apprentissage par renforcement et de prise de décision d'optimisation des opérations a été vérifié. Actuellement, nous avons open source le code DB1 sur Github, lien du projet : https://github.com/Shanghai-Digital-Brain-Laboratory/BDM-DB1.

Auparavant, l'Institut des Sciences Mathématiques proposait MADT (https://arxiv.org/abs/2112.02845)/MAT (https://arxiv.org/abs /2205.14953 ) et d'autres modèles multi-agents, via la modélisation de séquences dans certains grands modèles hors ligne, en utilisant le modèle Transformer pour obtenir des résultats remarquables sur certaines tâches mono/multi-agents, et continuer à mener des recherches et des explorations dans cette direction.

Au cours des dernières années, avec la montée en puissance des grands modèles pré-entraînés, le monde universitaire et l'industrie ont continué à faire de nouveaux progrès dans le nombre de paramètres et les tâches multimodales. de modèles pré-entraînés. Ces dernières années, les modèles de pré-entraînement à grande échelle ont été considérés comme l'une des voies importantes vers l'intelligence artificielle générale grâce à une modélisation approfondie de données et de connaissances massives. L'Institut de recherche numérique, qui se concentre sur la recherche sur l'intelligence décisionnelle, a tenté de manière innovante de copier le succès du modèle pré-entraîné dans les tâches de prise de décision et a réalisé une percée.

Grand modèle de prise de décision multimodale DB1

Auparavant, DeepMind avait lancé Gato, qui combinait des tâches de prise de décision à agent unique, multi -conversations rondes et images- La tâche de génération de texte a été unifiée en un problème autorégressif basé sur Transformer et a obtenu de bonnes performances sur 604 tâches différentes, montrant que certains problèmes simples de prise de décision d'apprentissage par renforcement peuvent être résolus grâce à la prédiction de séquence. direction de recherche de grands modèles de prise de décision.

Cette fois, la DB1 lancée par l'Institut des sciences mathématiques a principalement reproduit et vérifié Gato, et analysé la structure du réseau et le nombre de paramètres, le type de tâche et le numéro de tâche. ont été tentées :

• Volume des paramètres et structure du réseau : le volume des paramètres DB1 atteint 1,21 milliard. Essayez d'être aussi proche que possible de Gato en termes de paramètres. Globalement, l'Institut de Recherche Numérique utilise une structure similaire à Gato (même nombre de blocs décodeurs, taille de couche cachée, etc.), mais dans FeedForwardNetwork, puisque la fonction d'activation GeGLU introduira 1/3 supplémentaire du nombre de paramètres, l'Institut des sciences mathématiques veut que la quantité de paramètres soit proche de Gato, et l'état de la couche cachée de 4 * n_embed dimensions est transformé en 2 * n_embed caractéristiques dimensionnelles grâce à la fonction d'activation GeGLU. Sinon, nous partageons les paramètres d'intégration du côté de l'encodage d'entrée et de sortie avec l'implémentation de Gato. Différent de Gato, nous adoptons la solution PostNorm pour sélectionner la normalisation des couches et nous utilisons des calculs de précision mixte dans Attention pour améliorer la stabilité numérique.
  ​
• Type de tâche et nombre de tâches : Le nombre de tâches expérimentales dans DB1 a atteint 870, soit une augmentation de 44,04 % par rapport à Gato Par rapport à Gato, les performances de l'expert sont améliorées de 2,23 % >=50 %. En termes de types de tâches spécifiques, DB1 hérite principalement des tâches de prise de décision, d'image et de texte de Gato, et le nombre de tâches diverses reste fondamentalement le même. Mais en termes de tâches de prise de décision, DB1 a également introduit plus de 200 tâches de scénarios réels, à savoir le problème du voyageur de commerce (TSP) à l'échelle de 100 et 200 nœuds. Ce type de tâche sélectionne aléatoirement 100 à 200 emplacements géographiques. (représentation dans toutes les grandes villes de Chine).

On constate que la performance globale de DB1 a atteint le même niveau que celle de Gato, et a commencé à évoluer vers un champ de demande plus proche de Il résout très bien le problème NP-hard TSP, mais Gato n'a jamais exploré cette direction auparavant.

Comparaison des indicateurs DB1 (droite) et GATO (gauche)

Distribution des performances multi-tâches de DB1 sur environnement de simulation d'apprentissage par renforcement

Par rapport aux algorithmes de prise de décision traditionnels, DB1 présente de bonnes performances en termes de capacités de prise de décision multitâches et de capacités de migration rapide. En termes de capacités de prise de décision inter-tâches et de quantités de paramètres, il est passé de dizaines de millions de paramètres pour une seule tâche complexe à des milliards de paramètres pour plusieurs tâches complexes, et continue de croître et a la capacité de résoudre problèmes dans des environnements commerciaux complexes. Capacité adéquate à résoudre des problèmes pratiques. En termes de capacités de migration, DB1 a franchi le pas de la prédiction intelligente à la prise de décision intelligente, et du mono-agent au multi-agent, compensant les lacunes des méthodes traditionnelles de migration multi-tâches, permettant de construire de grands modèles. au sein de l'entreprise.

Il est indéniable que DB1 a également rencontré de nombreuses difficultés dans le processus de développement. L'Institut de recherche numérique a fait de nombreuses tentatives pour fournir des solutions standard à l'industrie en matière de formation de modèles à grande échelle et de stockage de données de formation multitâches. . Étant donné que les paramètres du modèle ont atteint 1 milliard de paramètres et que l'échelle des tâches est énorme, et qu'il doit être formé sur plus de 100 T (300 B+ de jetons) de données expertes, le cadre de formation ordinaire d'apprentissage par renforcement profond ne peut plus répondre aux besoins de formation rapide en cette situation. À cette fin, d'une part, pour la formation distribuée, l'Institut de recherche en mathématiques considère pleinement la structure informatique de l'apprentissage par renforcement, de l'optimisation opérationnelle et de la formation de grands modèles dans un environnement multi-cartes mono-machine ou multi-machines. , il utilise pleinement les ressources matérielles et conçoit intelligemment les modules. Le mécanisme de communication entre les deux modèles maximise l'efficacité de la formation du modèle et réduit le temps de formation de 870 tâches à une semaine. D'un autre côté, pour l'échantillonnage aléatoire distribué, l'indexation, le stockage, le chargement et le prétraitement des données requis dans le processus de formation sont également devenus des goulots d'étranglement correspondants. L'Institut de recherche en mathématiques a adopté un mode de chargement différé lors du chargement de l'ensemble de données pour résoudre le problème. des limitations de mémoire et maximiser l'utilisation complète de la mémoire disponible. De plus, après le prétraitement des données chargées, les données traitées seront mises en cache sur le disque dur, de sorte que les données prétraitées puissent être directement chargées ultérieurement, réduisant ainsi le temps et les coûts en ressources causés par un prétraitement répété.

Actuellement, de grandes entreprises et instituts de recherche internationaux et nationaux tels que OpenAI, Google, Meta, Huawei, Baidu et DAMO Academy ont mené des recherches sur les grands modèles multimodaux et ont fait certaines tentatives de commercialisation, notamment Appliquer ou fournir un modèle API et solutions industrielles associées dans vos propres produits. En revanche, l'Institut des sciences mathématiques se concentre davantage sur les problèmes de prise de décision et soutient les tentatives d'application dans les tâches de prise de décision de l'IA de jeu, les tâches de résolution de TSP d'optimisation de recherche opérationnelle, les tâches de contrôle de prise de décision de robot, les tâches de résolution d'optimisation de boîte noire et les tâches multi- tâches de dialogue rondes. "Performance des tâches"

Scène de jeu vidéo : DB1 peut recevoir une entrée d'image 2D/3D et peut bien compléter des jeux de pixels 2D tels que Atari et Procgen. En même temps, il convient également à DMLab, une tâche de saisie d'image 3D similaire. dans le monde réel, DB1 a également montré de bonnes performances.

• DMLab Explorer les emplacements des objets

Procgen DogBall

Scènes de contrôle continu : Pour les tâches de contrôle continu dans le domaine de la robotique, DB1 peut également modéliser le résultat politique des actions continues et bien accomplir les tâches de simulation.

Metaworld PlateSlide

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!