CREATOR crée et utilise des outils pour réaliser 'l'auto-évolution' du LLM

Depuis l'Antiquité, l'utilisation d'outils est considérée comme une différence majeure entre les humains et les autres espèces, et est également considérée comme une manifestation fondamentale de l'intelligence. De nos jours, l’intelligence artificielle ne se limite plus à la simple utilisation d’outils. Ils peuvent déjà créer de manière créative leurs propres outils basés sur des problèmes pour trouver des solutions. En termes de réflexion, cela signifie que les grands modèles actuels ont été capables de maîtriser la pensée abstraite et la cognition de niveau supérieur, et de les diviser en pensées concrètes pour résoudre les problèmes ensemble, et en termes de capacités, l'émergence de la création d'outils signifie également que ; le modèle a pu se transformer grâce à « l'apprentissage » et utiliser ce que vous savez pour « créer » des possibilités infinies pour l'avenir.

• Lien papier : https://arxiv.org/pdf/2305.14318.pdf

Contexte de recherche

Ces dernières années, les grands modèles de langage (Large Language Models) ont Des progrès significatifs en matière de recherche ont été réalisés, notamment GPT-3, Codex, PaLM, LLaMA, ChatGPT et le GPT-4 récemment publié. Ces modèles excellent dans l’apprentissage en contexte, la génération de code et diverses autres tâches de traitement du langage naturel, poussant davantage le potentiel des modèles vers l’intelligence artificielle générale.

Bien que les grands modèles aient connu un grand succès dans ces domaines, ils présentent encore de nombreuses lacunes, notamment l'incapacité de reconnaître ou de répondre aux dernières informations en temps réel, la difficulté d'atteindre une grande précision dans les calculs de données à grande échelle et la difficulté à répondre aux questions. La capacité de raisonnement est instable lorsque la logique est complexe, etc. En réponse à ces lacunes, les chercheurs ont commencé à travailler sur l'introduction de la possibilité d'utiliser des ressources externes dans l'architecture actuelle du modèle, par exemple en introduisant des calculatrices, des systèmes de questions et réponses, Wikipédia et d'autres sources de connaissances externes pour améliorer les capacités du modèle. Cette série de recherches a jeté les bases des capacités d’apprentissage des outils (Tool Learning) du modèle.

Cependant, le nombre d'outils externes utilisés dans la recherche actuelle est encore limité, tandis que les nouveaux types de tâches potentiels sont presque infinis. Par conséquent, face à de nouveaux types de problèmes, il est difficile de trouver les outils existants adaptés à la résolution des problèmes. De plus, même si des outils exploitables efficaces sont fournis, les modèles nécessitent une recherche approfondie, une mise en correspondance et une planification spécifique au problème dans la documentation de la boîte à outils. Cela

imposera une charge cognitive importante au modèle et nécessitera des coûts d'apprentissage plus élevés . Par conséquent, l'équipe de recherche a proposé un nouveau paradigme de recherche : Création d'outils

. Il ne s'agit plus simplement de la possibilité d'utiliser de grands modèles pour utiliser des outils, mais d'ajouter un nouveau module de création d'outils, permettant au modèle de créer des outils et de trouver des solutions aux problèmes auxquels il est confronté.

L'utilisation d'outils de création de grands modèles peut augmenter l'omniprésence, la réutilisabilité et la diversité des outils

au-delà des limites d'une API donnée. La conception du module de création d'outils peut également réduire la charge cognitive des grands modèles et les découpler pour un raisonnement abstrait (création d'outils généralisables et universels) et un raisonnement concret (prise de décisions basées sur les détails de mise en œuvre des outils et la documentation sur l'utilisation des outils). Capacité

. Dans le même temps, le modèle de ce cadre utilise le code comme support pour la création d'outils, ce qui rend le modèle plus sensible aux erreurs et peut être retracé et corrigé en fonction des problèmes de création et d'utilisation des outils.

Par rapport à l'utilisation d'outils, le paradigme de création d'outils est plus flexible et a une plus grande adaptabilité à différents scénarios

CREATOR Research Framework

Un cadre pour créer des outils pour résoudre des problèmes à l'aide de grands modèlesCREATOR Il est principalement divisé en quatre étapes suivantes :

• Création  : Utilisez la capacité de raisonnement abstrait des grands modèles pour résoudre des problèmes et créez les outils requis et leurs instructions d'utilisation via le code.
• Décision  : Utilisez la capacité de raisonnement concret du grand modèle pour résoudre le problème et décidez comment utiliser les outils pour résoudre le problème actuel. problème.
• Execution  : Exécutez la décision en fonction de l'outil créé et du contenu de la décision, et capturez les informations de sortie pendant le processus d'exécution.
• Rectification (Rectification)  : Utilisez la capacité du grand modèle à provoquer un raisonnement d'erreur et une auto-réparation pour résoudre les problèmes capturés pendant la phase d'exécution . réparation.

Grand modèle pour la création d'outils et Cadre de processus décisionnel

Le grand modèle créera d'abord les outils requis et leurs instructions d'utilisation associées en fonction du problème, puis du contenu du problème ; et les informations sur les outils seront simultanément Revenez au grand modèle pour décider d'une solution au problème et comment utiliser les outils. Par la suite, le modèle adaptera les outils et les décisions basés sur l’exécution pour mieux répondre au problème et chercher des réponses.

L'ensemble du cadre de création d'outils utilise de manière flexible les différentes capacités de réflexion des grands modèles : Raisonnement abstrait pour extraire les informations clés du problème et prise de décision concrète. faire sur la base du plan de mise en œuvre de la tâche Un raisonnement pensant et un Un raisonnement d'auto-guérison qui cherche des solutions basées sur des problèmes. Le découplage de ces capacités aide les grands modèles à éviter les échecs causés par la confusion dans la chaîne de raisonnement ordinaire (Chain-of-Thought, CoT) et améliore efficacement l'adaptabilité et les performances des grands modèles aux tâches.

CREATOR Évaluation expérimentale

L'auteur combine le cadre CREATOR avec la méthode actuelle de la chaîne de raisonnement ordinaire (CoT), la méthode de la chaîne de raisonnement du programme (Program -of -Thought, PoT) et l'utilisation simple d'outils sans création (Tool Use) ont été comparées. Dans le même temps, afin de vérifier l'efficacité de la séparation du raisonnement abstrait et du raisonnement concret dans le cadre, l'auteur a également introduit Tool Create - Whole comme référence. Cette méthode combine la phase de création et la phase de prise de décision dans le cadre CREATOR. un. Plus de découplage des capacités de raisonnement.

Problème d'ensemble de données du Creation Challenge, Standard outils et exemples de décision

sur le jeu de données MATH La performance du framework CREATOR est supérieur aux autres méthodes d'inférence et applications d'outils simples

En termes de sélection des ensembles de données, l'auteur a choisi MATH et TabMWP ensembles de données comme vérification principale. Le premier comprend des problèmes mathématiques difficiles dans les concours de mathématiques américains, tandis que le second combine des problèmes avec des tableaux de données riches. Les deux testent les capacités de raisonnement et de résolution de problèmes du modèle dans divers scénarios. En outre, l'auteur a également présenté un nouvel ensemble de données Creation Challenge, dans lequel les problèmes ne peuvent pas être directement résolus par les outils ou les packages de code existants, testant ainsi la capacité du modèle à créer des outils.

# 🎜 🎜#

L'effet du framework CREATOR est également significativement plus fort sur l'ensemble de données TabMWP et le Creation Challenge

D'après les résultats expérimentaux, les résultats de raisonnement du framework CREATOR sont nettement meilleurs que toutes les lignes de base, en particulier par rapport aux méthodes de raisonnement standard et aux méthodes de raisonnement de programme, ils ont obtenu de meilleurs résultats. Dans le même temps, les expériences prouvent également que le découplage des capacités de raisonnement abstraites et concrètes peut efficacement aider le modèle à améliorer la précision. Sur l'ensemble de tests Creation Challenge, l'auteur a également vérifié que le modèle aura une plus grande capacité à résoudre le problème s'il existe des indications sur les outils à créer. Par conséquent, les invites et le découplage de la pensée sont également devenus des facteurs d'influence importants dans la création d'outils.

Statistiques de précision des différentes méthodes pour la difficulté de la tâche

L'effet est amélioré avec la participation de la phase de correction

Exception De plus, l'auteur a également vérifié les courbes de changement de différentes méthodes pour la difficulté des tâches, ainsi que le lien entre les tours de participation à l'étape de correction et l'amélioration des grands effets de modèle. Les résultats montrent que le framework CREATOR peut maintenir une meilleure robustesse face à des problèmes difficiles, et la participation à la phase de correction peut améliorer considérablement non seulement le framework CREATOR, mais même la méthode de raisonnement PoT, ont confirmé que dans La rationalité et efficacité de l’introduction de l’étape de correction dans l’expérience.

Autres avantages de la création d'outils

En plus de l'expérience principale, l'auteur de l'article s'est également concentré sur l'exploration d'autres avantages de la création d'outils et les différentes formes d'affichage des capacités actuelles de création d'outils de grands modèles. Puisqu'il s'agit d'un outil de création, l'un de ses avantages en tant qu'outil doit être sa réutilisabilité. L'auteur a également suivi cette idée pour démontrer davantage l'amélioration des effets des tâches grâce à la réutilisation des outils.

L'auteur a conçu 300 questions et les a divisées en 100 groupes de trois. Bien que les trois questions de chaque groupe comportent des scénarios différents, elles impliquent toutes les mêmes connaissances de base (Core Knowledge), c'est-à-dire des questions similaires. L'auteur a vérifié si l'utilisation d'un outil créé pour un problème dans tous les scénarios d'un ensemble de problèmes pouvait résoudre et améliorer efficacement la précision.

Pour la migration des outils créés par de grands modèles vers d'autres problèmes, cela peut améliorer efficacement la précision

Les statistiques expérimentales montrent que les outils corrects et utilisables créés par le modèle peuvent être migrés à d'autres scénarios de problèmes similaires, cela peut améliorer efficacement la précision de la résolution de problèmes. Cela montre que les outils créés par les grands modèles ont une bonne réutilisabilité et une bonne universalité pour des problèmes similaires.

De plus, l'auteur montre également trois dimensions de la création d'outils à l'aide de grands modèles :

encapsulation d'outils existants pour atteindre différents objectifs, combinaison de différents outils pour atteindre des fonctions cibles et création d'outils hiérarchiques. Ces trois dimensions de faible à élevée démontrent les capacités de création d'outils de grands modèles actuels, et ces capacités aident également les grands modèles à s'adapter plus efficacement à différents scénarios.

Trois dimensions de la création d'outils de grands modèlesRésumé

Le framework CREATOR réalise le découplage de l'abstraction de grands modèles et de la capacité de réflexion concrète grâce à la création d'outils, qui est la prochaine étape après l'apprentissage des outils , une autre avancée majeure dans l'exploration des marges des capacités des modèles. Je crois que davantage de recherches à l'avenir seront basées sur cela, continueront à prouver et à améliorer le potentiel du modèle dans l'utilisation et la création d'outils, et nous apporteront plus de surprises.

Auteur principal de l'article

Qian Cheng, étudiant de troisième année de premier cycle à l'Université Tsinghua, membre du laboratoire THUNLP, et mentor Liu Zhiyuan. Les orientations de recherche actuelles incluent la pré-formation des grands modèles, le réglage efficace des grands modèles et l'apprentissage des outils. Il a reçu la bourse exceptionnelle d'informatique globale de l'Université Tsinghua et a publié des articles en tant que co-auteur dans des conférences internationales telles que EMNLP et ACL.

Page d'accueil personnelle : https://qiancheng0.github.io/

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!