Le nouveau travail de CMU et Tsinghua : laissez LLM synthétiser les données pour apprendre par lui-même, et l'exécution de tâches spécifiques est également grandement améliorée.

La rubrique AIxiv est une rubrique où ce site publie du contenu académique et technique. Au cours des dernières années, la rubrique AIxiv de ce site a reçu plus de 2 000 rapports, couvrant les meilleurs laboratoires des principales universités et entreprises du monde entier, favorisant efficacement les échanges et la diffusion académiques. Si vous souhaitez partager un excellent travail, n'hésitez pas à contribuer ou à nous contacter pour un rapport. Courriel de soumission : liyazhou@jiqizhixin.com ; zhaoyunfeng@jiqizhixin.com Les principaux auteurs de cet article sont issus de l'Université Tsinghua et de l'Université Carnegie Mellon (CMU). Ensemble, ils sont Zhao Chenyang, diplômé de premier cycle du département d'informatique de l'université Tsinghua, et Jia Xueying, étudiante en maîtrise de l'université Carnegie Mellon.
Bien que les modèles de langage à grande échelle (LLM) fonctionnent bien dans de nombreuses tâches de traitement du langage naturel, leurs résultats dans des tâches spécifiques ne sont pas satisfaisants. Afin d’améliorer les performances des modèles sur des tâches spécifiques en langage naturel, les méthodes existantes s’appuient principalement sur des données annotées manuellement de haute qualité. Le processus de collecte de ce type de données prend du temps et est laborieux, particulièrement difficile pour les tâches où les données sont rares.
Afin de résoudre ce problème, certaines recherches tentent de générer des données de formation via un puissant modèle d'enseignant afin d'améliorer les performances du modèle d'étudiant sur des tâches spécifiques. Cependant, cette approche se heurte encore à de nombreux défis en termes de coût, d’évolutivité et de conformité légale. Lorsqu’il est impossible d’obtenir en continu des signaux de supervision humaine de haute qualité, la capacité d’itérer continuellement le modèle est devenue un problème urgent à résoudre.
Une équipe de recherche de l'Université Carnegie Mellon et de l'Université Tsinghua a proposé la méthode SELF-GUIDE. Cette méthode génère un ensemble de données spécifiques à une tâche par le modèle de langage lui-même et l'affine sur cet ensemble de données, améliorant ainsi considérablement la capacité du modèle sur une tâche spécifique sans s'appuyer sur une grande quantité de données externes de haute qualité ou sur un logiciel plus puissant. Modèle d'enseignant. Plus précisément, avec environ 3 échantillons d'entrée externes, SELF-GUIDE utilise un mécanisme de génération et de filtrage en plusieurs étapes pour affiner le modèle à l'aide de données synthétiques générées par le modèle afin d'améliorer les performances du modèle sur des tâches spécifiques.

Adresse papier : https://arxiv.org/abs/2407.12874 Dépôt de code : https://github.com/zhaochenyang20/Prompt2Model-SELF-GUIDE

                    Figure 1 : SELF-GUIDE utilise le modèle de manière autonome synthétiser des données La capacité d'améliorer la capacité du modèle à effectuer des tâches spécifiques.

Méthode

Plus précisément, l'équipe de recherche a décomposé la méthode SELF-GUIDE en trois étapes principales : génération de données d'entrée, génération de données de sortie et optimisation de la qualité.

Génération de données d'entrée

Dans le processus de conception et de mise en œuvre du cadre SELF-GUIDE, le chercheur a d'abord spécifié différents modèles d'invite en fonction du type de tâche (tâche générative ou tâche de classification). Pour les tâches génératives, le framework SELF-GUIDE utilise un modèle d'invite relativement simple. Pour les tâches de classification, le cadre SELF-GUIDE adopte une autre stratégie. Pour les tâches de classification, le framework SELF-GUIDE sélectionne d'abord de manière aléatoire une étiquette dans tous les espaces d'étiquettes et l'utilise comme pseudo-étiquette générée de manière conditionnelle pour guider la génération des données d'entrée. Après avoir sélectionné un pseudo-étiquette, le cadre SELF-GUIDE utilise des conditions plus complexes pour générer un modèle afin de guider le modèle afin de générer un contenu d'entrée correspondant au pseudo-étiquette sélectionné.

Figure 2 : Le cœur de SELF-GUIDE réside dans un mécanisme de génération efficace en plusieurs étapes, dans lequel le modèle de langage génère progressivement des combinaisons de données d'entrée-sortie. Après génération et filtrage, les données auto-générées sont ensuite utilisées pour affiner le modèle de langage lui-même. Ce diagramme décrit le flux de SELF-GUIDE pour une tâche de construction.

Une fois le modèle sélectionné et les quelques exemples remplis, l'invite complète est transmise au LLM pour générer les données d'entrée. Après chaque série d'invites, les entrées nouvellement générées sont ajoutées à la bibliothèque d'entrées. Un sous-ensemble des entrées est échantillonné de manière aléatoire dans cette bibliothèque et fusionné avec les entrées de l'exemple initial pour former de nouveaux signaux, élargissant progressivement l'ensemble des entrées générées par le LLM et réduisant la duplication. SELF-GUIDE effectue un seul cycle de génération d'entrées, suivi d'une phase d'optimisation de la qualité au cours de laquelle des filtres basés sur des règles sont appliqués pour supprimer les entrées de mauvaise qualité.

Figure 3 : Cette figure décrit le processus d'AUTO-GUIDE accomplissant la tâche de classification. Pour les données des tâches de classification, SELF-GUIDE génère d'abord des pseudo-étiquettes, puis génère les entrées correspondantes et enfin régénère les véritables étiquettes.
Génération de données de sortie
La phase de génération de données de sortie utilise une méthode d'apprentissage contextuelle typique : le chercheur fournit des instructions de tâche et des exemples originaux au modèle, permettant au modèle d'étiqueter chaque entrée générée dans la phase de génération d'entrée. Une fois toutes les sorties obtenues, une autre série de filtrage basé sur des règles est effectuée pour sélectionner l'ensemble de données synthétiques final.
Optimisation de la qualité
La qualité des données générées est essentielle au succès de la formation en aval. SELF-GUIDE adopte deux stratégies pour améliorer la qualité : ajuster les paramètres de génération pour améliorer la qualité de la génération et filtrer les échantillons de mauvaise qualité en fonction de règles.
Ajuster la température : L’ajustement de la température est une stratégie courante pour équilibrer variété et qualité. Le cadre SELF-GUIDE utilise des températures plus élevées dans l'étape de génération d'entrée pour encourager la diversité et des températures plus basses dans d'autres étapes afin de garantir la sortie la plus probable, garantissant ainsi la qualité globale des données. Cependant, l’ajustement de la température ne suffit pas à lui seul à atteindre l’équilibre souhaité. Par conséquent, SELF-GUIDE effectue également deux cycles de filtrage des données basés sur des règles après la génération des entrées et après l'annotation des sorties.
Filtre de bruit : le chercheur a compilé manuellement une liste de termes bruyants, y compris les salutations et les caractères de bruit courants (par exemple, " " dans le contenu généré, le cas échéant, dans l'entrée ou la sortie de l'exemple de termes bruyants générés à partir de celui-ci). liste, SELF-GUIDE supprimera l'intégralité de l'exemple.
Filtre de longueur : bien que la longueur des exemples puisse être biaisée, les chercheurs pensent que ces exemples sont toujours représentatifs en termes de distribution de longueur de la tâche spécifique. la longueur de l'exemple suit une distribution normale et calcule la moyenne μ et l'écart type σ de l'exemple d'entrée. Le chercheur suppose que les longueurs d'entrée et de sortie des exemples générés doivent être conformes à la même distribution normale et exige que la longueur soit conforme à la même distribution normale. être dans (μ − 2σ, μ + 2σ).
Un paramètre pour tous : pour que SELF-GUIDE génère des données d'entraînement conformes à la distribution cible spécifiée par les instructions et les exemples, divers hyperparamètres doivent être optimisés sur l'étiquette. points de données, y compris le nombre d'entrées et de sorties générées, la température à laquelle les données d'entrée sont générées, la température à laquelle les données de sortie sont générées, les paramètres de réglage fin, etc. Le chercheur divise la tâche de test expérimental en deux parties : une partie peut utiliser toutes les données pour la vérification afin d'ajuster les paramètres de génération, ce que l'on appelle la tâche de vérification ; L'autre partie des données est uniquement utilisée pour les tests et ne peut pas être utilisée pour ajuster les paramètres, ce que le chercheur recherche. les paramètres qui « maximisent les pires performances de la tâche » sur la tâche de vérification et les corrigent pour évaluer les performances de SELF-GUIDE sur les tâches de test
Résultats expérimentaux
Pour évaluer l'efficacité de SELF-GUIDE, les chercheurs ont sélectionné 14 tâches de classification et 8 générations. tâches du benchmark Super-NaturalInstructions V2. Les chercheurs ont sélectionné au hasard la moitié des tâches pour la recherche de paramètres Super-NaturalInstructions, la moitié restante est utilisée pour l'évaluation, les chercheurs ont choisi Vicuna-7b-1.5 comme modèle de base. pour la génération d'entrées, la génération de sorties et le réglage fin, les chercheurs ont utilisé les mêmes que le benchmark Super-Natural Instructions. Les indicateurs d'évaluation sont Exact Match pour la tâche de classification et ROUGE-L pour la tâche de génération. Afin de refléter l'effet de SELF-GUIDE, les chercheurs ont comparé SELF-GUIDE avec d'autres méthodes de suivi d'instructions et d'apprentissage contextuel :
1.Few-Shot ICL : comme référence principale, les chercheurs ont comparé cette approche avec des modèles de langage à indice direct. s'appuie directement sur la capacité inhérente de suivi des instructions du modèle.
2. Self-ICL : Self-ICL utilise des exemples auto-générés pour améliorer le suivi des instructions zéro. référencez des échantillons en générant automatiquement autant d’exemples que possible (au lieu d’un nombre fixe d’exemples) pour remplir les mots d’invite.
3.Réglage fin en quelques prises de vue : utilisez directement un petit nombre d'échantillons d'entrée pour un réglage fin.
AUTO-GUIDE Les principaux résultats expérimentaux du texte original sont les suivants. Sur les paramètres d'évaluation de base, l'amélioration absolue pour la tâche de classification a atteint 14,5 %, tandis que l'amélioration absolue pour la tâche de génération a atteint 17,9 %. Ces résultats démontrent que SELF-GUIDE est très efficace pour guider le LLM vers une spécialisation spécifique à une tâche, même lorsque les données sont extrêmement limitées. Cela met en évidence le potentiel des données auto-générées pour adapter le LLM à des tâches spécifiques à grande échelle. Pour plus de résultats expérimentaux et d’expériences d’ablation, veuillez vous référer à l’article original.

Figure 4 : Pour chaque type de tâche (tâches de classification et de génération), le chercheur a divisé la tâche au hasard en deux moitiés, une moitié a été utilisée pour déboguer les paramètres de la stratégie "One Parameter Fits All", et l'autre la moitié a été utilisée pour utiliser ces paramètres débogués. Les paramètres testent les performances de SELF-GUIDE. Nous utilisons les mêmes paramètres de décodage et modèles de repères pour évaluer les performances du modèle avant et après SELF-GUIDE.

Résumé

Le framework SELF-GUIDE encourage les modèles à générer de manière autonome des données d'entraînement et à affiner ces données. Les résultats expérimentaux montrent que cette méthode a un grand potentiel pour améliorer les capacités professionnelles des modèles de langage à grande échelle pour des tâches spécifiques, en particulier lorsque les données sont limitées. SELF-GUIDE peut résoudre efficacement le problème du manque de données de formation. Dans le même temps, cela constitue également une référence pour explorer les technologies d’adaptation autonome des modèles et d’apprentissage continu. Les chercheurs espèrent que ces travaux favoriseront le développement de systèmes d’IA dans des mécanismes d’alignement et d’amélioration autonomes pour les rendre plus cohérents avec les intentions humaines.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!