Le décodage instructif améliore les modèles de langage adaptés aux instructions sans mise à jour des paramètres

Les chercheurs de KAIST AI ont introduit le décodage instructif (ID), une méthode qui améliore les LM adaptés aux instructions sans mise à jour des paramètres.

Les modèles de langage (LM) adaptés aux instructions se généralisent bien aux tâches invisibles dans un environnement zéro tir. Cependant, leurs performances sur des tâches en dehors de leurs données de formation sont souvent limitées. Bien qu'ils soient construits sur de grands ensembles de données et qu'ils disposent de milliards de paramètres, ces LM excellent dans l'apprentissage en contexte (ICL), où ils peuvent générer des réponses à quelques exemples sans avoir besoin d'être recyclés. Cependant, la portée de l’ensemble de données de formation limite leur efficacité sur des tâches inconnues. Des techniques telles que l’ingénierie rapide et la diversification de la production peuvent contribuer à améliorer les performances, mais nécessitent des efforts importants. Des recherches récentes explorent l'application de l'effet d'ancrage cognitif aux LM, suggérant que le fait de mettre l'accent sur les invites initiales peut améliorer les réponses spécifiques à une tâche et améliorer la fidélité aux instructions.

Dans ce travail, les chercheurs de KAIST AI présentent le décodage instructif (ID), une méthode qui améliore les LM adaptés aux instructions sans aucune mise à jour des paramètres. Inspiré des techniques de supervision bruyante, ID utilise des « instructions bruyantes », qui sont des versions modifiées des instructions originales, pour créer une approche contrastée permettant de prédire le prochain jeton. En orientant la sortie du modèle dans différentes directions, notamment à l’aide d’instructions « opposées », l’ID améliore les performances du modèle dans toutes les tâches. Les expériences montrent des gains significatifs en termes de précision, les modèles plus petits améliorés par l'ID surpassant les plus grands. Cette méthode améliore le respect des instructions et améliore la qualité globale de la réponse, démontrant son efficacité sur divers modèles et tâches.

L'objectif du réglage des instructions est d'affiner les LM pré-entraînés pour mieux suivre les instructions en langage naturel, ce qui améliore la généralisation à des tâches invisibles, en particulier dans les scénarios sans tir. L'augmentation de la variété et de la complexité des tâches de formation améliore cette capacité, même si les modèles s'appuient souvent fortement sur des connaissances pré-entraînées. Des recherches antérieures soulignent que les LM sont sensibles aux instructions familières, même à celles qui sont trompeuses, et que cette sensibilité peut être exploitée grâce à des techniques contrastées. Le contraste dans la génération de texte, comme le décodage contrastif, compare les sorties de différents modèles ou entrées pour améliorer les performances. Cette étude étend ces idées en utilisant des instructions bruyantes pour stimuler la généralisation dans les LM adaptés aux instructions.

Le décodage instructif améliore la génération de réponses dans les modèles optimisés pour les instructions en contrastant les sorties générées à partir d'instructions bruyantes. Il s'appuie sur l'effet d'ancrage, dans lequel les informations initiales influencent les jugements ultérieurs et exploitent les différences entre les réponses générées à partir des instructions originales et modifiées. La méthode utilise des variantes d'instructions bruyantes telles que des mots tronqués, mélangés ou aléatoires pour induire le modèle en erreur tout en garantissant la fidélité des tâches. En comparant les logits des instructions originales et bruyantes pendant le décodage, le décodage instructif aide les modèles à corriger les biais et à produire des réponses plus alignées sur les instructions prévues, affinant ainsi leurs performances sur des tâches invisibles.

La configuration expérimentale utilise les ensembles de données SUPNATINST et UNNATINST, évaluant des modèles tels que Tk-Instruct, Alpaca et T0 pour des tâches telles que la correction des erreurs grammaticales et l'implication textuelle. Les mesures Rouge-L, Exact Match (EM), Label Adherence (LA) et Label Coherence (LC) évaluent les performances. ID améliore constamment les résultats, en particulier pour les modèles plus grands comme Tk-XXL, améliorant ainsi LA et LC. Il est intéressant de noter que les instructions bruyantes améliorent la qualité de sortie avec l'ID malgré la dégradation des performances de base. Bien que les performances spécifiques à une tâche varient, la variante d’instruction « opposée » s’avère robuste d’une tâche à l’autre. Dans l’ensemble, ID montre des gains significatifs selon les tailles de modèles et les types de tâches.

L'étude examine les défis liés à la généralisation inédite des tâches dans des modèles linguistiques adaptés à l'instruction. La méthode proposée, ID, exploite l’effet d’ancrage en utilisant des instructions « bruyantes » pour contrecarrer les biais inhérents au modèle. En contrastant les prédictions avec celles générées à partir d’instructions modifiées, l’ID améliore les performances du modèle, en particulier avec la variante bruyante « opposée », qui s’écarte le plus de l’entrée d’origine. Les résultats empiriques montrent l’efficacité de l’ID sur plusieurs tâches, avec des améliorations notables dans la diversité des prédictions. L'approche ne nécessite aucune mise à jour de paramètres supplémentaires, ce qui en fait un outil pratique pour améliorer le suivi des instructions dans les modèles de langage.

Consultez le journal. Tout le mérite de cette recherche revient aux chercheurs de ce projet. N'oubliez pas non plus de nous suivre sur Twitter et de rejoindre notre chaîne Telegram et notre groupe LinkedIn. Si vous aimez notre travail, vous allez adorer notre newsletter.

N'oubliez pas de rejoindre notre SubReddit 50k ML

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!