2 % de la puissance de calcul du RLHF est utilisé pour éliminer les sorties nuisibles du LLM, et Byte lance une technologie d'apprentissage par oubli

Avec le développement des grands modèles de langage (LLM), les praticiens sont confrontés à davantage de défis. Comment éviter les réponses nuisibles de LLM ? Comment supprimer rapidement le contenu protégé par le droit d'auteur dans les données d'entraînement ? Comment réduire les hallucinations LLM (faux faits) ? Comment itérer rapidement le LLM après des changements de politique de données ? Ces questions sont essentielles au déploiement sûr et fiable du LLM dans le contexte général d’exigences de conformité juridique et éthique de plus en plus matures pour l’intelligence artificielle.

La solution courante actuelle dans l'industrie consiste à affiner les données de comparaison (échantillons positifs et échantillons négatifs) en utilisant l'apprentissage par renforcement pour aligner le LLM (alignement) afin de garantir que le résultat du LLM répond aux attentes et aux valeurs humaines. Cependant, ce processus d'alignement est généralement limité par la collecte de données et les ressources informatiques.

ByteDance a proposé une méthode permettant à LLM d'effectuer un apprentissage par oubli pour l'alignement. Cet article étudie comment effectuer des opérations « d'oubli » sur LLM, c'est-à-dire l'oubli de comportements nuisibles ou le désapprentissage automatique (Machine Unlearning). L'auteur montre les effets évidents de l'oubli de l'apprentissage sur trois scénarios d'alignement LLM : (1) supprimer les résultats nuisibles ; (2) supprimer le contenu de protection contre les violations ; (3) éliminer l'illusion du grand langage LLM

Oublier l'apprentissage présente trois avantages (1) ) Seuls des échantillons négatifs (échantillons nocifs) sont nécessaires, qui sont beaucoup plus simples à collecter que les échantillons positifs (sortie manuscrite manuelle de haute qualité) requis par le RLHF (tels que les tests de l'équipe rouge ou les rapports des utilisateurs) (2) Coût de calcul faible ; (3) L'oubli de l'apprentissage est particulièrement efficace si l'on sait quels échantillons de formation conduisent à des comportements néfastes du LLM.

L'argument de l'auteur est que les praticiens disposant de ressources limitées devraient donner la priorité à l'arrêt de la production de résultats nocifs plutôt que d'essayer de poursuivre des résultats trop idéalisés et d'oublier que l'apprentissage est une commodité. Même s'il n'y a que des échantillons négatifs, la recherche montre que l'apprentissage par oubli peut encore obtenir de meilleures performances d'alignement que l'apprentissage par renforcement et les algorithmes haute fréquence à haute température en utilisant seulement 2 % du temps de calcul

• Adresse papier : https : //arxiv.org/abs/2310.10683
• Adresse du code : https://github.com/kevinyaobytedance/llm_unlearn

Scénarios d'utilisation

Avec des ressources limitées, nous pouvons adopter cette approche pour maximiser vos avantages. Lorsque nous n'avons pas le budget nécessaire pour embaucher des personnes pour écrire des échantillons de haute qualité ou que les ressources informatiques sont insuffisantes, nous devrions donner la priorité à empêcher LLM de produire des résultats nuisibles, plutôt que d'essayer de lui faire produire des résultats bénéfiques

Les dommages causés Les résultats néfastes ne peuvent pas être remplacés par des résultats bénéfiques compensés. Si un utilisateur pose des questions à un LLM 100 et que les réponses qu'il obtient sont nuisibles, il perdra confiance, quel que soit le nombre de réponses utiles fournies ultérieurement par le LLM. Le résultat attendu des questions nuisibles peut être des espaces, des caractères spéciaux, des chaînes dénuées de sens, etc. En bref, il doit s'agir d'un texte inoffensif

montre trois cas réussis d'oubli d'apprentissage LLM : (1) Arrêtez de générer des réponses nuisibles (Veuillez réécrire le contenu en chinois (la phrase originale n'a pas besoin d'apparaître) ; ceci est similaire au scénario RLHF, sauf que le but de cette méthode est de générer des réponses inoffensives plutôt que des réponses utiles. C’est le mieux que l’on puisse espérer lorsqu’il n’y a que des échantillons négatifs. (2) Après une formation avec des données violées, LLM a réussi à supprimer les données et n'a pas pu recycler LLM en raison de facteurs de coût (3) LLM a réussi à oublier « l'illusion »

Veuillez réécrire le contenu en chinois, l'original ; la phrase n'a pas besoin d'apparaître

méthode

Dans l'étape de réglage fin t, le LLM est mis à jour comme suit :

La première perte est la descente de gradient (descente de gradient), avec la but d'oublier les échantillons nocifs :

est une invite nuisible (invite), et est la réponse nuisible correspondante. La perte globale augmente à l’inverse la perte d’échantillons nocifs, ce qui fait que LLM « oublie » les échantillons nocifs.

La deuxième perte concerne les inadéquations aléatoires, qui obligent LLM à prédire les réponses non pertinentes en présence d'indices nuisibles. Ceci est similaire au lissage des étiquettes [2] en matière de classification. Le but est de faire en sorte que LLM oublie mieux les sorties nuisibles sur les invites nuisibles. Dans le même temps, des expériences ont prouvé que cette méthode peut améliorer les performances de sortie du LLM dans des circonstances normales

La troisième perte est de maintenir les performances sur les tâches normales :

Semblable au RLHF, en pré-formation Le calcul de la divergence KL sur LLM peut mieux maintenir les performances LLM.

De plus, toutes les montées et descentes de gradient se font uniquement sur la partie sortie (y), pas sur la paire pointe-sortie (x, y) comme RLHF.

Scénarios d'application : Oublier le contenu nuisible, etc.

Cet article utilise les données PKU-SafeRLHF comme données oubliées, TruthfulQA comme données normales, le contenu de la figure 2 doit être réécrit, montrant la sortie de LLM sur le invites nuisibles oubliées après avoir oublié d'apprendre le taux nuisible. Les méthodes utilisées dans cet article sont GA (montée de gradient et GA+Mismatch : montée de gradient + mésappariement aléatoire). Le taux néfaste après oubli d’apprentissage est proche de zéro.

Le contenu de la deuxième image doit être réécrit

La troisième image montre la sortie d'invites nuisibles (non oubliées), qui n'a jamais été vue auparavant. Même pour les signaux nuisibles qui n'ont pas été oubliés, le taux nocif de LLM est proche de zéro, ce qui prouve que LLM oublie non seulement des échantillons spécifiques, mais se généralise à des contenus contenant des concepts nuisibles

Trois

Fig. Les performances de LLM sur des échantillons normaux restent similaires à celles d'avant l'oubli et présentent les caractéristiques suivantes

Le Tableau 1 montre les échantillons générés. On peut voir que sous l'invite nuisible, les échantillons générés par LLM sont des chaînes dénuées de sens, c'est-à-dire une sortie inoffensive.

Tableau 1

Dans d'autres scénarios, tels que l'oubli du contenu contrefait et l'oubli des hallucinations, l'application de cette méthode est décrite en détail dans le texte original

Comparaison RLHF

Ce qui doit être réécrit est : Le deuxième tableau montre la comparaison entre cette méthode et le RLHF utilise des exemples positifs, tandis que la méthode d'apprentissage par oubli n'utilise que des exemples négatifs, la méthode est donc désavantagée au début. Mais même ainsi, oublier l'apprentissage peut toujours obtenir des performances d'alignement similaires à celles du RLHF

Ce qui doit être réécrit est : Le deuxième tableau

Ce qui doit être réécrit : La quatrième image montre le temps de calcul En comparaison , cette méthode ne nécessite que 2% du temps de calcul du RLHF.

Ce qui doit être réécrit : La quatrième image

Même avec uniquement des échantillons négatifs, la méthode utilisant l'apprentissage par oubli peut atteindre un taux inoffensif comparable au RLHF et n'utiliser que 2% de la puissance de calcul. Par conséquent, si l'objectif est d'arrêter de publier du contenu préjudiciable, l'oubli de l'apprentissage est plus efficace que le RLHF

Conclusion

Cette étude est la première à explorer l'oubli de l'apprentissage en LLM. Les résultats montrent qu’apprendre à oublier est une approche prometteuse de l’alignement, en particulier lorsque les praticiens manquent de ressources. L'article montre trois situations : l'oubli de l'apprentissage peut réussir à supprimer les réponses nuisibles, à supprimer le contenu contrefait et à éliminer les illusions. La recherche montre que même avec uniquement des échantillons négatifs, l'oubli de l'apprentissage peut toujours obtenir des effets d'alignement similaires à ceux du RLHF en utilisant seulement 2 % du temps de calcul du RLHF

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!