Stratégie de fusion efficace de l'adaptateur et du modèle de base PEFT LORA

Ce tutoriel détaille comment fusionner efficacement l'adaptateur PEFT LORA avec le modèle de base pour générer un modèle complètement indépendant. L'article souligne qu'il est faux d'utiliser directement Transformers.Automodel pour charger l'adaptateur et fusionner manuellement les poids, et fournit le processus correct pour utiliser la méthode Merge_and_unload dans la bibliothèque PEFT. De plus, le tutoriel souligne également l'importance de gérer la segmentation des mots et discute des problèmes et des solutions de compatibilité des versions de PEFT.

Introduction: nécessité de fusionner l'adaptateur PEFT LORA avec modèle de base

Après avoir affiné les modèles de gros langues en utilisant la technologie de réglage fin efficace des paramètres (PEFT), en particulier LORA (adaptation de faible rang), nous obtenons généralement un modèle d'adaptateur léger. Ce modèle d'adaptateur ne contient qu'une petite quantité de poids modifiés lors du réglage fin, et il doit être combiné avec le modèle de base d'origine pour faire des inférences. Lors du déploiement ou du partage d'un modèle, il est une exigence commune de fusionner l'adaptateur avec le modèle de base dans un modèle complet et indépendant, ce qui simplifie le chargement et l'utilisation du modèle sans avoir besoin de gérer deux composants de modèle simultanément.

Cependant, de nombreux débutants peuvent éprouver des difficultés lorsqu'ils essaient de fusionner, comme essayer de charger un adaptateur PEFT directement en utilisant Automodel.from_pretraind à partir de la bibliothèque Transformers, ou essayer de pondérer manuellement les poids moyens du modèle moyen. Ces méthodes conduisent souvent à des erreurs car les adaptateurs PEFT ont leur structure spécifique et leurs mécanismes de chargement.

Tentatives de fusion incorrectes et analyse de provoquer

Une tentative d'erreur courante consiste à utiliser les transformateurs.automodel.from_pretraind pour charger l'adaptateur PEFT et essayer de fusionner les poids par pondération manuelle, comme indiqué ci-dessous:

 à partir de Transformers Import Automodel
# Démonstration d'erreur: Essayez de charger directement l'adaptateur PEFT # Pretrained_Model = Automodel.from_pretraind ("Tinyllama / tinyllama-1.1b-chat-v0.6")
# LORA_ADAPTER = Automodel.from_pretraind ("arcturusai / cristalline-1.1b-v23.12-tagger") # Une erreur sera signalée ici # ... La logique de fusion de poids suivante est également incorrecte ...

Lors de l'exécution de Lora_Adapter = Automodel.from_pretrainen ("arcturusai / cristalline-1.1b-v23.12-tagger"), un Oserror est généralement rencontré, ce qui invite aux fichiers de poids du modèle standard tels que Pytorch_Model.bin, TF_Model.H5 dans la path modèle. En effet, les adaptateurs PEFT ne contiennent généralement que les poids de la couche d'adaptateur, plutôt que le fichier de poids complet du modèle, et Transformers.Automodel ne peut pas reconnaître ce format. De plus, le modèle PEFT fonctionne au lieu de simplement pondérer les poids du modèle de base et du modèle de l'adaptateur, mais plutôt de modifier son comportement en injectant la couche d'adaptateur dans une couche spécifique du modèle de base. Par conséquent, la méthode de fusion manuelle des poids est également logiquement incorrecte.

Stratégie de fusion correcte: utilisez Merge_and_unload Méthode de la bibliothèque PEFT

La bibliothèque PEFT elle-même fournit un moyen officiel et efficace de fusionner les adaptateurs avec le modèle sous-jacent: Merge_and_unload (). Cette méthode intègre correctement les poids de l'adaptateur dans la couche correspondante du modèle de base et renvoie une instance de modèle de transformateurs standard.

1. Chargez le modèle de l'adaptateur PEFT

Tout d'abord, nous devons utiliser une classe dans la bibliothèque PEFT qui est spécifiquement utilisée pour charger des modèles PEFT, tels que AutopeftModelforCausAllm, pour charger l'adaptateur PEFT formé. Cette classe reconnaît et charge automatiquement l'adaptateur PEFT et sa configuration de modèle sous-jacente associée.

 à partir de PEFT IMPORT AUTOPEFTMODELFORCAUSALLM
Importer une torche

# Définissez le chemin local ou l'ID du modèle de visage étreint du modèle d'adaptateur PEFT
# Supposons que vous avez téléchargé le modèle de l'adaptateur localement, ou que vous pouvez charger Model_id = "./arcturusai/Crystalline-1.1b-v23.12-Tagger" directement à partir de la hub de visage étreint # Le chemin de l'échantillon # Chargement du Modèle Adaptateur PEFT # Remarque: Le modèle de base et l'adaptateur seront chargés au même moment (PEFT_Model = AutopeftmodalforcElorcAl.from_prom_pretrain
    Model_id,
    torch_dtype = torch.bfloat16 # Choisissez le dtype approprié en fonction de votre matériel et de votre taille de modèle
)

Imprimer (F "Type de modèle après le chargement: {type (peft_model)}")
# Sortie attendue: <class></class>

2. Effectuer la fusion du modèle

Après chargement, PEFT_MODEL est une instance PEFTMODELFORCAUSALLM. En appelant sa méthode Merge_and_unload (), la bibliothèque PEFT fusionne automatiquement les poids de l'adaptateur dans le modèle de base et renvoie une instance de modèle de transformateurs standard.

 # Interpréter fusion_model = peft_model.merge_and_unload ()

print (f "Type de modèle fusionné: {type (fusion_model)}")
# Sortie attendue: <class> (ou le type correspondant au modèle de base)</class>

À ce stade, Merged_Model est déjà un modèle complet avec tous les poids nécessaires et peut être utilisé et enregistré comme tout autre modèle Transformers.

3. Enregistrer le modèle fusionné

Le modèle fusionné peut être enregistré localement en utilisant la méthode SAVE_PRÉTRAINE de la bibliothèque Transformers pour le chargement et le déploiement ultérieur.

 # Définissez le chemin de sauvegarde Save_Directory = "./arcturusai/Crystalline-1.1b-v23.12-Tagger-fullmodel"

# Enregistrer le modèle fusionné fusionné_model.save_pretraind (Save_Directory)
print (f "Le modèle fusionné a été enregistré sur: {Save_Directory}")

Jetons

Il convient de noter que la méthode Merge_and_unload () ne traite que les poids du modèle et ne gère pas les segments de mots. Un jetons est un composant indépendant des poids du modèle, qui est responsable de la conversion du texte en une séquence de nombres que le modèle peut comprendre. Vous devez donc charger le segment de mot pour le modèle de base séparément et l'enregistrer dans le même répertoire que le modèle fusionné pour assurer l'intégrité du modèle.

 à partir de Transformers Import Autotokenzer

# Chargez le mot segmenter base_model_name = "tinyllama / tinyllama-1.1b-chat-v0.6"
tokenizer = autotokenizer.from_pretrain (base_model_name)

# Enregistrez le mot participe au même répertoire que le modèle de fusion tokenizer.save_pretrated (SAVE_DIRECTORY)
print (f "Word participe enregistré à: {Save_Directory}")

Après avoir terminé les étapes ci-dessus, le ./arcturusai/crystalline-1.1b-v23.12-bagger-fullmodel contiendra un modèle complet, directement chargé et d'utilisation (y compris les poids et les segments de mots).

Remarque: compatibilité de la version PEFT

Lorsque vous travaillez avec des modèles PEFT, vous pouvez rencontrer des problèmes de compatibilité entre les modèles formés par différentes versions de la bibliothèque PEFT. Par exemple, les versions plus récentes de PEFT peuvent introduire de nouvelles touches de configuration (telles que LOFTQ_CONFIG, Megatron_Config, Megatron_Core) dans le fichier adapter_config.json, tandis que les anciennes versions de PEFT peuvent ne pas reconnaître ces clés lors du chargement, entraînant une défaillance de charge.

Si vous rencontrez ce type de problème, une solution consiste à modifier manuellement le fichier adapter_config.json et supprimer ces touches de configuration incompatibles. Cela se produit généralement lorsque vous essayez de charger un adaptateur formé par une version plus récente à l'aide d'une ancienne version PEFT.

Exemple (en supposant que vous avez téléchargé le modèle localement et que vous devez être modifié):

1. Téléchargez le modèle: assurez-vous que le modèle de l'adaptateur PEFT a été téléchargé sur le chemin local.
2. Positionner adapter_config.json: trouver le fichier adapter_config.json sous le chemin du modèle.
3. Fichier d'édition: ouvrir adapter_config.json à l'aide d'un éditeur de texte.
4. Supprimer les touches incompatibles: trouver et supprimer des paires de valeurs de clé telles que "loftq_config": null, "megatron_config": {}, "megatron_core": {}, etc.
5. Enregistrez le fichier: enregistrez l'adaptateur modifié_config.json.

IMPORTANT: Cette modification manuelle des fichiers de configuration doit être utilisée comme solution temporaire et uniquement si vous savez clairement quelles clés sont la source du problème. La meilleure pratique consiste à essayer de garder la version de la bibliothèque PEFT cohérente, ou de considérer la version PEFT de l'environnement de déploiement lors de la formation.

Résumer

La fusion d'un adaptateur PEFT LORA avec le modèle de base est un processus relativement simple, et la clé est d'utiliser les bons outils fournis par la bibliothèque PEFT. Chargez l'adaptateur via AutopeftModelforCausAllm, puis appelez la méthode Merge_and_unload () pour compléter efficacement le modèle de fusion. Dans le même temps, n'oubliez pas de traiter le segment de mot séparément et de l'enregistrer avec le modèle fusionné pour assurer l'intégrité et la commodité du déploiement du modèle. Lorsque vous traitez avec des modèles formés avec différentes versions de PEFT, faites attention aux problèmes de compatibilité potentiels et prenez des mesures appropriées pour les résoudre.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!