Boostez l'évaluation du modèle avec des mesures personnalisées dans le llama-factory

Dans ce guide, je vous guiderai tout au long du processus d'ajout d'une factorie de tollama métrique sur mesure. LLAMA-FACTORY est un outil polyvalent qui permet aux utilisateurs de régler facilement les modèles de langage grand (LLMS), grâce à ses webui convivial et à son ensemble complet de scripts pour la formation, le déploiement et l'évaluation des modèles. Une caractéristique clé de la carte Isllama lama-factory, un tableau de bord intégré qui affiche également des mesures d'évaluation, fournissant des informations précieuses sur les performances du modèle. Bien que les mesures standard soient disponibles par défaut, la possibilité d'ajouter des mesures personnalisées nous permet d'évaluer des modèles de manière directement pertinente pour nos cas d'utilisation spécifiques.

Nous couvrirons également les étapes pour créer, intégrer et visualiser une métrique personnalisée sur la carte lama. En suivant ce guide, vous pourrez surveiller des mesures supplémentaires adaptées à vos besoins, que vous soyez intéressé par la précision spécifique au domaine, les types d'erreur nuancés ou les évaluations centrées sur l'utilisateur. Cette personnalisation vous permet d'évaluer plus efficacement les performances du modèle, en veillant à ce qu'elle s'aligne sur les objectifs uniques de votre application. Plongeons-nous!

Résultats d'apprentissage

• Comprendre comment définir et intégrer une métrique d'évaluation personnalisée dans le factoire lama.
• Acquérir des compétences pratiques pour modifier Metric.py pour inclure des mesures personnalisées.
• Apprenez à visualiser les métriques personnalisées sur la carte LLAMA pour des informations améliorées de modèle.
• Acquérir des connaissances sur la couture des évaluations du modèle pour s'aligner sur les besoins spécifiques du projet.
• Explorez les moyens de surveiller les performances du modèle spécifiques au domaine à l'aide de mesures personnalisées.

Cet article a été publié dans le cadre du Blogathon de la science des données.

Table des matières

• Résultats d'apprentissage
• Qu'est-ce que Llama-Factory?
• Commencer avec Llama-Factory
• Comprendre les mesures d'évaluation en llama-factory
• Prérequis pour ajouter une métrique personnalisée
• Définir votre métrique personnalisée
• Modification de Sft / Metric.py pour intégrer la métrique personnalisée
• Conclusion
• Questions fréquemment posées

Qu'est-ce que Llama-Factory?

Llama-Factory, développé par Hiyouga, est un projet open-source permettant aux utilisateurs d'adapter les modèles de langage via une interface WebUI conviviale. Il propose une suite complète d'outils et de scripts pour le réglage fin, la construction de chatbots, les portions et les LLM de comparaison.

Conçu avec les débutants et les utilisateurs non techniques à l'esprit, LLAMA-FACTORY simplifie le processus de réduction des LLMS open-source sur les ensembles de données personnalisés, éliminant la nécessité de saisir des concepts d'IA complexes. Les utilisateurs peuvent simplement sélectionner un modèle, télécharger leur ensemble de données et ajuster quelques paramètres pour démarrer la formation.

Une fois terminé, l'application Web permet également de tester le modèle, offrant un moyen rapide et efficace de remonter les LLM sur une machine locale.

Bien que les mesures standard fournissent des informations précieuses sur les performances générales d'un modèle affiné, les mesures personnalisées offrent un moyen d'évaluer directement l'efficacité d'un modèle dans votre cas d'utilisation spécifique. En adaptant les mesures, vous pouvez mieux évaluer la façon dont le modèle répond aux exigences uniques que les mesures génériques pourraient ignorer. Les mesures personnalisées sont inestimables car elles offrent la flexibilité de créer et de suivre les mesures spécifiquement alignées sur les besoins pratiques, permettant une amélioration continue en fonction des critères pertinents et mesurables. Cette approche permet une concentration ciblée sur la précision spécifique au domaine, l'importance pondérée et l'alignement de l'expérience utilisateur.

Commencer avec Llama-Factory

Pour cet exemple, nous utiliserons un environnement Python. Assurez-vous d'avoir Python 3.8 ou plus et les dépendances nécessaires installées conformément aux exigences du référentiel.

Installation

Nous allons d'abord installer toutes les exigences.

 Git Clone - Depth 1 https://github.com/hiyouga/llama-factory.git
CD LLAMA-FACTORY
pip install -e ". [torche, métriques]"

Fonction avec GUI du conseil d'administration de lama (propulsé par Gradio)

 Llamafactory-Cli Webui

Remarque: vous pouvez trouver le guide de configuration officiel plus en détail ici sur GitHub.

Comprendre les mesures d'évaluation en llama-factory

Découvrez les mesures d'évaluation par défaut fournies par Llama-Factory, telles que les scores BLEU et Rouge, et pourquoi ils sont essentiels pour évaluer les performances du modèle. Cette section introduit également la valeur de la personnalisation des mesures.

Score de Bleu

Le score BLEU (Bilingual Evaluation Subsudy) est une métrique utilisée pour évaluer la qualité du texte généré par les modèles de traduction automatique en le comparant à un texte de référence (ou translaté par l'homme). Le score BLEU évalue principalement à quel point la traduction générée est similaire à une ou plusieurs traductions de référence.

Score rouge

Le score de Rouge (le rappel axé sur le rappel pour l'évaluation de l'escroquerie) est un ensemble de mesures utilisées pour évaluer la qualité des résumés de texte en les comparant à des résumés de référence. Il est largement utilisé pour les tâches de résumé, et il mesure le chevauchement des mots et des phrases entre les textes générés et de référence.

Ces mesures sont disponibles par défaut, mais vous pouvez également ajouter des mesures personnalisées adaptées à votre cas d'utilisation spécifique.

Prérequis pour ajouter une métrique personnalisée

Ce guide suppose que Factory est déjà configuré sur votre machine. Sinon, veuillez vous référer à la documentation de factoire lama pour l'installation et la configuration.

Dans cet exemple, la fonction renvoie une valeur aléatoire entre 0 et 1 pour simuler un score de précision. Cependant, vous pouvez le remplacer par votre propre logique d'évaluation pour calculer et renvoyer une valeur de précision (ou toute autre métrique) en fonction de vos exigences spécifiques. Cette flexibilité vous permet de définir des critères d'évaluation personnalisés qui reflètent mieux votre cas d'utilisation.

Définir votre métrique personnalisée

To begin, let's create a Python file called custom_metric.py and define our custom metric function within it.

In this example, our custom metric is called x _score . This metric will take preds (predicted values) and labels (ground truth values) as inputs and return a score based on your custom logic.

 Importer au hasard

DEF CAL_X_SCORE (préds, étiquettes):
    "" "
    Calculez un score métrique personnalisé.

    Paramètres:
    Preds - Liste des valeurs prévues
    Libellés - Liste des valeurs de vérité au sol

    Renvoie:
    Score - une valeur aléatoire ou un calcul personnalisé selon vos besoins
    "" "
    # La logique de calcul métrique personnalisée va ici
    
    # Exemple: renvoie un score aléatoire entre 0 et 1
    return random.uniford (0, 1)

Vous pouvez remplacer le score aléatoire par votre logique de calcul spécifique.

Modifyingsft / Metric.pyto Intégrer la métrique personnalisée

To ensure that LLaMA Board recognizes our new metric, we'll need to integrate it into the metric computation pipeline within src/llamafactory/train/sft/metric.py

Ajoutez votre métrique au dictionnaire de score:

• Locate theComputeSimilarityfunction within sft/metric.py
• Update self.score_dict to include your new metric as follows:

 self.score_dict = {
    "Rouge-1": [],
    "Rouge-2": [],
    "Bleu-4": [],
    "x_score": [] # Ajoutez votre métrique personnalisée ici
}

Calculez et ajoutez la métrique personnalisée dans le__Call__Method:

• Within the __call__ method, compute your custom metric and add it to the score_dict . Voici un exemple de la façon de procéder:

 de .custom_metric import CAL_X_SCORE
Def __Call __ (Self, Preds, Labels):
    # Calculez le score métrique personnalisé
    personnalisé_score = cal_x_score (préds, étiquettes)
    # Ajoutez le score à «Extra_metric» dans le dictionnaire de score
    self.score_dict ["x_score"]. APPEND (CUSTOM_SCORE * 100)

Cette étape d'intégration est essentielle pour que la métrique personnalisée apparaisse sur le conseil d'administration de lama.

La métrique Predict_X_Score apparaît désormais avec succès, montrant une précision de 93,75% pour cet ensemble de données de modèle et de validation. Cette intégration permet un moyen simple d'évaluer chaque modèle réglé directement dans le pipeline d'évaluation.

Conclusion

Après avoir configuré votre métrique personnalisée, vous devriez le voir dans la carte LLAMA après avoir exécuté le pipeline d'évaluation. TheExtra Metricscores mettra à jour pour chaque évaluation.

Avec ces étapes, vous avez réussi à intégrer une métrique d'évaluation personnalisée dans le factoire lama! Ce processus vous donne la flexibilité d'aller au-delà des mesures par défaut, de coucher des évaluations de modèles pour répondre aux besoins uniques de votre projet. En définissant et en mettant en œuvre des mesures spécifiques à votre cas d'utilisation, vous obtenez des informations plus significatives sur les performances du modèle, en mettant en évidence les forces et les domaines d'amélioration de la manière qui compte le plus à vos objectifs.

L'ajout de mesures personnalisées permet également une boucle d'amélioration continue. Au fur et à mesure que vous affinez les modèles de nouvelles données ou modifiez les paramètres, ces mesures personnalisées offrent un moyen cohérent d'évaluer les progrès. Que vous vous concentriez sur la précision spécifique au domaine, l'alignement de l'expérience utilisateur ou les méthodes de notation nuancées, la carte LLAMA fournit un moyen visuel et quantitatif de comparer et de suivre ces résultats au fil du temps.

En améliorant l'évaluation des modèles avec des mesures personnalisées, LLAMA-FACTORY vous permet de prendre des décisions basées sur les données, d'affiner les modèles avec précision et de mieux aligner les résultats avec des applications du monde réel. Cette capacité de personnalisation vous permet de créer des modèles qui fonctionnent efficacement, d'optimiser vers les objectifs pertinents et de fournir une valeur supplémentaire dans les déploiements pratiques.

Principaux à retenir

• Les métriques personnalisées dans le llama-factory améliorent les évaluations du modèle en les alignant avec des besoins uniques du projet.
• La carte lama permet une visualisation facile des mesures personnalisées, fournissant des informations plus approfondies sur les performances du modèle.
• Modification Metric.py permet l'intégration transparente des critères d'évaluation personnalisés.
• Les mesures personnalisées soutiennent l'amélioration continue, adaptant les évaluations à l'évolution des objectifs du modèle.
• L'adaptation des mesures permet des décisions basées sur les données, l'optimisation des modèles pour les applications du monde réel.

Questions fréquemment posées

A. Llama-Factory est un outil open-source pour le réglage des modèles de grande langue à travers un webui convivial, avec des fonctionnalités de formation, de déploiement et d'évaluation des modèles.

A. Les mesures personnalisées vous permettent d'évaluer les performances du modèle en fonction de critères spécifiques à votre cas d'utilisation, fournissant des informations que les mesures standard peuvent ne pas saisir.

A. Définissez votre métrique dans un fichier Python, en spécifiant la logique pour calculer les performances en fonction de vos données.

A. Ajoutez votre métrique au fichier SFT / Metric.py et mettez à jour le dictionnaire de score et le pipeline de calcul pour l'inclure.

R. Oui, une fois que vous avez intégré votre métrique personnalisée, la carte lama l'affiche, vous permettant de visualiser ses résultats aux côtés d'autres mesures.

Les médias présentés dans cet article ne sont pas détenus par l'analytique vidhya et sont utilisés à la discrétion de l'auteur.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!