Utilisation de DSPy(COPRO) pour affiner les instructions d'invite

J'ai récemment testé DSPy avec phi3, dans le but d'utiliser COPRO pour affiner les instructions d'invite et obtenir le meilleur score. Je n'ai intentionnellement pas utilisé d'assertions.

Voici ce que j'ai aimé :

J'ai utilisé l'ensemble de données CoLA, qui comprend des phrases de 23 publications linguistiques annotées pour la grammaticalité, je voulais des sorties avec "juste l'étiquette" (pas d'explications ni de mots supplémentaires). DSPy a généré des instructions qui ont bien fonctionné, garantissant l'exactitude grammaticale :

Instruction originale : Vérifiez si la phrase est correcte (1) ou non (0)

Instruction optimisée : déterminez si la phrase donnée adhère aux règles de grammaire anglaise standard en affichant un « 1 » pour grammaticalement correcte et un « 0 » pour incorrecte.

BootstrapFewShot et Signature Optimizer sont d'excellents points de départ.

Ce qui pourrait être amélioré :

DSPy déclare : "Une fois la formation terminée, vous disposerez de meilleures instructions et préfixes à modifier manuellement dans la signature." Cependant, je pense qu'après la compilation, l'outil doit être prêt à prédire. L'optimiseur d'instructions a besoin de plus de flexibilité pour des ajustements plus faciles, comme une meilleure compatibilité avec d'autres langages. Alternativement, il serait bénéfique de créer un programme permettant à l'optimiseur de signature de modifier les invites selon les besoins.

C'est un concept sympa mais je suppose qu'en tant que cadre, il doit encore être amélioré. Connectez-vous avec moi si vous avez un projet intéressant/des intérêts communs.

Dépôt Gihub

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!