最近用phi3测试了DSPy,目的是利用COPRO来细化提示指令,取得最好的成绩。我故意不使用断言。
这是我喜欢的:
我使用了 CoLA 数据集,其中包括来自 23 个语言出版物的句子,并进行了语法注释,我想要带有“仅标签”的输出(没有解释或额外的单词)。 DSPy 生成的指令表现良好,确保语法正确性:
原始指令:检查句子是否正确(1)或不正确(0)
优化指令:通过输出“1”表示语法正确,输出“0”表示错误,确定给定句子是否符合标准英语语法规则。
BootstrapFewShot 和签名优化器都是很好的起点。
可以改进的地方:
DSPy 表示,“训练完成后,您将获得更好的说明和前缀来手动编辑签名。”然而,我相信编译后,该工具应该准备好进行预测。指令优化器需要更大的灵活性以便于调整,例如与其他语言更好的兼容性。或者,为签名优化器创建一个程序来根据需要调整提示也是有益的。
这是一个很酷的概念,但我想作为一个框架它仍然需要改进。如果您有有趣的项目/共同兴趣,请与我联系。
Gihub 仓库
以上是使用DSPy(COPRO)细化提示指令的详细内容。更多信息请关注PHP中文网其他相关文章!