Menggunakan DSPy(COPRO) untuk memperhalusi arahan segera

Baru-baru ini saya telah menguji DSPy dengan phi3, bertujuan untuk menggunakan COPRO untuk memperhalusi arahan segera dan mencapai skor terbaik. Saya sengaja tidak menggunakan penegasan.

Ini yang saya suka:

Saya menggunakan set data CoLA, yang termasuk ayat daripada 23 penerbitan linguistik beranotasi untuk tatabahasa, saya mahukan output dengan "hanya label" (tiada penjelasan atau perkataan tambahan). DSPy menghasilkan arahan yang berprestasi baik, memastikan ketepatan tatabahasa:

Arahan Asal: Semak sama ada ayat itu betul(1) atau tidak(0)

Arahan Dioptimumkan: Tentukan sama ada ayat yang diberikan mematuhi peraturan tatabahasa Inggeris standard dengan mengeluarkan '1' untuk tatabahasa yang betul dan '0' untuk salah.

Kedua-dua BootstrapFewShot dan Signature Optimizer ialah titik permulaan yang bagus.

Apa yang boleh diperbaiki:

DSPy menyatakan, "Setelah latihan selesai, anda akan mendapat arahan dan awalan yang lebih baik untuk mengedit dalam tandatangan secara manual." Walau bagaimanapun, saya percaya bahawa selepas penyusunan, alat itu harus bersedia untuk meramalkan. Pengoptimum arahan memerlukan lebih banyak fleksibiliti untuk pengubahsuaian yang lebih mudah, seperti keserasian yang lebih baik dengan bahasa lain. Sebagai alternatif, mencipta program untuk pengoptimum tandatangan untuk mengubah suai gesaan mengikut keperluan akan memberi manfaat.

Ia adalah konsep yang menarik tetapi saya rasa sebagai rangka kerja ia masih memerlukan penambahbaikan. Berhubung dengan saya jika anda mempunyai projek yang menarik/minat bersama.

Repo Gihub

Atas ialah kandungan terperinci Menggunakan DSPy(COPRO) untuk memperhalusi arahan segera. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!