Petua untuk membenarkan GenAI memberikan jawapan yang lebih baik

GenAI mempunyai potensi besar sebagai antara muka yang membolehkan pengguna menanyakan data dengan cara yang unik dan mendapatkan jawapan yang memenuhi keperluan mereka. Sebagai contoh, sebagai pembantu pertanyaan, alat GenAI boleh membantu pelanggan menavigasi pangkalan pengetahuan produk yang luas dengan lebih cekap melalui format soal jawab yang mudah. Dengan cara ini, pengguna boleh mencari maklumat yang mereka perlukan dengan lebih cepat, meningkatkan pengalaman pengguna dan menjimatkan masa. Fungsi carian pintar GenAI membolehkan pengguna berinteraksi dengan data secara lebih intuitif, menjadikannya lebih mudah untuk menyelesaikan masalah dan mendapatkan maklumat yang mereka perlukan. Kaedah pertanyaan mudah ini bukan sahaja meningkatkan kepuasan pengguna, tetapi juga menyediakan perusahaan dengan kaedah perkhidmatan pelanggan yang lebih cekap dan menggalakkan pembangunan perniagaan.

Tetapi sebelum menggunakan GenAI untuk menjawab soalan tentang data anda, adalah penting untuk menilai dahulu soalan yang ditanya.

Ini adalah nasihat Ketua Pegawai Eksekutif dan Pengasas Bersama Miso.ai Lucky Gunasekara kepada pasukan yang membangunkan alatan GenAI hari ini.

Tertarik dengan cara produk Miso.ai, Smart Answers, menunjukkan cerapannya, saya meminta Gunasekara membincangkan pendekatan Miso.ai untuk memahami dan menjawab soalan pengguna dengan lebih mendalam.

Model bahasa besar adalah "sebenarnya jauh lebih naif daripada yang kami fikirkan," kata Gunasekara, sebagai contoh, jika ditanya soalan tentang pendapat yang kuat, model bahasa besar mungkin mencari pemetik ceri yang mengesahkan pendapat itu. walaupun data yang tersedia menunjukkan bahawa pandangan ini salah. Jadi jika ditanya "Kenapa projek Perkara untuk dilakukan.

Gunasekara menegaskan bahawa dalam aplikasi RAG (Retrieval Augmentation Generation), menilai masalah adalah langkah kritikal yang sering diabaikan. Aplikasi RAG mengarahkan model bahasa besar ke set data tertentu dan memintanya menjawab soalan berdasarkan set data tersebut.

Aplikasi jenis ini lazimnya mengikut corak persediaan berikut (sedikit dipermudahkan):

• Pisah data sedia ada kepada ketulan kerana semua data terlalu besar untuk dimuatkan ke dalam satu pertanyaan model bahasa yang besar.
• Hasilkan apa yang dipanggil benam untuk setiap blok, mewakili semantik blok itu sebagai rentetan nombor, dan simpannya, kemas kini mengikut keperluan apabila data berubah.

Kemudian setiap soalan:

• Janakan benam.
• Gunakan pengiraan berasaskan benam untuk mencari ketulan teks yang paling hampir sama dengan maksud soalan.
• Suapkan soalan pengguna ke dalam model bahasa yang besar dan beritahunya untuk menjawab hanya berdasarkan bahagian yang paling relevan.

Pasukan Gunasekara telah mengambil pendekatan berbeza dengan menambah langkah tambahan untuk menyemak masalah sebelum mencari maklumat yang berkaitan. Andy Hsieh, ketua pegawai teknologi dan pengasas bersama Miso, menjelaskan: "Daripada bertanya soalan secara langsung, pendekatan kami adalah untuk mengesahkan terlebih dahulu sama ada andaian itu betul

Selain menyemak andaian yang wujud dalam soalan itu, di sana adalah cara lain untuk mengukuhkan saluran paip RAG asas untuk membantu meningkatkan hasil. Gunasekara mengesyorkan melangkaui perkara asas, terutamanya apabila beralih daripada fasa percubaan kepada penyelesaian yang layak untuk pengeluaran.

Gunasekara berkata: "Terdapat banyak penekanan pada 'bina pangkalan data vektor, lakukan persediaan RAG dan semuanya akan berfungsi di luar kotak', yang merupakan cara terbaik untuk melakukan pembuktian konsep, tetapi jika anda perlu lakukan perkhidmatan gred Perusahaan dengan akibat yang tidak diingini, itu sentiasa konteks, konteks, konteks."

Ini mungkin bermakna menggunakan isyarat lain seperti keterkinian dan populariti selain menggunakan semantik teks. Gunasekara menunjukkan projek lain yang sedang diusahakan oleh Miso dengan tapak web memasak yang merungkai soalan: "Apakah kek terbaik untuk dibakar di majlis

Dia berkata anda perlu membezakan isyarat yang anda perlukan untuk meneruskan Tanya?" “Make-Advance” kek bermakna ia tidak perlu dihidangkan serta-merta, “untuk pesta” bermakna ia perlu dihidangkan lebih daripada beberapa orang, dan terdapat persoalan tentang bagaimana model bahasa yang besar menentukan resipi yang terbaik” , yang mungkin bermaksud menggunakan data tapak lain, seperti resipi yang mempunyai trafik paling banyak, kedudukan pembaca teratas atau telah dianugerahkan Pilihan Editor—semuanya berasingan daripada mencari dan mengagregatkan blok teks yang berkaitan.

"Banyak helah untuk melakukan perkara ini dengan baik lebih banyak terletak pada petunjuk konteks ini," kata Gunasekara.

Walaupun kualiti model bahasa besar merupakan satu lagi faktor penting, Miso tidak percaya bahawa model bahasa besar komersial yang dinilai tinggi dan paling mahal adalah perlu, sebaliknya, Miso memperhalusi model berasaskan Llama 2 untuk sesetengah pelanggan projek, yang pada tahap tertentu Ini adalah untuk mengurangkan kos, tetapi juga kerana sesetengah pelanggan tidak mahu data mereka dibocorkan kepada pihak ketiga yang Miso melakukan ini kerana apa yang Gunasekara berkata: "Model bahasa besar sumber terbuka kini muncul sebagai a kekuatan yang besar."

"Sumber terbuka benar-benar mengejar," tambah Hsieh "Model sumber terbuka berkemungkinan besar mengatasi GPT-4."