讓GenAI提供更好答案的訣竅

GenAI作為一種介面具有巨大的潛力，可以讓使用者以獨特的方式查詢數據，獲取滿足他們需求的答案。例如，作為一個查詢助手，GenAI工具可以幫助客戶透過簡單的問答格式更有效地瀏覽廣泛的產品知識庫。透過這種方式，使用者可以更快速地找到他們需要的信息，提高了用戶體驗並節省了時間。 GenAI的智慧搜尋功能使得用戶可以更直觀地與資料交互，從而更輕鬆地解決問題和獲取所需資訊。這種便利的查詢方式不僅提高了用戶滿意度，也為企業提供了更有效率的客戶服務方式，促進了業務發展。

但在使用GenAI回答有關數據的問題之前，重要的是先評估所提出的問題。

這是Miso.ai的執行長兼聯合創始人Lucky Gunasekara對當今開發GenAI工具的團隊的建議。

出於對Miso.ai的產品Smart Answers如何展現其洞察力的興趣，我要求Gunasekara更深入地討論Miso.ai理解和回答使用者問題的方法。

大型語言模型“實際上比我們想像的要幼稚得多”，Gunasekara說，例如，如果被問到一個有強烈觀點的問題，大語言模型很可能會去尋找證實這個觀點的精挑細選的數據，即使現有的數據顯示這個觀點是錯誤的。因此，如果被問到“為什麼專案X失敗了?”，大語言模型可能會列出一個專案失敗的原因清單——即使它是成功的，而這不是你想要的一個面向公眾的應用程式所做的事情。

Gunasekara指出，在RAG(檢索增強生成)應用程式中，評估問題是常被忽略的關鍵步驟。 RAG應用程式會引導大語言模型指向特定的資料集，並要求它基於該資料集來回答問題。

這類應用程式通常遵循以下(稍微簡化的)設定模式：

• 將現有資料拆分成區塊，因為所有資料都太大，無法放入單個大語言模型查詢中。
• 為每個區塊產生所謂的嵌入，將該區塊的語義表示為一串數字，並儲存它們，在資料變更時根據需要進行更新。

然後是每一個問題：

• #產生嵌入。
• 使用基於嵌入的計算，找出在意義上與問題最相似的文字區塊。
• 將使用者的問題輸入大語言模型，並告訴它只根據最相關的區塊來回答。

Gunasekara團隊採用了一種與眾不同的方法，他們在搜尋相關資訊之前增加了一個步驟，即檢查問題。 Miso的技術長兼聯合創始人Andy Hsieh解釋：「我們的做法不是直接提出問題，而是先驗證假設是否正確。」

除了檢查問題中固有的假設外，還有其他方法來加強基本的RAG管道，以幫助改善結果。 Gunasekara建議超越基礎，特別是在從實驗階段轉向值得生產的解決方案時。

Gunasekara說：「有很多人強調'建立一個向量資料庫，做一個RAG設置，一切都會開箱即用'，這是一種很好的概念驗證方式，但如果你需要做一項不會產生意想不到的後果的企業級服務，那永遠是上下文、上下文、上下文」。

這可能意味著除了使用文字的語義之外，還可以使用其他訊號，如新近和流行。 Gunasekara指出了Miso正在與一個烹飪網站合作的另一個項目，該項目解構了這個問題：「派對上最好的烘焙蛋糕是什麼?」

他說，你需要區分出你真正需要什麼訊號來進行查詢。 「Make-Advance」蛋糕的意思是不需要馬上端上，「for a party」的意思是它需要為不止幾個人服務，還有一個問題是，大語言模型如何確定哪些食譜是“最好的” ，這可能意味著使用其他網站數據，例如哪些食譜擁有最高的流量、最高的讀者排名，或被授予編輯的選擇——所有這些都與查找和匯總相關文本塊分開。

Gunasekara說：「把這些事情做好的許多訣竅更多地體現在這些背景線索中」。

雖然大語言模型的品質是另一個重要因素，但Miso認為沒有必要使用最高評級和最昂貴的商業大語言模型，相反，Miso正在為一些客戶項目微調基於Llama 2的模型，這在一定程度上是為了降低成本，也是因為一些客戶不希望他們的資料洩露給第三方，Miso之所以這麼做，也是因為Gunasekara所說的“開源大語言模型現在正在湧現一股巨大的力量” 。

“開源真的在迎頭趕上”，Hsieh補充道，“開源模型非常可能會超越GPT-4”。