GenAI がより適切な回答を提供できるようにするためのヒント

GenAI は、ユーザーが独自の方法でデータをクエリしてニーズを満たす答えを得ることができるインターフェイスとして、大きな可能性を秘めています。たとえば、GenAI ツールはクエリ アシスタントとして、顧客がシンプルな質問と回答の形式を通じて広範な製品ナレッジ ベースをより効率的にナビゲートできるように支援します。このようにして、ユーザーは必要な情報をより迅速に見つけることができ、ユーザー エクスペリエンスが向上し、時間を節約できます。 GenAI のインテリジェントな検索機能により、ユーザーはより直観的にデータを操作できるため、問題の解決や必要な情報の取得が容易になります。この便利なクエリ方法はユーザーの満足度を向上させるだけでなく、企業により効率的な顧客サービス方法を提供し、ビジネスの発展を促進します。

ただし、GenAI を使用してデータに関する質問に答える前に、まず尋ねられている質問を評価することが重要です。

これは、Miso.ai の CEO 兼共同創設者である Lucky Gunasekara が、現在 GenAI ツールを開発しているチームに向けたアドバイスです。

Mito.ai の製品である Smart Answers がその洞察をどのように実証するかに興味があったため、私はユーザーの質問を理解し、それに答えるための Mito.ai のアプローチについてさらに詳しく議論するよう Gunasekara に依頼しました。

大規模言語モデルは「実際には、私たちが考えていたよりもはるかに単純です。」とグナセカラ氏は言いました。たとえば、強い意見について質問されると、大規模言語モデルはその意見の裏付けを探す可能性が高くなります。たとえ既存のデータがその考えが間違っていることを示していたとしても、データを選択してください。では、「なぜプロジェクトを行ったのか」と問われたら、

Gunasekara 氏は、RAG (検索拡張生成) アプリケーションにおいて、問題の評価は見落とされがちな重要なステップであると指摘しました。 RAG アプリケーションは、大規模な言語モデルを特定のデータ セットに誘導し、そのデータ セットに基づいて質問に答えるように要求します。

このタイプのアプリケーションは通常、次の (少し簡略化された) セットアップ パターンに従います。

• すべてのデータが大きすぎて単一の大規模言語モデルに収まらないため、既存のデータを複数のチャンクに分割します。クエリ。
• ブロックごとにいわゆるエンベディングを生成し、そのブロックのセマンティクスを数値の文字列として表し、それらを保存し、データが変更されたときに必要に応じて更新します。

次に、すべての質問:

• 埋め込みを生成します。
• 埋め込みベースの計算を使用して、質問の意味に最も似ているテキストの塊を見つけます。
• ユーザーの質問を大規模な言語モデルに入力し、最も関連性の高い部分のみに基づいて回答するように指示します。

Gunasekara チームは、関連情報を検索する前に問題を確認するステップを追加するという、異なるアプローチを採用しました。最高技術責任者であり、Miso の共同創設者である Andy Hsieh 氏は次のように説明しています。「私たちのアプローチは、直接質問するのではなく、まず前提が正しいかどうかを検証することです。」

質問ですが、結果を改善するために基本的な RAG パイプラインを強化する方法は他にもあります。 Gunasekara 氏は、特に実験段階から運用に適したソリューションに移行する場合、基本を超えて取り組むことを推奨しています。

Gunasekara 氏は次のように述べています。「『ベクトル データベースを構築し、RAG セットアップを実行すれば、すぐにすべてが機能する』ということが非常に強調されています。これは概念実証を行うための優れた方法ですが、意図しない結果をもたらさないエンタープライズ グレードのサービスを実行する必要があります。それは常にコンテキスト、コンテキスト、コンテキストです。」

これは、テキストのセマンティクスの使用に加えて、最新性や人気度などの他のシグナルを使用することを意味する場合があります。 Gunasekara 氏は、Miso が料理 Web サイトで取り組んでいる別のプロジェクトを挙げ、「パーティー用に焼くのに最適なケーキは何ですか?」という質問を分解するもので、本当に必要なものを区別する必要がある、と彼は言います。ケーキの「作り置き」は、すぐに提供する必要がないことを意味し、「パーティー用」は、数人以上に提供する必要があることを意味します。また、大規模な言語モデルがどのレシピが「最適」であるかをどのように決定するかという問題があります。これは、トラフィックが最も多いレシピ、読者ランキングの上位、編集者の選択を受賞したレシピなど、他のサイトのデータを使用することを意味する場合がありますが、これらはすべて、関連するテキスト ブロックの検索と集計とは別のものです。

「これらのことをうまく行うための多くのコツは、これらの文脈のヒントにあります」と Gunasekara 氏は言いました。

大規模な言語モデルの品質ももう 1 つの重要な要素ですが、Miso は最高評価で最も高価な商用の大規模言語モデルを使用する必要性を認識していません。代わりに、Miso は Llama 2 ベースのモデルを微調整しています。一部のクライアントプロジェクト、これは部分的にはコスト削減のためですが、一部の顧客は自分のデータが第三者に漏洩されることを望まないためでもあり、ミソはグナセカラ氏が言うところの「大きな力となるオープンソースの大きな言語モデル」のためにこれを行っています。今すぐ。" 。

「オープンソースは本当に追いつきつつあります。オープンソース モデルは GPT-4 を超える可能性が非常に高いです。」とシェイ氏は付け加えました。