Conseils pour laisser GenAI fournir de meilleures réponses

GenAI a un énorme potentiel en tant qu'interface qui permet aux utilisateurs d'interroger des données de manière unique et d'obtenir des réponses qui répondent à leurs besoins. Par exemple, en tant qu'assistant de requête, l'outil GenAI peut aider les clients à naviguer plus efficacement dans une vaste base de connaissances sur les produits grâce à un format simple de questions et réponses. De cette manière, les utilisateurs peuvent trouver plus rapidement les informations dont ils ont besoin, améliorant ainsi l’expérience utilisateur et gagnant du temps. La fonction de recherche intelligente de GenAI permet aux utilisateurs d'interagir avec les données de manière plus intuitive, ce qui facilite la résolution des problèmes et l'obtention des informations dont ils ont besoin. Cette méthode de requête pratique améliore non seulement la satisfaction des utilisateurs, mais offre également aux entreprises une méthode de service client plus efficace et favorise le développement commercial.

Mais avant d'utiliser GenAI pour répondre à des questions sur vos données, il est important d'abord d'évaluer la question posée.

C'est le conseil du PDG et co-fondateur de Miso.ai, Lucky Gunasekara, aux équipes qui développent aujourd'hui des outils GenAI.

Intrigué par la façon dont le produit de Miso.ai, Smart Answers, démontre ses idées, j'ai demandé à Gunasekara de discuter plus en profondeur de l'approche de Miso.ai pour comprendre et répondre aux questions des utilisateurs.

Les grands modèles de langage sont « en fait beaucoup plus naïfs que nous le pensions », a déclaré Gunasekara. Par exemple, si on lui pose une question sur une opinion forte, le grand modèle de langage recherchera probablement des sélectionneurs qui confirment cette opinion. même si les données disponibles montrent que cette vision est erronée. Donc, si on lui demande « Pourquoi le projet a-t-il eu des choses à faire ?

Gunasekara a souligné que dans les applications RAG (Retrieval Augmentation Generation), l'évaluation du problème est une étape critique qui est souvent négligée. Une application RAG dirige un grand modèle de langage vers un ensemble de données spécifique et lui demande de répondre à une question basée sur cet ensemble de données.

Ce type d'application suit généralement le modèle de configuration suivant (légèrement simplifié) :

• Divisez les données existantes en morceaux, car toutes les données sont trop volumineuses pour tenir dans une seule grande requête de modèle de langage.
• Générez ce que l'on appelle des intégrations pour chaque bloc, représentant la sémantique de ce bloc sous la forme d'une chaîne de nombres, et stockez-les, en les mettant à jour si nécessaire lorsque les données changent.

Ensuite, chaque question :

• Générer des intégrations.
• Utilisez des calculs basés sur l'intégration pour trouver le morceau de texte dont la signification est la plus similaire à la question.
• Introduisez la question de l'utilisateur dans un grand modèle de langage et dites-lui de répondre uniquement en fonction des éléments les plus pertinents.

L'équipe Gunasekara a adopté une approche différente en ajoutant une étape supplémentaire de vérification du problème avant de rechercher des informations pertinentes. Andy Hsieh, directeur de la technologie et co-fondateur de Miso, explique : « Au lieu de poser la question directement, notre approche consiste d'abord à vérifier si l'hypothèse est correcte

En plus de vérifier les hypothèses inhérentes à la question, là. » Il existe d’autres moyens de renforcer le pipeline RAG de base pour contribuer à améliorer les résultats. Gunasekara recommande d'aller au-delà des bases, notamment lorsqu'on passe de la phase expérimentale à des solutions dignes de production.

Gunasekara a déclaré : "L'accent est mis sur "créer une base de données vectorielles, effectuer une configuration RAG et tout fonctionnera immédiatement", ce qui est un excellent moyen de faire une preuve de concept, mais si vous devez le faire a Des services de niveau entreprise avec des conséquences inattendues, c'est toujours du contexte, du contexte, du contexte.

Cela peut impliquer d'utiliser d'autres signaux tels que la récence et la popularité en plus d'utiliser la sémantique du texte. Gunasekara souligne un autre projet sur lequel Miso travaille avec un site Web de cuisine qui déconstruit la question : « Quel est le meilleur gâteau à préparer lors d'une fête ? »

Il dit que vous devez distinguer les signaux dont vous avez réellement besoin pour procéder. « Préparer à l'avance » le gâteau signifie qu'il n'a pas besoin d'être servi tout de suite, « pour une fête » signifie qu'il doit servir à plus de quelques personnes, et se pose la question de savoir comment les grands modèles de langage déterminent quelles recettes sont « les meilleures ». best », ce qui peut impliquer d'utiliser d'autres données du site, telles que les recettes qui génèrent le plus de trafic, les meilleurs classements des lecteurs ou celles qui ont reçu le choix des éditeurs, toutes distinctes de la recherche et de l'agrégation de blocs de texte pertinents.

"Beaucoup d'astuces pour bien faire ces choses résident davantage dans ces indices contextuels", a déclaré Gunasekara.

Bien que la qualité du grand modèle de langage soit un autre facteur important, Miso ne pense pas qu'il soit nécessaire d'utiliser le grand modèle de langage commercial le mieux noté et le plus cher. Au lieu de cela, Miso peaufine les modèles basés sur Llama 2 pour certains clients. projets, ce qui dans une certaine mesure vise à réduire les coûts, mais aussi parce que certains clients ne souhaitent pas que leurs données soient divulguées à des tiers. Miso le fait à cause de ce que Gunasekara a déclaré : « Les grands modèles de langage open source émergent désormais comme un outil. une force énorme. »

« L'open source est vraiment en train de rattraper son retard », a ajouté Hsieh. « Le modèle open source est très susceptible de dépasser GPT-4. »