Tipps, damit GenAI bessere Antworten liefert

GenAI hat großes Potenzial als Schnittstelle, die es Benutzern ermöglicht, Daten auf einzigartige Weise abzufragen und Antworten zu erhalten, die ihren Anforderungen entsprechen. Als Abfrageassistent kann das GenAI-Tool Kunden beispielsweise dabei helfen, durch ein einfaches Frage-und-Antwort-Format effizienter durch eine umfangreiche Produktwissensdatenbank zu navigieren. Auf diese Weise können Benutzer die benötigten Informationen schneller finden, was die Benutzererfahrung verbessert und Zeit spart. Die intelligente Suchfunktion von GenAI ermöglicht Benutzern eine intuitivere Interaktion mit Daten, wodurch es einfacher wird, Probleme zu lösen und die benötigten Informationen zu erhalten. Diese praktische Abfragemethode verbessert nicht nur die Benutzerzufriedenheit, sondern bietet Unternehmen auch eine effizientere Kundendienstmethode und fördert die Geschäftsentwicklung.

Aber bevor Sie GenAI zur Beantwortung von Fragen zu Ihren Daten verwenden, ist es wichtig, zunächst die gestellte Frage zu bewerten.

Dies ist der Rat von Miso.ai-CEO und Mitbegründer Lucky Gunasekara an Teams, die heute GenAI-Tools entwickeln.

Ich war fasziniert davon, wie das Produkt von Miso.ai, Smart Answers, seine Erkenntnisse demonstriert, und bat Gunasekara, den Ansatz von Miso.ai zum Verstehen und Beantworten von Benutzerfragen ausführlicher zu besprechen.

Große Sprachmodelle sind „eigentlich viel naiver als wir dachten“, sagte Gunasekara, wenn man ihm beispielsweise eine Frage zu einer starken Meinung stellt, wird das große Sprachmodell wahrscheinlich nach Rosinenpickern suchen, die diese Meinung bestätigen. auch wenn die verfügbaren Daten zeigen, dass diese Ansicht falsch ist. Wenn Sie also gefragt werden: „Warum haben wir Dinge zu tun projiziert?“

Gunasekara wies darauf hin, dass bei RAG-Anwendungen (Retrieval Augmentation Generation) die Bewertung des Problems ein entscheidender Schritt ist, der oft übersehen wird. Eine RAG-Anwendung leitet ein großes Sprachmodell an einen bestimmten Datensatz und fordert es auf, eine auf diesem Datensatz basierende Frage zu beantworten.

Diese Art von Anwendung folgt normalerweise dem folgenden (leicht vereinfachten) Einrichtungsmuster:

• Teilen Sie vorhandene Daten in Blöcke auf, da alle Daten zu groß sind, um in eine einzige große Sprachmodellabfrage zu passen.
• Generieren Sie für jeden Block sogenannte Einbettungen, die die Semantik dieses Blocks als Zahlenfolge darstellen, speichern Sie sie und aktualisieren Sie sie bei Bedarf, wenn sich die Daten ändern.

Dann jede Frage:

• Einbettungen generieren.
• Verwenden Sie einbettungsbasierte Berechnungen, um den Textabschnitt zu finden, dessen Bedeutung der Frage am ähnlichsten ist.
• Geben Sie die Frage des Benutzers in ein großes Sprachmodell ein und weisen Sie ihn an, nur auf der Grundlage der relevantesten Teile zu antworten.

Das Gunasekara-Team hat einen anderen Ansatz gewählt und einen zusätzlichen Schritt hinzugefügt, bei dem das Problem überprüft wird, bevor nach relevanten Informationen gesucht wird. Andy Hsieh, Chief Technology Officer und Mitbegründer von Miso, erklärt: „Anstatt die Frage direkt zu stellen, besteht unser Ansatz darin, zunächst zu überprüfen, ob die Annahme richtig ist.“

Zusätzlich zur Überprüfung der in der Frage enthaltenen Annahmen sind weitere Möglichkeiten zur Stärkung der grundlegenden RAG-Pipeline, um zur Verbesserung der Ergebnisse beizutragen. Gunasekara empfiehlt, über die Grundlagen hinauszugehen, insbesondere beim Übergang von der experimentellen Phase zu produktionstauglichen Lösungen.

Gunasekara sagte: „Es wird viel Wert darauf gelegt, eine Vektordatenbank zu erstellen, ein RAG-Setup durchzuführen und alles wird sofort funktionieren“, was eine großartige Möglichkeit ist, einen Proof of Concept zu erstellen, aber wenn es nötig ist ein Dienst der Enterprise-Klasse mit unbeabsichtigten Folgen, das ist immer Kontext, Kontext, Kontext.“

Dies kann bedeuten, dass neben der Semantik des Textes auch andere Signale wie Aktualität und Beliebtheit verwendet werden. Gunasekara weist auf ein weiteres Projekt hin, an dem Miso mit einer Koch-Website arbeitet, die die Frage dekonstruiert: „Welchen Kuchen backt man am besten auf einer Party?“

Er sagt, man müsse unterscheiden, welche Signale man tatsächlich braucht, um fortzufahren. „Make-Advance“ für den Kuchen bedeutet, dass er nicht sofort serviert werden muss, „für eine Party“ bedeutet, dass mehr als ein paar Leute bedient werden müssen, und es stellt sich die Frage, wie große Sprachmodelle bestimmen, welche Rezepte „die“ sind am besten“, was bedeuten könnte, andere Website-Daten zu verwenden, z. B. welche Rezepte den meisten Traffic haben, Top-Leser-Rankings haben oder mit „Editors' Choices“ ausgezeichnet wurden – alles unabhängig von der Suche und Aggregation relevanter Textblöcke.

„Viele Tricks, um diese Dinge gut zu machen, liegen eher in diesen Kontexthinweisen“, sagte Gunasekara.

Während die Qualität des großen Sprachmodells ein weiterer wichtiger Faktor ist, glaubt Miso nicht, dass es notwendig ist, das am höchsten bewertete und teuerste kommerzielle große Sprachmodell zu verwenden. Stattdessen optimiert Miso die auf Llama 2 basierenden Modelle für einige Kunden Projekte, die in gewissem Maße dazu dienen, die Kosten zu senken, aber auch, weil einige Kunden nicht möchten, dass ihre Daten an Dritte weitergegeben werden, tut Miso dies aufgrund dessen, was Gunasekara sagte: „Open-Source-Modelle für große Sprachen entstehen jetzt als.“ riesige Kraft.“

„Open Source holt wirklich auf“, fügte Hsieh hinzu. „Das Open-Source-Modell wird GPT-4 höchstwahrscheinlich übertreffen.“