GenAI가 더 나은 답변을 제공하도록 하기 위한 팁

GenAI는 사용자가 고유한 방식으로 데이터를 쿼리하고 필요에 맞는 답변을 얻을 수 있는 인터페이스로서 엄청난 잠재력을 가지고 있습니다. 예를 들어, 쿼리 도우미로서 GenAI 도구는 고객이 간단한 질문 및 답변 형식을 통해 광범위한 제품 지식 기반을 보다 효율적으로 탐색하는 데 도움을 줄 수 있습니다. 이러한 방식으로 사용자는 필요한 정보를 더 빨리 찾을 수 있어 사용자 경험이 향상되고 시간이 절약됩니다. GenAI의 지능형 검색 기능을 통해 사용자는 보다 직관적으로 데이터와 상호 작용할 수 있어 문제를 더 쉽게 해결하고 필요한 정보를 얻을 수 있습니다. 이러한 편리한 쿼리 방법은 사용자 만족도를 향상시킬 뿐만 아니라 기업에 보다 효율적인 고객 서비스 방법을 제공하고 비즈니스 발전을 촉진합니다.

그러나 GenAI를 사용하여 데이터에 대한 질문에 답하기 전에 먼저 질문을 평가하는 것이 중요합니다.

Miso.ai CEO이자 공동 창립자인 Lucky Gunasekara가 현재 GenAI 도구를 개발하는 팀에게 주는 조언입니다.

Miso.ai의 제품인 Smart Answers가 그 통찰력을 어떻게 보여주는지에 흥미를 느낀 저는 Gunasekara에게 사용자 질문을 이해하고 답변하는 Miso.ai의 접근 방식에 대해 더 깊이 논의해 달라고 요청했습니다.

대형 언어 모델은 "사실 우리가 생각했던 것보다 훨씬 더 순진합니다"라고 Gunasekara는 말했습니다. 예를 들어, 강력한 의견에 대한 질문을 받으면 대규모 언어 모델은 해당 의견 데이터를 확인하는 선별자를 찾을 가능성이 높습니다. 비록 이용 가능한 데이터가 이 견해가 틀렸다는 것을 보여주더라도 말입니다. 그래서 "Things to do를 왜 프로젝트했는가?"라고 묻는다면,

Gunasekara는 RAG(Retrieval Augmentation Generation) 애플리케이션에서 문제를 평가하는 것이 종종 간과되는 중요한 단계라고 지적했습니다. RAG 애플리케이션은 대규모 언어 모델을 특정 데이터 세트로 지정하고 해당 데이터 세트를 기반으로 하는 질문에 답하도록 요청합니다.

이 유형의 애플리케이션은 일반적으로 다음과 같은(약간 단순화된) 설정 패턴을 따릅니다.

• 모든 데이터가 너무 커서 단일 대규모 언어 모델 쿼리에 맞지 않으므로 기존 데이터를 여러 개의 청크로 분할합니다.
• 각 블록에 대해 소위 임베딩을 생성하여 해당 블록의 의미를 숫자 문자열로 표현하고 저장한 다음 데이터가 변경될 때 필요에 따라 업데이트합니다.

그런 다음 모든 질문:

• 임베딩을 생성하세요.
• 임베딩 기반 계산을 사용하여 질문과 의미가 가장 유사한 텍스트 덩어리를 찾습니다.
• 사용자의 질문을 대규모 언어 모델에 입력하고 가장 관련성이 높은 부분만을 기반으로 답변하도록 지시합니다.

구나세카라 팀은 관련 정보를 검색하기 전에 문제를 확인하는 추가 단계를 추가하여 다른 접근 방식을 취했습니다. Miso의 최고 기술 책임자이자 공동 창립자인 Andy Hsieh는 다음과 같이 설명합니다. "직접 질문하는 대신 우리의 접근 방식은 먼저 가정이 올바른지 확인하는 것입니다."

질문에 내재된 가정을 확인하는 것 외에도 결과를 개선하는 데 도움이 되도록 기본 RAG 파이프라인을 강화하는 다른 방법이 있습니다. Gunasekara는 특히 실험 단계에서 생산에 적합한 솔루션으로 이동할 때 기본 사항을 뛰어넘을 것을 권장합니다.

Gunasekara는 다음과 같이 말했습니다. "'벡터 데이터베이스를 구축하고 RAG 설정을 수행하면 모든 것이 즉시 작동할 것'에 중점을 두고 있습니다. 이는 개념 증명을 수행하는 좋은 방법이지만 필요한 경우 의도하지 않은 결과를 초래하는 엔터프라이즈급 서비스는 항상 컨텍스트, 컨텍스트, 컨텍스트입니다.”

이는 텍스트의 의미를 사용하는 것 외에도 최신성, 인기도 등 다른 신호를 사용하는 것을 의미할 수 있습니다. Gunasekara는 Miso가 "파티에서 굽기에 가장 좋은 케이크는 무엇입니까?"라는 질문을 해체하는 요리 웹사이트에서 진행 중인 또 다른 프로젝트를 지적합니다.

그는 Inquire를 진행하려면 실제로 어떤 신호가 필요한지 구별해야 한다고 말합니다. 케이크의 "Make-Advance"는 즉시 제공될 필요가 없다는 것을 의미하고, "파티용"은 여러 사람에게 제공되어야 함을 의미하며, 대규모 언어 모델이 어떤 요리법이 "최고"인지 결정하는 방법에 대한 문제가 있습니다. 최고'라는 말은 트래픽이 가장 많은 레시피, 상위 독자 순위, 편집자 선택 등 다른 사이트 데이터를 사용하는 것을 의미할 수 있습니다. 이 모든 것은 관련 텍스트 블록을 찾고 집계하는 것과 별개입니다.

"이러한 일을 잘 수행하는 많은 비결은 이러한 맥락 단서에 더 많이 있습니다"라고 Gunasekara는 말했습니다.

대형 언어 모델의 품질도 또 다른 중요한 요소이지만 Miso는 가장 높은 평가를 받고 가장 비싼 상업용 대형 언어 모델을 사용할 필요가 없다고 생각합니다. 대신 Miso는 일부 고객을 위해 Llama 2 기반 모델을 미세 조정하고 있습니다. 이는 어느 정도 비용을 절감하기 위한 것이지만 일부 고객은 자신의 데이터가 제3자에게 유출되는 것을 원하지 않기 때문입니다. Miso는 다음과 같이 말했습니다. "오픈 소스 빅 언어 모델이 이제 엄청난 힘."

"오픈소스가 실제로 따라잡고 있습니다."라고 Hsieh는 덧붙였습니다. "오픈소스 모델이 GPT-4를 능가할 가능성이 매우 높습니다."