게스트 | 주최: Dou Zhicheng
| Zhang Feng
기획 | Xu Jiecheng
검색 엔진은 20년 넘게 존재해 왔지만 그 형태와 구조는 크게 변하지 않았습니다. 지속적인 인터넷 기술의 발전으로 인해 앞으로의 검색 환경은 더욱 복잡하고 다양해질 것이며, 사용자가 정보를 얻는 방식 역시 많은 변화를 겪게 될 것입니다. ; 답변, 고급 지식, 분석 결과 및 생성된 콘텐츠와 같은 다중 모달 콘텐츠 출력이 간단한 결과 목록을 대체합니다. 상호 작용 방법은 단일 검색 라운드에서 여러 라운드의 자연어 상호 작용으로 전환될 수도 있습니다.
그렇다면 새로운 검색 환경에서 미래 지능형 검색 기술은 어떤 특징을 보여줄까요? 최근 51CTO가 주최한 AISummit 글로벌 인공 지능 기술 컨퍼런스에서 중국 런민 대학교 Hillhouse 인공 지능 학교 부학장 Dou Zhicheng이 기조 연설을 했습니다. 지능형 검색 기술'에서는 차세대 지능형 검색 기술의 개발 동향과 핵심 기능을 청중과 공유하고, 대화형, 다중 모드, 해석 가능한 검색, 대형 모델 중심의 탈중앙화 등의 기술에 대해 자세히 분석했습니다. 색인 검색. 이 기사는 여러분에게 새로운 영감을 주기 위해 Dou Zhicheng의 연설 내용을 편집하고 정리했습니다.
미래 검색에는 최소한 다음 5가지 특징이 있을 수 있다고 믿습니다.
요즘 검색 엔진에서 일반적으로 사용되는 모드는 상자에 한두 단어를 입력하여 검색하는 것입니다. 검색의 미래에는 우리가 대화 방식으로 검색 엔진과 상호 작용하는 것이 포함될 수 있습니다.
기존 검색 엔진에서 사용하는 키워드 검색 방법에서는 우리가 찾고 있는 모든 핵심 정보를 키워드를 통해 설명하고자 합니다. 즉, 단일 쿼리로 이 정보에 대한 필요성을 완전하고 정확하게 표현할 수 있다고 가정합니다. 하지만 좀 더 복잡한 정보를 표현하는 경우 키워드는 실제로 그 요구를 충족시키기 어렵습니다. 대화 검색은 여러 차례의 상호 작용을 통해 정보 요구 사항을 완전히 표현할 수 있으며, 이는 사람들이 의사 소통할 때 진보적인 정보 상호 작용 방법에 더 부합합니다.
이런 종류의 대화형 검색을 달성하려면 시스템이나 알고리즘에 큰 어려움을 겪게 될 것입니다. 검색 엔진은 여러 차례의 자연어 상호 작용을 통해 사용자의 의도를 정확하게 이해해야 합니다. 동시에 사용자의 의도도 이해해야 하며, 사용자가 원하는 정보와 의도를 일치시켜야 합니다.
기존 키워드 검색에 비해 대화형 검색은 사용자의 실제 검색 의도를 복원하기 위해 더 복잡한 쿼리 이해(예: 현재 쿼리의 누락 및 상호 참조 등의 문제를 해결해야 함)가 필요합니다. 가장 간단한 방법은 모든 기록 쿼리를 함께 연결하고 사전 훈련된 언어 모델을 사용하여 인코딩하는 것입니다.
단순 접합 대화 방법은 간단하지만 모든 기록 쿼리가 현재 쿼리를 이해하는 데 도움이 되는 것은 아니므로 이에 의존하는 컨텍스트만 선택하므로 길이 문제도 해결할 수 있습니다. .
위 아이디어를 바탕으로 주로 다음 세 부분으로 구성된 대화형 밀집 검색 모델 COTED를 제안했습니다.
1 대화형 쿼리의 종속성을 식별하여 노이즈를 제거할 수 있습니다. 대화에서 사용자 의도를 더 잘 예측합니다.
2. 대조 학습을 기반으로 한 데이터 향상(다양한 소음 상황 모방) 및 노이즈 제거 손실 기능을 통해 모델은 관련 없는 상황을 무시하는 방법을 효과적으로 학습할 수 있으며 이를 최종 매칭 손실 기능과 결합하여 다중 작업 학습을 수행할 수 있습니다.
3. 코스 학습을 통해 모델 다중 작업 학습의 학습 난이도를 줄이고 궁극적으로 모델 성능을 향상시킵니다.
그러나 실제로 대화형 검색 모델 학습에 충분한 데이터는 매우 제한적입니다. 제한된 소수의 샘플의 경우 대화형 검색 모델 학습이 매우 어렵습니다.
이 문제를 해결하는 방법은 무엇입니까? 시작점은 대화형 검색 엔진 교육을 위해 검색 엔진 로그를 마이그레이션할 수 있는지 여부입니다. 이러한 아이디어를 바탕으로 대규모 웹 검색 로그를 대화형 검색 로그로 변환하고, 변환된 데이터를 바탕으로 대화형 검색 모델을 학습시킵니다. 하지만 이 방법에는 두 가지 명백한 문제도 수반됩니다.
첫 번째, 기존의 웹 검색은 키워드 검색을 사용하며, 대화형 검색은 쿼리 형식이 다르므로 직접 마이그레이션을 사용할 수 없습니다. 둘째, 쿼리 자체에 노이즈가 많아 검색 로그에 있는 사용자 데이터를 정리, 필터링, 변환해야 대화형 검색에 사용할 수 있습니다.
이러한 문제를 해결하기 위해 대화 검색 훈련 모델 ConvTrans를 만들고 다음과 같은 기능을 구현했습니다.
첫째, 기존 웹 검색 엔진의 로그는 그래프 형태로 구성되는데, 쿼리와 쿼리, 쿼리와 문서 간의 연결을 설정하여 그래프를 구성합니다. 그래프를 기반으로 T5 기반의 2단계 질의 재작성 모델을 사용하여 키워드 질의를 질문 형태로 재작성하였다. 다시 작성한 후 그래프의 각 쿼리는 자연어를 사용하여 새 쿼리를 표현한 다음 그래프에서 무작위 이동을 수행하여 대화 세션을 생성하는 샘플링 알고리즘을 설계한 다음 이 데이터를 기반으로 대화 모델을 교육합니다.
실험에 따르면 자동 생성된 훈련 데이터로 훈련된 대화형 검색 모델은 값비싼 인공 또는 수동으로 레이블이 지정된 데이터를 사용하는 것과 동일한 효과를 얻을 수 있으며, 자동 생성된 훈련 데이터의 규모가 커짐에 따라 성능이 지속적으로 향상될 것입니다. 이 접근 방식을 사용하면 대규모 검색 로그를 기반으로 대화형 검색 모델을 학습할 수 있습니다.
대화형 검색 모델이 검색에서 큰 진전을 이루었음에도 불구하고 이 대화형 방법은 여전히 수동적으로 사용자 입력을 수용하고 검색 엔진에 따라 결과를 반환했습니다. 사용자에게 무엇을 찾고 있는지 물어보세요. 그러나 사람들 사이의 의사소통 과정에서 질문을 받으면 때로는 명확하게 설명하기 위해 솔선하여 몇 가지 질문을 하게 될 것입니다.
예를 들어 Bing 검색에서 쿼리가 "두통"이면 두통이 됩니다. 증상, 치료, 진단, 원인 또는 유발 요인 등 "이 질병에 대해 무엇을 알고 싶습니까?", "이 질병에 대해 무엇을 알고 싶습니까?"라고 질문합니다. Headaches 자체는 매우 광범위한 쿼리이기 때문에 이 경우 시스템은 사용자가 찾고자 하는 정보를 더욱 명확하게 해주기를 바랍니다.
여기에는 두 가지 문제가 있습니다. 첫 번째는 사용자가 특정 항목을 명확히 하기를 원하는 후보 항목입니다. 두 번째는 질문을 명확히 하는 것입니다. 검색 엔진이 주도적으로 사용자에게 이 질문을 합니다. 핵심 단어는 문제를 명확하게 하는 데 가장 중요한 부분입니다.
이러한 탐색 측면에서 첫 번째는 쿼리 로그와 지식 베이스를 통해 쿼리가 제공될 때 몇 가지 설명 후보를 생성하는 것입니다. 둘째, 이 명확화 질문의 일부 핵심 단어는 규칙을 기반으로 한 검색 결과에서 예측할 수 있습니다. 동시에 일부 데이터에도 레이블이 지정되고 감독 모델을 사용하여 텍스트 레이블을 분류합니다. 셋째, 주석이 달린 데이터를 기반으로 엔드투엔드 생성 모델을 추가로 훈련합니다.
개인화는 향후 검색이 사용자 중심이 된다는 것을 의미합니다. 오늘날의 검색 엔진은 누가 검색하든 동일한 결과를 반환합니다. 이는 사용자의 특정 정보 요구 사항을 충족하지 않습니다.
현재의 개인화 검색 모델은 사용자가 익숙한 지식과 정보를 사용자 이력을 통해 먼저 학습하고, 쿼리에 대해 개인화 엔터티 명확성을 수행하는 모델을 채택하고 있습니다. 둘째, 명확한 쿼리 엔터티를 통해 개인화된 매칭이 향상됩니다.
또한, 제품 카테고리를 기반으로 사용자의 다관심 모델 구성을 탐색했습니다. 사용자는 모든 카테고리에서 일부 브랜드(사양, 모델)에 대해 자신만의 선호도를 가질 수 있다고 가정하지만 이러한 선호도는 그럴 수 없습니다. 단순히 하나 또는 두 개의 벡터가 왔다 갔다 하는 것으로 결정됩니다. 사용자의 쇼핑 이력을 기반으로 지식 그래프를 구축하고, 지식 그래프를 통해 카테고리별 다양한 관심분야를 학습하여 궁극적으로 보다 정확한 개인화 검색 결과를 푸시할 수 있어야 합니다.
사용자의 과거 대화를 통해 사용자의 개인화된 관심사와 언어 패턴을 학습하고, 개인화된 대화 모델을 훈련하고, 사용자의 음성을 모방(에이전트)하는 것이 핵심 아이디어입니다. .
요즘 검색 엔진은 다중 모드 정보를 처리할 때 실제로 몇 가지 제한 사항을 가지고 있습니다. 미래에는 사용자가 얻는 정보가 일부 텍스트와 웹페이지일 뿐만 아니라 사진, 비디오 및 보다 복잡한 구조적 정보도 포함할 수 있습니다. 따라서 미래의 검색 엔진은 다중 모드 정보를 획득하기 위해 여전히 해야 할 일이 많습니다.
현재 검색 엔진은 교차 모드 검색을 이해하거나 수행하는 데, 즉 텍스트 설명을 제공하고 해당 사진을 찾는 데 여전히 많은 결함이 있습니다. 유사 검색어가 휴대폰으로 옮겨지면 그 한계는 더욱 커진다.
멀티모달이란 언어, 이미지, 그림, 비디오 및 기타 양식이 통일된 공간에 매핑된다는 의미입니다. 즉, 텍스트를 사용하여 그림을 찾고, 그림을 사용하여 텍스트를 찾고, 그림을 사용하여 찾을 수 있습니다. 사진 등을 찾아보세요.
이에 대응하여 우리는 대규모 다중 모드 사전 학습 모델인 Wenlan을 만들었습니다. 이는 대규모 인터넷 이미지와 주변 텍스트의 약한 감독 상관관계에 의해 제공되는 정보를 기반으로 하는 훈련에 중점을 둡니다. Twin-tower 모드를 사용하여 최종 학습은 그림 인코더와 텍스트 인코더입니다. 이 두 인코더는 엔드투엔드 매칭 최적화 학습 프로세스를 통과하여 최종 표현 벡터가 통합된 공간에 매핑될 수 있습니다. 그림의 미세한 입자와 텍스트의 미세한 입자가 함께 이어집니다.
이런 종류의 크로스 모달 검색 기능은 웹 검색 엔진을 엔드 투 엔드로 사용할 때 사용자에게 더 많은 공간을 제공할 뿐만 아니라 소셜 미디어이든 창작 등 다양한 애플리케이션을 지원할 수 있는지 여부 문화적이거나 창의적이라면 이를 지원하는 데 사용할 수 있습니다.
현재 검색 엔진의 주체는 여전히 웹 페이지입니다. 미래에는 검색 엔진 처리 단위가 웹 페이지뿐만 아니라 반환되는 결과도 포함하여 지식을 기반으로 해야 합니다. 페이지별 목록이 아닌 높은 수준의 지식입니다. 많은 경우 사용자는 실제로 검색 엔진을 사용하여 복잡한 정보 요구 사항을 충족하기를 원하므로 사람들이 결과를 하나씩 분석하도록 하기보다는 검색 엔진이 결과를 분석하는 데 도움이 되기를 바랍니다.
이 아이디어를 바탕으로 우리는 사용자가 효율적이고 빠르게 높은 수준의 지식을 얻을 수 있도록 검색 엔진 기반의 심층적인 텍스트 분석을 제공하는 것과 동일한 분석 엔진을 구축했습니다. 사용자가 대규모 문서를 읽고 이해하도록 돕고, 그 안에 포함된 주요 정보와 지식을 추출, 마이닝, 요약합니다. 마지막으로, 대화형 분석 프로세스를 통해 사용자는 마이닝된 높은 수준의 지식을 검색하고 분석하여 사용자에게 제공할 수 있습니다. 의사 결정 지원.
예를 들어 사용자가 안개와 관련된 정보를 찾고 싶다면 "연무"를 직접 입력하면 됩니다. 풍부한 지식 모델은 기존 검색 엔진에서 반환된 결과와 다릅니다. 타임라인에서 스모그에 대한 정보의 분포 등을 사용자에게 알려주는 타임라인을 반환할 수 있습니다. 또한 스모그에 대한 하위 주제와 기관이 가지고 있는 내용을 요약합니다. . 어떤 것, 어떤 캐릭터가 있는지. 물론, 검색 엔진처럼 상세한 결과 목록을 제공할 수도 있습니다.
분석과 대화형 분석을 직접 제공하는 기능은 사용자가 복잡한 정보를 얻는 데 더 도움이 될 수 있습니다. 사용자에게 제공되는 것은 더 이상 단순한 검색결과 목록이 아닙니다. 물론 이런 종류의 대화형 다차원 지식 분석은 단지 표시 방법일 뿐이며 미래에는 더 많은 방법이 사용될 수 있습니다. 예를 들어 현재 우리가 하고 있는 일 중 하나는 검색에서 (합리적인) 콘텐츠를 생성하는 것입니다.
요즘 검색 엔진은 인덱싱을 핵심으로 하는 단계적 접근 방식을 널리 채택하고 있으며, 수많은 인터넷 웹 페이지에서 필요한 콘텐츠를 다시 크롤링한 다음 역 인덱스 또는 조밀한 벡터 인덱스인 인덱스를 구축합니다. . 사용자의 Query가 들어오면 먼저 Recall을 수행한 후 Recall 결과를 바탕으로 세분화된 정렬을 수행합니다.
이 모델은 여러 단계로 나누어야 하기 때문에 단점이 많습니다. 예를 들어 한 단계에서 문제가 발생하면 아무리 좋아도 리콜 단계에서는 원하는 결과를 찾을 수 없습니다. 정렬 단계에서는 좋은 결과를 반환할 수 없습니다.
향후 검색 엔진에서는 이 구조가 깨질 수 있습니다. 새로운 아이디어는 현재 인덱스 스키마를 대체하기 위해 대규모 모델을 사용하는 것이며, 모든 쿼리는 모델을 통해 충족될 수 있습니다. 이는 인덱스를 사용할 필요가 없으며 이 모델을 통해 원하는 결과를 직접 피드백합니다.
이를 바탕으로 결과 목록을 직접 제공할 수도 있고, 사용자가 요구하는 답변을 직접 제공할 수도 있으며, 답변은 다양한 양식을 보다 잘 통합하기 위한 이미지일 수도 있습니다. 인덱스를 제거하고 모델을 통해 결과를 직접 피드백한다는 것은 모델이 문서 식별자를 직접 반환하거나 모델 중심 검색을 구축하기 위해 문서 식별자를 모델에 포함해야 함을 의미합니다.
요즘 검색 엔진에서는 키워드라는 단순 모델을 입력으로, 문서 목록을 출력으로 널리 사용합니다. 사람들의 복잡한 정보 획득 요구를 충족하는 데에는 이미 몇 가지 문제가 있습니다. 미래의 검색엔진은 대화형, 개인화형, 사용자 중심형으로 고정관념을 깨뜨릴 것입니다. 동시에 다중 모드 정보를 처리하고 지식을 처리하며 지식을 반환할 수 있습니다. 아키텍처 측면에서는 앞으로는 역인덱스나 밀집벡터 인덱스를 사용하는 기존 인덱스 중심 모델을 확실히 탈피하고, 점진적으로 모델 중심 모델로 전환해 나갈 것입니다.
Dou Zhicheng, 중국 런민 대학교 Hillhouse 인공 지능 학교 부학장, 베이징 Zhiyuan 인공 지능의 "지능형 정보 검색 및 마이닝" 프로젝트 관리자 연구소. 2008년에는 Microsoft Research Asia에 입사하여 인터넷 검색 관련 업무에 참여하면서 정보 검색 기술 연구 및 개발 분야에서 풍부한 경험을 쌓았습니다. 그는 2014년부터 중국 인민대학교에서 강의를 시작했습니다. 그의 주요 연구 방향은 지능형 정보 검색과 자연어 처리입니다. 그는 정보 검색에 관한 국제 컨퍼런스(SIGIR 2013)에서 최우수 논문 후보상, 정보 검색에 관한 아시아 컨퍼런스(AIRS 2012)에서 최우수 논문상, 정보 검색에 관한 전국 학술회의에서 최우수 논문상을 수상했습니다. CCIR 2018, CCIR 2021). 그는 SIGIR 2019(단문) 프로그램 위원회 위원장, 정보 검색 평가 회의 NTCIR-16 프로그램 위원회 위원장, 중국 컴퓨터 연맹 빅 데이터 전문 위원회 사무차장을 맡고 있습니다. . 지난 2년간 개인화되고 다양한 검색 순위, 대화형 및 대화형 검색 모델, 정보 검색을 위한 사전 학습 방법, 검색 및 추천 모델의 해석성, 개인화 상품 검색 등에 중점을 두었습니다.
위 내용은 앞으로는 어떻게 정보 검색을 하게 될까요?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
