Python과 Xapian을 사용하여 고속 검색 엔진 구축

먼저 몇 가지 개념을 이해하세요. 문서, 용어, 게시 정보 검색(IR)에서 얻으려는 항목을 "문서"라고 하며, 각 문서는 일련의 용어로 설명됩니다. "문서"와 "용어"라는 두 단어는 IR 용어로 "라이브러리 관리"에서 유래되었습니다. 일반적으로 문서는 기계가 읽을 수 있는 형식의 텍스트로 간주되며, 용어는 일반적으로 문서에서 문서를 설명하는 데 사용되는 단어나 문구입니다. 문서가 구강_위생_과 관련된 경우 "치아", "치아", "칫솔", "부패", "충치", "플라크" 또는 "다이어트" 등의 용어가 존재할 수 있습니다.

IR 시스템에 D라는 문서가 있고 이 문서를 t라는 용어로 설명하면 t는 인덱스 D로 간주되며 이는 다음 공식으로 표현됩니다. t- > 디. 실제 응용에서 IR 시스템은 일반적으로 D1, D2, D3...와 같은 여러 문서의 모음과 t1, t2, t3...과 같은 여러 용어의 모음이므로 다음과 같습니다. 관계: ti -> Dj.

특정 용어가 특정 문서를 색인화하는 경우를 게시라고 합니다. 직설적으로 말하면 게시는 관련성 검색에 특정 용도로 사용될 수 있는 위치 정보가 포함된 용어입니다.

D라는 문서가 주어지면 이를 색인화하는 용어 목록이 있는데, 이를 D의 용어 목록이라고 합니다.

t라는 용어가 주어지면 t의 게시 목록이라고 하는 문서 목록을 색인화합니다("문서 목록"을 사용하는 것이 이름 지정에 있어 더 일관적일 수 있지만 너무 모호하게 들립니다).

컴퓨터에 존재하는 IR 시스템에서는 용어가 색인 파일에 저장됩니다. 용어를 사용하면 게시 목록을 효과적으로 검색할 수 있습니다. 게시 목록에서 각 문서에는 문서 ID라는 짧은 식별자가 있습니다. 간단히 말해서 게시 목록은 문서 ID 모음으로 생각할 수 있는 반면 용어 목록은 문자열 모음으로 생각할 수 있습니다. 일부 IR 시스템에서는 내부적으로 용어를 나타내기 위해 숫자를 사용하므로 Xapian에서는 용어 목록이 숫자의 모음이 아닙니다. 공간을 압축하기 위해 접두사를 사용합니다.

용어는 반드시 문서에 나오는 단어일 필요는 없으며, 대개 소문자로 변환되고 형태소 분석 알고리즘에 의해 처리되는 경우가 많기 때문에 " 값을 갖는 용어를 통해 검색할 수 있습니다. 연결" "연결", "연결", "연결" 또는 "연결됨" 등과 같은 일련의 단어로, 하나의 단어가 여러 용어를 생성할 수도 있습니다. 예를 들어 추출된 어간과 추출되지 않은 어간을 모두 색인화합니다. 말. 일어서라. 물론 이는 영어, 프랑스어, 라틴어 등 유럽 및 미국 언어에만 적용될 수 있지만, 중국어 분사는 일반적으로 중국어 분사와 다음과 같은 차이점이 있습니다. 🎜 >

# -*- coding: gb18030 -*-
import xapian
testdatas = [u'abc test python1',u'abcd testing python2']
def buildtest():
    database = xapian.WritableDatabase('indexes/', xapian.DB_CREATE_OR_OPEN)
    stemmer = xapian.Stem("english")
    for data in testdatas:
        doc = xapian.Document()
        doc.set_data(data)
        for term in data.split():
            doc.add_term(term)
        database.add_document(doc)
if __name__ == '__main__':
    buildtest()

-rw-rw-r-- 1 ec2-user ec2-user 0 7월 28일 16:06 flintlock

-rw-rw-r-- 1 ec2-user ec2-user 28 7월 28일 16 :06 iamchert

-rw-rw-r-- 1 ec2-user ec2-user 13 7월 28일 16:06 postlist.baseA

-rw-rw-r-- 1 ec2- 사용자 ec2-user 14 7월 28일 16:06 postlist.baseB

-rw-rw-r-- 1 ec2-user ec2-user 8192 7월 28일 16:06 postlist.DB

- rw-rw-r-- 1 ec2-user ec2-user 13 7월 28일 16:06 Record.baseA

-rw-rw-r-- 1 ec2-user ec2-user 14 7월 28일 16:06 Record.baseB

-rw-rw-r-- 1 ec2-user ec2-user 8192 7월 28일 16:06 Record.DB

-rw- rw-r-- 1 ec2- 사용자 ec2-user 13 7월 28일 16:06 termlist.baseA

-rw-rw-r-- 1 ec2-user ec2-user 14 7월 28일 16:06 termlist.baseB

- rw-rw-r-- 1 ec2-user ec2-user 8192 July 28 16:06 termlist.DB

다음 글에서 인덱스를 쿼리하는 방법을 소개하겠습니다.