PHP+MYSQL은 전체 텍스트 검색 및 전체 텍스트 검색 도구를 구현합니다.

PHP를 사용하여 전체 텍스트 검색 기능을 구현하는 방법은 무엇입니까?
많은 사람들이 파일 검색 방법, SQL 유사 문 사용 등과 같은 여러 가지 솔루션을 즉시 생각해 낼 수 있지만 이러한 방법은 매우 비효율적입니다.
여기에서는 MYSQL의 FULLTEXT 필드 유형을 사용하는 PHP 전체 텍스트 검색을 구현하는 비교적 효율적인 방법을 소개합니다. 그러나 MYSQL의 FULLTEXT 필드는 중국어를 잘 지원하지 않습니다. 이 기사에서는 PHP+MYSQL을 통해 중국어 전체 텍스트 검색 기능을 구현하는 방법도 소개합니다.
먼저 PHP 중국어 단어 분할 확장 모듈??SCWS를 사용해야 합니다. 이 모듈의 설치 및 사용과 관련하여 www.ftphp.com/scws에 이동하여 관련 내용을 찾을 수 있습니다. 질문이 있으시면 메시지를 보내주세요).
그런 다음 mysql의 전체 텍스트 필드 유형에 대한 관련 정보를 살펴보세요.
MySQL 3.23.23 이후 버전에서는 전체 텍스트 인덱싱 및 검색을 지원하기 시작합니다. MySQL의 전체 텍스트 인덱스는 FULLTEXT 유형 인덱스입니다.
FULLTEXT 인덱스는 MyISAM 테이블에서 사용되며 ALTER TABLE 또는 CREATE INDEX를 사용하여 CREATE TABLE 이후에 CHAR, VARCHAR 또는 TEXT 열에 생성될 수 있습니다. 대규모 데이터베이스의 경우 FULLTEXT 인덱스 없이 테이블에 데이터를 로드한 다음 ALTER TABLE(또는 CREATE INDEX)을 사용하여 인덱스를 생성하는 것이 매우 빠릅니다. 이미 FULLTEXT 인덱스가 있는 테이블에 데이터를 로드하는 것은 매우 느립니다.

MYSQL 전체 텍스트 검색은 MATCH() 함수를 통해 완성됩니다.
다음은 간단한 예입니다.
1. 새 데이터 테이블을 만듭니다.

CREATE TABLE fulltext_sample(copy TEXT,FULLTEXT(copy)) TYPE=MyISAM;

전체 텍스트 검색 필드가 없는 경우 여기의 복사본은 전체 텍스트 유형 필드입니다. 테이블 생성 시 추가됨, 다음과 같이 경고를 통해 추가될 수도 있습니다:

ALTER TABLE fulltext_sample ADD FULLTEXT(copy)

2. 데이터 삽입:

INSERT INTO fulltext_sample VALUES
('It appears good from here'),
('The here and the past'),
('Why are we hear'),
('An all-out alert'),
('All you need is love'),
('A good alert');

3. 데이터 검색:

SELECT * FROM fulltext_sample WHERE MATCH(copy) AGAINST('love');

위는 mysql의 전체 텍스트 검색 기능입니다. 참고: 전체 텍스트 인덱스 검색은 대소문자를 구분하지 않습니다.

중국어 전체 텍스트 검색을 구현하는 방법을 살펴보겠습니다.
전체 텍스트 필드는 단어를 기반으로 하며 단어는 공백으로 구분되어야 합니다. 그러나 중국어 문장에서는 단어가 공백으로 구분되지 않으므로 중국어 단어를 분할해야 합니다. 강한 단어는 중국어 단어 분할 확장 모듈을 사용하세요.
그러나 중국어 단어 분할에도 불구하고 MYSQL은 여전히 ​​MATCH를 통해 중국어의 전체 텍스트 검색을 수행할 수 없습니다. 이를 위해서는 특정 변환 방법이 필요합니다. 비교적 간단하고 실용적인 방법은 다음 함수를 사용하는 것입니다(물론 더 나은 함수도 있습니다.) ), 중국어를 urlencode로 변환합니다.

function q_encode($str)
{
$data = array_filter(explode(" ",$str));
$data = array_flip(array_flip($data));
foreach ($data as $ss) {
  if (strlen($ss)>1 ) 
   $data_code .= str_replace("%","",urlencode($ss)) . " ";
}
$data_code = trim($data_code);
return $data_code;
}

변환된 콘텐츠를 미리 정의된 전문 필드에 저장합니다. 마찬가지로 쿼리할 때도 쿼리 키워드를 같은 방식으로 변환해야 합니다.

PHP+Mysql로 ​​UTF8 전체 텍스트 검색을 구현하는 방법

이 글에서는 대용량 데이터에서 전체 텍스트 검색을 빠르게 수행하는 방법을 설명합니다. MySQL은 필드에 FULLTEXT 인덱스 속성을 설정한 후 SELECT의 MATCH AGAINST 문을 통해 검색하는 전체 텍스트 인덱스 기능을 제공합니다.

우리가 개발한 순수 영어 사이트 TouchUs - The Global Yellow Pages & Business Directory(www.touchus.org)는 MySQL의 이 기능을 사용하여 100,000개 이상의 데이터에 대한 평균 전체 텍스트 검색 시간을 달성합니다. 0.5초 미만. 그러나 TouchUs - City Yellow Pages(www.city39.cn)의 중국 웹사이트를 개발하면서 새로운 문제에 직면하게 되었습니다. 영어 조판에서는 단어가 공백으로 구분되는데, 이는 FULLText가 완전히 지원할 수 있습니다. 그러나 중국어 또는 동아시아 텍스트의 경우 중국어 단어 사이에 명확한 구분이 없기 때문에 MySQL은 전체 문자를 지원할 수 없습니다. 한자로 텍스트 검색.

MySQL이 중국어 전체 텍스트 검색도 지원하도록 하려면 어떻게 해야 합니까? 우연히 아이디어가 떠올랐는데, 즉 중국어 단어 분할 후에 중국어를 영어 문자로 인코딩하여 중국어와 영어 사이의 특정 연결을 설정한 다음 전체 텍스트 검색을 수행하는 것이 가능하다는 것입니다. 한자를 구현하는 것이 가능하지 않나요? 전체 텍스트가 색인되어 있습니까? 테스트 후 대답은 '예'입니다. City Yellow Pages에서 구현되는 구체적인 프로세스는 다음과 같습니다.

1. 별도의 인덱스 테이블을 생성합니다. 예를 들어, member 테이블에 해당하는 member_index 테이블을 생성합니다.

사용자 정보 테이블(members) 사용자 정보 전체 텍스트 인덱스 테이블(members_index)

User_id user_id

user_name member_index 테이블의 index_intro에 전체 텍스트 인덱스를 추가합니다.

2. 사용자 정보 테이블(회원)의 사용자 소개 필드 내용에 대해 중국어 단어 분할 처리를 수행합니다

中文分词的处理过程，可以参考简易中文分词系统http://www.ftphp.com/scws/，在城市黄页网中，我们采用了scws的PHP扩展模块方式来实现中文分词。scws的php扩展模块安装非常简单，只需简单编译配置后即可使用。在具体的php代码中，我们写了如下的函数来实现分词后将分词结果用空格进行连接。

//中文分词函数
function str_fc($str) {
$so = scws_new();
$so->set_charset('utf8');
// 这里没有调用 set_dict 和 set_rule 系统会自动试调用 ini 中指定路径下的词典和规则文件
$so->send_text($str);
while ($tmp = $so->get_result())
{
foreach (  $tmp as $ss ){
$s = trim($ss[word]);
if ( $s )
$mystr .= trim($ss[word]) . " ";
//echo urlencode(trim($ss[word])) . " ";
}
}
return $mystr;
}

该函数返回就是用空格连接的分词结果。

3. 对分词结果进行编码，可以采用多种编码方式，比如base64编码、urlencode编码、汉字转拼音等，对gb2312甚至可以采用区位码编码方式。考虑到存储空间以及便利性，我们采用了PHP的urlencode编码方式。需要注意的是，在编码前，我们可以去掉重复的分词来节约存储空间，编码后要去掉编码结果中的%符号，因为urlencode采用RFC 1738???行编码，会产生很多%，而%在MySQL是通配符。下面是编码过程用到的PHP代码

$data = str_fc($data);  //中文分词
$data = array_filter(explode(" ",$data)); //删除数组空项
$data = array_flip(array_flip($data));  //删除重复项
//对分词结果进行urlcode编码
foreach (  $data as $ss ) {
if (strlen($ss)>1 )
$data_code .= str_replace("%","",urlencode($ss)) . " ";
}

这里的$data_code就是编码后的结果。把编码结果根据user_id存入用户信息全文索

引表(members_index)

4. 在进行搜索处理时，首先对用户输入的关键字进行同样的分词编码处理，然后通过MySQL的SELECT的MATCH  AGAINST语句进行全文快速检索，根据检索结的user_id即可调用用户信息表(members)中的原始数据进行显示，而没有必要进行一次解码重组。

以上MySQL UTF8中文全文检索方法.