단어 분할 알고리즘 PHP 단항 단어 분할 알고리즘

코드 복사 코드는 다음과 같습니다.

/**
* 단일 단어 분할 알고리즘
* UTF8은 첫 번째 문자의 ASCII 코드가 192보다 크지 않으면 1바이트만 차지합니다.
* 첫 번째 문자의 ASCII 코드는 다음과 같습니다. 문자가 192보다 크고 224보다 작으면 2바이트를 차지합니다. 그렇지 않으면 3바이트를 차지합니다.
* 단항 단어 분할은 mysql의 my.ini 파일에 ft_min_word_len=1을 추가해야 합니다
* mysql 쿼리문을 사용하여 '%ft%'와 같은 변수를 표시하여 mysql 전체 텍스트 검색 관련 설정을 확인하세요
*
* @access global
* @param string $str
* @param boolean $ Unique 중복 값 제거 여부
* @param boolean $merge 추가 값 병합 여부
* @ return array
*/
function seg_word($str,$ 고유=false,$merge=true)
{
$str = Trim(strip_tags($str))
$strlen = strlen($str)
if($strlen == 0 ) return array ();
$spc = ' ';
//필요에 따라 필터링할 문자 추가
$search = array(',', '/', '\', '.' , ';', ':', ''', '!', '~','"', '`', '^', '(', ')', '?', '-', " t", "n", ''', '<', '>', "r", "rn", '$', '&', '%', '#', '@', ' ', ' =', '{', '}', '[', ']', ')', '(', '.', '.', ',', '!', ';', '"' , '"', ''', ''', '[', ']', ',', '—', '　', '《', '》', '-', '…' , '【 ', '】',':')
$numpairs = array('1'=>'1','2'=>'2','3'=>'3 ',' 4'=>'4','5'=>'다섯','6'=>'여섯','7'=>'일곱','8'=>'여덟 ',' 9'=>'9','0'=>'0');
$str = alab_num($str)
$str = str_replace($search,' ',$ str);
$ord = $i = $k = 0;
$prechar = 0; // 0-공백 1-영어 및 기호 2-중국어
$result(); >$annex = array();
while($ord = ord($str[$i]))
{
//1바이트 문자
if ($ord <= 0xC0 )
{
//빈 문자열 제거
if($ord < 33) {
$prechar=0
$i
$k
continue; 🎜 >}
//추가 중국어 대문자 숫자 변환
if(isset($numpairs[$str[$i]])) {
$annex[]=$numpairs[$str[$i] ] ;
}
//앞의 문자가 중국어인 경우
if( $prechar == 2 ){
$result[ $k] = $str[$i]
}
else {
$result[$k] .= $str[$i];
$prechar = 1
$i ; /2- 3바이트 문자(중국어)
{
if($ord < 0xE0)
$step = 2
else
$step = 3; = substr( $str,$i,$step);
if(false !== $key = array_search($c,$numpairs)){
$annex[] = $key;
if ($prechar != 0) {
$result[ $k] = $c
}
else {
$result[$k] .= $c; >}
$prechar = 2;
$i =$step;
}
}
$result = $merge ? array_merge($result,$annex) : $result ; > $ 고유 반환 ? array_unique($result) : $result
}



위 내용은 단어 분할 알고리즘의 내용을 포함하여 PHP 단항 단어 분할 알고리즘을 소개한 내용으로, PHP 튜토리얼에 관심이 있는 친구들에게 도움이 되기를 바랍니다.