MySQL での文字列の類似性の計算
2 つの文字列間の類似性の計算は、自然言語処理とデータ分析における一般的なタスクです。 MySQL は、文字列の類似性を効率的かつ正確に計算できる堅牢な関数 LEVENSHTEIN を提供します。
LEVENSHTEIN は、2 つの文字列間の編集距離を測定します。これは、1 つの文字列を変換するために必要な挿入、削除、または置換の最小数です。もう一方に。レーベンシュタイン距離が低いほど、文字列間の類似性が高いことを示します。
2 つの文字列 @a と @b の間の類似性のパーセンテージを計算するには、次の式を使用できます。
similarity = count(similar words between @a and @b) / (count(@a) + count(@b) - count(intersection))
ここで、交差部分は、@a と @b の両方に出現する単語の数を表します。
この式を MySQL に実装するには、次の式を使用できます。関数:
CREATE FUNCTION `levenshtein`( s1 text, s2 text) RETURNS int(11) DETERMINISTIC BEGIN DECLARE s1_len, s2_len, i, j, c, c_temp, cost INT; DECLARE s1_char CHAR; DECLARE cv0, cv1 text; SET s1_len = CHAR_LENGTH(s1), s2_len = CHAR_LENGTH(s2), cv1 = 0x00, j = 1, i = 1, c = 0; IF s1 = s2 THEN RETURN 0; ELSEIF s1_len = 0 THEN RETURN s2_len; ELSEIF s2_len = 0 THEN RETURN s1_len; ELSE WHILE j <= s2_len DO SET cv1 = CONCAT(cv1, UNHEX(HEX(j))), j = j + 1; END WHILE; WHILE i <= s1_len DO SET s1_char = SUBSTRING(s1, i, 1), c = i, cv0 = UNHEX(HEX(i)), j = 1; WHILE j <= s2_len DO SET c = c + 1; IF s1_char = SUBSTRING(s2, j, 1) THEN SET cost = 0; ELSE SET cost = 1; END IF; SET c_temp = CONV(HEX(SUBSTRING(cv1, j, 1)), 16, 10) + cost; IF c > c_temp THEN SET c = c_temp; END IF; SET c_temp = CONV(HEX(SUBSTRING(cv1, j+1, 1)), 16, 10) + 1; IF c > c_temp THEN SET c = c_temp; END IF; SET cv0 = CONCAT(cv0, UNHEX(HEX(c))), j = j + 1; END WHILE; SET cv1 = cv0, i = i + 1; END WHILE; END IF; RETURN c; END
CREATE FUNCTION `levenshtein_ratio`( s1 text, s2 text ) RETURNS int(11) DETERMINISTIC BEGIN DECLARE s1_len, s2_len, max_len INT; SET s1_len = LENGTH(s1), s2_len = LENGTH(s2); IF s1_len > s2_len THEN SET max_len = s1_len; ELSE SET max_len = s2_len; END IF; RETURN ROUND((1 - LEVENSHTEIN(s1, s2) / max_len) * 100); END
これらの関数を使用すると、@a と @b の間の類似性を次のように計算できます:
SELECT LEVENSHTEIN_RATIO(@a, @b);
これは、類似性のパーセンテージを整数として返します。 0 ~ 100 の値。100 は完全な類似性を示します。
以上がMySQL で文字列の類似性パーセンテージを効率的に計算するにはどうすればよいですか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。