Java オープンソース 11 中国語単語セグメンターの使用方法の詳細な説明と単語セグメンテーション効果の比較-＆＃＆チュートリアル-php.cn

Java オープンソース 11 中国語単語セグメンターの使用方法の詳細な説明と単語セグメンテーション効果の比較

黄舟

リリース： 2017-03-22 11:00:47

オリジナル

2151 人が閲覧しました

この記事の目的は 2 つです:

1. 11 の主要な Java オープンソース中国語単語セグメンターの使用方法を学習する

2. 11 つの主要な Java オープンソース中国語単語セグメンターの単語セグメンテーション効果を比較分析する

この記事では次のことを行います。 11 の主要な Java オープンソース中国語単語分割ツールの結果使用方法と単語分割結果をコードと比較し、どちらが優れているかについては、ユーザーが独自のアプリケーションシナリオに基づいて判断する必要があります。

11 Java オープンソースの中国語単語セグメンター。異なる単語セグメンターには異なる使用方法と異なる定義されたインターフェイスがあります。まず、統一インターフェイスを定義しましょう:

/**
 * 获取文本的所有分词结果, 对比不同分词器结果
 * @author 杨尚川
 */
public interface WordSegmenter {
    /**
     * 获取文本的所有分词结果
     * @param text 文本
     * @return 所有的分词结果，去除重复
     */
    default public Set<String> seg(String text) {
        return segMore(text).values().stream().collect(Collectors.toSet());
    }
    /**
     * 获取文本的所有分词结果
     * @param text 文本
     * @return 所有的分词结果，KEY 为分词器模式，VALUE 为分词器结果
     */
    public Map<String, String> segMore(String text);
}

ログイン後にコピー

上記の定義から、メソッド名とパラメーターは次のとおりであることがわかります。異なりますが、戻り値は異なります。この場合、オーバーロードは使用できません。

これら 2 つのメソッドの違いは戻り値です。各単語分割ツールには複数の単語分割モードがあり、各モードの単語分割結果は異なる場合があります。最初のメソッドは単語分割モードを無視し、すべての異なる単語を返します。単語分割結果を繰り返すと、2 番目のメソッドは各単語分割モードとそれに対応する単語分割結果を返します。

ここでは、Java8 の新機能のデフォルトメソッドを使用し、マップの値を一意のコレクションに変換するためにストリームを使用していることに注意してください。以下では、これらの11の主要な単語セグメントターを使用して、このインターフェイスを実装します：

1、Word segmenter

rreee

2、ansj segmenter

rreee

3、Stanford Seggenter

@Override
public Map<String, String> segMore(String text) {
    Map<String, String> map = new HashMap<>();
    for(SegmentationAlgorithm segmentationAlgorithm : SegmentationAlgorithm.values()){
        map.put(segmentationAlgorithm.getDes(), seg(text, segmentationAlgorithm));
    }
    return map;
}
private static String seg(String text, SegmentationAlgorithm segmentationAlgorithm) {
    StringBuilder result = new StringBuilder();
    for(Word word : WordSegmenter.segWithStopWords(text, segmentationAlgorithm)){
        result.append(word.getText()).append(" ");
    }
    return result.toString();
}

ログイン後にコピー

6、Jcseg トークナイザー

@Override
public Map<String, String> segMore(String text) {
    Map<String, String> map = new HashMap<>();

    StringBuilder result = new StringBuilder();
    for(Term term : BaseAnalysis.parse(text)){
        result.append(term.getName()).append(" ");
    }
    map.put("BaseAnalysis", result.toString());

    result.setLength(0);
    for(Term term : ToAnalysis.parse(text)){
        result.append(term.getName()).append(" ");
    }
    map.put("ToAnalysis", result.toString());

    result.setLength(0);
    for(Term term : NlpAnalysis.parse(text)){
        result.append(term.getName()).append(" ");
    }
    map.put("NlpAnalysis", result.toString());

    result.setLength(0);
    for(Term term : IndexAnalysis.parse(text)){
        result.append(term.getName()).append(" ");
    }
    map.put("IndexAnalysis", result.toString());

    return map;
}

ログイン後にコピー

7、MMSeg4j トークナイザー

private static final StanfordCoreNLP CTB = new StanfordCoreNLP("StanfordCoreNLP-chinese-ctb");
private static final StanfordCoreNLP PKU = new StanfordCoreNLP("StanfordCoreNLP-chinese-pku");
private static final PrintStream NULL_PRINT_STREAM = new PrintStream(new NullOutputStream(), false);
public Map<String, String> segMore(String text) {
    Map<String, String> map = new HashMap<>();
    map.put("Stanford Beijing University segmentation", seg(PKU, text));
    map.put("Stanford Chinese Treebank segmentation", seg(CTB, text));
    return map;
}
private static String seg(StanfordCoreNLP stanfordCoreNLP, String text){
    PrintStream err = System.err;
    System.setErr(NULL_PRINT_STREAM);
    Annotation document = new Annotation(text);
    stanfordCoreNLP.annotate(document);
    List<CoreMap> sentences = document.get(CoreAnnotations.SentencesAnnotation.class);
    StringBuilder result = new StringBuilder();
    for(CoreMap sentence: sentences) {
        for (CoreLabel token: sentence.get(CoreAnnotations.TokensAnnotation.class)) {
            String word = token.get(CoreAnnotations.TextAnnotation.class);;
            result.append(word).append(" ");
        }
    }
    System.setErr(err);
    return result.toString();
}

ログイン後にコピー

8、IKAnalyzer トークナイザー

private static CWSTagger tagger = null;
static{
    try{
        tagger = new CWSTagger("lib/fudannlp_seg.m");
        tagger.setEnFilter(true);
    }catch(Exception e){
        e.printStackTrace();
    }
}
@Override
public Map<String, String> segMore(String text) {
    Map<String, String> map = new HashMap<>();
    map.put("FudanNLP", tagger.tag(text));
    return map;
}

ログイン後にコピー

9、Paoding トークナイザー

private static final JiebaSegmenter JIEBA_SEGMENTER = new JiebaSegmenter();
@Override
public Map<String, String> segMore(String text) {
    Map<String, String> map = new HashMap<>();
    map.put("INDEX", seg(text, SegMode.INDEX));
    map.put("SEARCH", seg(text, SegMode.SEARCH));
    return map;
}
private static String seg(String text, SegMode segMode) {
    StringBuilder result = new StringBuilder();                
    for(SegToken token : JIEBA_SEGMENTER.process(text, segMode)){
        result.append(token.word.getToken()).append(" ");
    }
    return result.toString(); 
}

ログイン後にコピー

10、smartcn トークナイザー

private static final JcsegTaskConfig CONFIG = new JcsegTaskConfig();
private static final ADictionary DIC = DictionaryFactory.createDefaultDictionary(CONFIG);
static {
    CONFIG.setLoadCJKSyn(false);
    CONFIG.setLoadCJKPinyin(false);
}
@Override
public Map<String, String> segMore(String text) {
    Map<String, String> map = new HashMap<>();

    map.put("复杂模式", segText(text, JcsegTaskConfig.COMPLEX_MODE));
    map.put("简易模式", segText(text, JcsegTaskConfig.SIMPLE_MODE));

    return map;
}
private String segText(String text, int segMode) {
    StringBuilder result = new StringBuilder();        
    try {
        ISegment seg = SegmentFactory.createJcseg(segMode, new Object[]{new StringReader(text), CONFIG, DIC});
        IWord word = null;
        while((word=seg.next())!=null) {         
            result.append(word.getValue()).append(" ");
        }
    } catch (Exception ex) {
        throw new RuntimeException(ex);
    }
    return result.toString();
}

ログイン後にコピー

1 1.HanLP ワードブレーカー

rrreええ

今、私たちは達成しましたこの記事の最初の目的は、11 個の Java オープンソース中国語ワードブレーカーの使い方を学ぶことです。

最後に、この記事の 2 番目の目的を実現しましょう。11 の主要な Java オープンソース中国語単語セグメンターの単語セグメンテーション効果の比較分析です。プログラムは次のとおりです。

private static final Dictionary DIC = Dictionary.getInstance();
private static final SimpleSeg SIMPLE_SEG = new SimpleSeg(DIC);
private static final ComplexSeg COMPLEX_SEG = new ComplexSeg(DIC);
private static final MaxWordSeg MAX_WORD_SEG = new MaxWordSeg(DIC);
@Override
public Map<String, String> segMore(String text) {
    Map<String, String> map = new HashMap<>();
    map.put(SIMPLE_SEG.getClass().getSimpleName(), segText(text, SIMPLE_SEG));
    map.put(COMPLEX_SEG.getClass().getSimpleName(), segText(text, COMPLEX_SEG));
    map.put(MAX_WORD_SEG.getClass().getSimpleName(), segText(text, MAX_WORD_SEG));
    return map;
}
private String segText(String text, Seg seg) {
    StringBuilder result = new StringBuilder();
    MMSeg mmSeg = new MMSeg(new StringReader(text), seg);        
    try {
        Word word = null;
        while((word=mmSeg.next())!=null) {       
            result.append(word.getString()).append(" ");
        }
    } catch (IOException ex) {
        throw new RuntimeException(ex);
    }
    return result.toString();
}

ログイン後にコピー

実行結果は次のとおりです。

以上がJava オープンソース 11 中国語単語セグメンターの使用方法の詳細な説明と単語セグメンテーション効果の比較の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。