基于 Python 的中文分词方案那种比较好?

WBOY
發布: 2016-06-06 16:23:45
原創
1543 人瀏覽過

回复内容:

"结巴"中文分词:做最好的Python中文分词组件 "Jieba" (Chinese for "to stutter") Chinese text segmentation: built to be the best Python Chinese word segmentation module.


github.com/fxsjy/jieba
pynlpir,对ictclas的封装,最近做毕设正在用,速度和准确率都很好~ 闲来无事,写了两个分词程序,一个是基于mmseg的另一个是基于CRF的,目前已经上传pypi.
pip install scseg
pip install genius 其实我没有用过python或其他任何语言的分词库,不过恰好在OSChina上看到了几个python的中文分词库,有几个也是前面一些知友提到的,我把链接转过来吧:
  • oschina.net/project/tag
python调用c库,可以使用中科院的分词,感觉还行,就是导入用户自定义的词库存在失败率,然后还无法调试出原因

今天刚给四款python中文分词的做了简单测试
hi.baidu.com/fooying/it smallseg ;
轻量级,容易使用。
jieba 路过。。。 中科院和哈工大的两个分词包就挺好
网上有人做了总结,发来给大家参考
几种开源分词工具的比较 有个 mmseg for python 分词 我没用过python语言写的分词程序。

分词这种功能属于计算密集型功能,需要大量计算,python不适合这种场合,可以考虑python调用c库。
來源:php.cn
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板
關於我們 免責聲明 Sitemap
PHP中文網:公益線上PHP培訓,幫助PHP學習者快速成長!