python - 一个关键词分组的问题
巴扎黑
巴扎黑 2017-04-17 15:42:32
0
2
326

现有一组关键词表,如下:

会计一个月工资多少钱
挖掘机一个月工资多少钱
化妆师一个月工资多少钱
美容师工资多少钱
育婴师工资多少钱
化妆师工资多少钱
咖啡师工资多少钱
理财工资分配
会计工资分配
银行工资分配
如何进行工资分配
......

同类关键词的最长后缀是一样的,想根据关键词后缀来进行分组,最终效果如下:

会计一个月工资多少钱 >> 一个月工资多少钱
挖掘机一个月工资多少钱 >> 一个月工资多少钱
化妆师一个月工资多少钱 >> 一个月工资多少钱
美容师工资多少钱 >> 工资多少钱
育婴师工资多少钱 >> 工资多少钱
化妆师工资多少钱 >> 工资多少钱
咖啡师工资多少钱 >> 工资多少钱
理财工资分配 >> 工资分配
会计工资分配 >> 工资分配
银行工资分配 >> 工资分配
如何进行工资分配 >> 工资分配
......

关键词总共有4w个,咋实现...

巴扎黑
巴扎黑

reply all (2)
黄舟
  1. 分词
    使用中文分词后再提取
    https://github.com/fxsjy/jieba

    迷茫

    不知道题主现在想出什么好方法来了没有。在这里我给一个我的想法。

    4万个记录其实并不算多,我认为可以参考Trie树的思路,只不过不是找前缀而是后缀,所以要从关键词的最后一个位置向前搜索。

    因为英语的基本构成只有26个字母,所以如果关键词是英语的话使用Trie树的变种来解决这个问题应该很容易。但是汉语的常用汉字至少有几千个,就不得不考虑一个空间效率的问题。

    解决空间效率的问题还是要使用到中文分词,将对比对象由汉字转变为词。这只是一个想法,是否具有可行性不清楚

      Latest Downloads
      More>
      Web Effects
      Website Source Code
      Website Materials
      Front End Template
      About us Disclaimer Sitemap
      php.cn:Public welfare online PHP training,Help PHP learners grow quickly!