现在的数据是使用爬虫抓取的。现在有些数据是重复的。
然后现在我想请教应该怎么做才能去重呢?
我想的是只要能查到相对应的name也是ok的
打个比方。我现在有个community_name字段。
我想查询一下,community_name重复次数超过1次的name列表
我应该怎么去查询。
谢谢。
文档格式:
{
"_id" : ObjectId("5732e6f884e079abfa783703"),
"buildings_num" : "4",
"community_name" : "江和城",
"address" : "新安江洋安新城,南临洋安大道、北临滨江路",
"lat" : "29.511485",
"building_year" : "2014年建成",
"lng" : " 119.329673",
"house_num" : 224,
"id" : 84453,
"category" : "建德商圈",
"city" : "杭州",
"lj_id" : "187467387072819",
"area" : "建德",
"average_price" : 8408,
"property_cost" : "2 元/平米/月",
"property_company" : "金管家",
"volume_rate" : "1.98",
"greening_rate" : 0.33,
"developers" : "杭州和谐置业有限公司"
}
看你的意思是想达到RDBMS中类似于
不知道我理解对了没有。如果是这样的话,对应的方式应该是使用aggregation framework。
这个查询在有以下索引的情况下可以更快得到结果:
但是即使这样,这个查询也会遍历所有记录,速度并不会太快。
实际上每次都去统计所有记录是比较浪费的,最好在得到结果后做一定的缓存,如何缓存要取决于你统计出来的数据想要怎么用。
更好的办法是插入前就做一下判断,如果已经存在同样的
community_name
则记录在案,比如这样就可以直接得到一个
community_name_stat
集合得到每个community_name
出现过多少次。当然最终的做法还是取决于你的需求。MongoDB是一个很灵活的东西,这也是它区别于关系型数据库的重要特点之一。了解它的各种功能,为你的需求定制一个性价比最高的解决方案,是使用MongoDB过程中最大的挑战之一。如果理解正确的话,你可以直接用upsert:如果系统已经有了相同条件的纪录,只update,否则建立新的纪录。
db.collection.update(query, update, {upsert: True, multi: <boolean>})
而且你还可以修改多条纪录,如果设置multi为true。