mongodb 无法通过设置 dropDups : true 建立唯一索引?
迷茫
迷茫 2017-04-28 09:03:35
0
5
795

数据库中的一个字段已经存在相同的值,想给这个字段建立一个唯一索引,并删除多余的数据,于是建立索引时设置了dropDups 为true,但还是报错重复key,是怎么回事呀?或者有什么方法能快速删除多余的数据呢?

迷茫
迷茫

业精于勤,荒于嬉;行成于思,毁于随。

全部回复(5)
仅有的幸福

可以通过python脚本删除重复

from pymongo import MongoClient
client = MongoClient()
db = client.dbname
documentname = db.documentname

keys = {}
for k in documentname.find():
    key = k['field']
    if keys.has_key(key):
        print 'duplicate key %s' % key
        documentname.remove({'_id':k['_id']})
    else:
        print 'first record key %s' % key
        keys[key]=1

思路很简单,遍历并用dict存储,第二次遇到时删除。
但这样无法控制删除与保留的对象,具体可以根据你的场景调整脚本

我想大声告诉你

我也遇到这个情况了,不知道怎么解决,能指点一下吗

伊谢尔伦

当数据有10W条以上的时候,通过脚本可以很快的处理吗?还有多并发的时候,脚本是如何处理的?

洪涛

mongoDB3.0废弃dropDups参数,以后不能通过这个删除重复数据了。

http://blog.chinaunix.net/xmlrpc.php?r=blog/article&id=4865696&uid=15795819

热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板