python - mongodb去重
高洛峰
高洛峰 2017-05-17 10:02:13
0
1
647

1.功能里需要根据有一个字段来判断是否重复,比如叫做ownnerId,凡是存在的就丢弃.于是我用到了distinct这个方法,但是这段时间随着数据量逐渐增大,出现了一个问题:

OperationFailure: distinct too big, 16mb cap

这是命令行里边的错误,说distinct返回的结果太大了,超过了16M.请问各位高手能否贡献一些方法.

需求:每次通过检查数据库中ownnerId这个字段是否出现了,其中数据库是一直在更新的,而且这个不存在的ownnerId在一会处理后就会存到数据库中去,所以要求每次判断都要重新检查一遍数据库中这个ownner字段.因此对速度的要求也比较高.
各位大神瞅瞅,求给个意见.

高洛峰
高洛峰

拥有18年软件开发和IT教学经验。曾任多家上市公司技术总监、架构师、项目经理、高级软件工程师等职务。 网络人气名人讲师,...

membalas semua(1)
迷茫

如果我理解的对的话,是否考虑过Unique Indexes。

供参考。

Love MongoDB! Have fun!

Muat turun terkini
Lagi>
kesan web
Kod sumber laman web
Bahan laman web
Templat hujung hadapan
Tentang kita Penafian Sitemap
Laman web PHP Cina:Latihan PHP dalam talian kebajikan awam,Bantu pelajar PHP berkembang dengan cepat!