python - mongodb去重
高洛峰
高洛峰 2017-05-17 10:02:13
0
1
769

1.功能裡需要根據有一個字段來判斷是否重複,比如叫做ownnerId,凡是存在的就丟棄.於是我用到了distinct這個方法,但是這段時間隨著數據量逐漸增大,出現了一個問題:

OperationFailure: distinct too big, 16mb cap

#這是命令列裡邊的錯誤,說distinct回傳的結果太大了,超過了16M.請問各位高手能否貢獻一些方法.

需求:每次通過檢查資料庫中ownnerId這個欄位是否出現了,其中資料庫是一直在更新的,而且這個不存在的ownnerId在一會處理後就會存到資料庫中去,所以要求每次判斷都要重新檢查一遍資料庫中這個ownner字段.因此對速度的要求也比較高.
各位大神瞅瞅,求給個意見.

高洛峰
高洛峰

拥有18年软件开发和IT教学经验。曾任多家上市公司技术总监、架构师、项目经理、高级软件工程师等职务。 网络人气名人讲师,...

全部回覆(1)
迷茫

如果我理解的對的話,是否考慮過Unique Indexes。

供參考。

Love MongoDB! Have fun!

熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板