python - Déduplication MongoDB
高洛峰
高洛峰 2017-05-17 10:02:13
0
1
787

1. La fonction doit déterminer si elle est dupliquée en fonction d'un champ, tel que OwnerId, et supprimer tout ce qui existe. J'ai donc utilisé la méthode distincte, mais à mesure que la quantité de données augmentait progressivement au cours de cette période, un problème est survenu :

OperationFailure : distinct trop gros, plafond de 16 Mo

Il s'agit d'une erreur dans la ligne de commande. Elle indique que le résultat renvoyé par distinct est trop grand, dépassant 16 M. Des experts peuvent-ils contribuer à certaines méthodes ?

Exigence : chaque fois que vous vérifiez si le champ OwnerId apparaît dans la base de données, la base de données est constamment mise à jour et le OwnerId inexistant sera stocké dans la base de données après avoir été traité pendant un certain temps, il est donc nécessaire de porter un jugement à chaque fois. Revérifiez le champ propriétaire dans la base de données. Par conséquent, les exigences de vitesse sont relativement élevées.

Veuillez jeter un œil et donnez-moi votre avis.

高洛峰
高洛峰

拥有18年软件开发和IT教学经验。曾任多家上市公司技术总监、架构师、项目经理、高级软件工程师等职务。 网络人气名人讲师,...

répondre à tous(1)
迷茫

Si je comprends bien, avez-vous pensé aux index uniques ?

Pour référence.

J'adore MongoDB ! Amusez-vous!

Derniers téléchargements
Plus>
effets Web
Code source du site Web
Matériel du site Web
Modèle frontal