mongodb去重

Question

现在的数据是使用爬虫抓取的。现在有些数据是重复的。然后现在我想请教应该怎么做才能去重呢？我想的是只要能查到相对应的name也是ok的打个比方。我现在有个community_name字段。我想查询一下，community_name重...

怪我咯 · Answer

Il semble que vous souhaitiez réaliser quelque chose de similaire au SGBDR

SELECT community_name, COUNT(*)
FROM table
GROUP BY community_name
HAVING COUNT(*) > 1

Je ne sais pas si je comprends bien. Si tel est le cas, l’approche correspondante devrait consister à utiliser le cadre d’agrégation.

db.coll.aggregate([
    {$group: {_id: "$community_name", count: {$sum: 1}}}, //统计community_name重复出现的次数
    {$match: {count: {$gt: 1}}} //从中找出重复多于1次的记录
]);

Cette requête peut obtenir des résultats plus rapides avec les index suivants :

db.coll.createIndex({community_name: 1});

Mais même ainsi, cette requête parcourra tous les enregistrements et la vitesse ne sera pas trop rapide.
En fait, il est inutile de compter tous les enregistrements à chaque fois. Il est préférable de mettre en cache les résultats après les avoir obtenus. La manière de mettre en cache dépend de la manière dont vous souhaitez utiliser les données collectées.
Une meilleure façon est de porter un jugement avant d'insérer. Si le même community_name existe déjà, enregistrez-le, comme

.

db.community_name_stat.update({
    community_name: 'xxx'
}, {
    '$set': {
        count: {'$inc': 1}
    },
    '$setOnInsert': {
        community_name: 'xxx',
        count: 1
    }
}, {
    upsert: true
});

De cette façon, vous pouvez directement obtenir un ensemble community_name_stat pour savoir combien de fois chaque community_name apparaît. Bien entendu, l’approche finale dépend de vos besoins. MongoDB est une chose très flexible, ce qui est l'une des caractéristiques importantes qui la distingue des bases de données relationnelles. Comprendre ses différentes fonctions et personnaliser la solution la plus rentable adaptée à vos besoins est l'un des plus grands défis liés à l'utilisation de MongoDB.

phpcn_u1582 · Answer

Si vous avez bien compris, vous pouvez utiliser upsert directement : si le système dispose déjà d'un enregistrement avec les mêmes conditions, mettez-le uniquement à jour, sinon créez un nouvel enregistrement.

db.collection.update(query, update, {upsert : True, multi : })

Et vous pouvez également modifier plusieurs enregistrements, si multi est défini sur true.