ค้นหาระเบียนที่ซ้ำกันใน MongoDB

ฉันจะค้นหาฟิลด์ที่ซ้ำกันในคอลเลกชัน Mongo ได้อย่างไร

ฉันต้องการตรวจสอบว่าช่อง "ชื่อ" ซ้ำกันหรือไม่

{
    "name" : "ksqn291",
    "__v" : 0,
    "_id" : ObjectId("540f346c3e7fc1054ffa7086"),
    "channel" : "Sales"
}

ขอบคุณมาก!

ใช้การรวมnameและรับnameกับcount > 1:

db.collection.aggregate([
    {"$group" : { "_id": "$name", "count": { "$sum": 1 } } },
    {"$match": {"_id" :{ "$ne" : null } , "count" : {"$gt": 1} } }, 
    {"$project": {"name" : "$_id", "_id" : 0} }
]);

วิธีจัดเรียงผลลัพธ์ตามรายการที่ซ้ำกันมากที่สุดไปหาน้อยที่สุด:

db.collection.aggregate([
    {"$group" : { "_id": "$name", "count": { "$sum": 1 } } },
    {"$match": {"_id" :{ "$ne" : null } , "count" : {"$gt": 1} } }, 
    {"$sort": {"count" : -1} },
    {"$project": {"name" : "$_id", "_id" : 0} }     
]);

หากต้องการใช้กับชื่อคอลัมน์อื่นที่ไม่ใช่ "ชื่อ" ให้เปลี่ยน " $ name " เป็น " $ column_name "

คุณสามารถค้นหาlistของduplicateชื่อใช้ต่อไปนี้aggregateท่อ:

• Groupnameระเบียนทั้งหมดที่มีลักษณะคล้ายกัน
• Matchผู้ที่มีบันทึกมากกว่าgroups1
• จากนั้นgroupอีกครั้งสำหรับprojectชื่อที่ซ้ำกันทั้งหมดเป็นarrayไฟล์.

รหัส:

db.collection.aggregate([
{$group:{"_id":"$name","name":{$first:"$name"},"count":{$sum:1}}},
{$match:{"count":{$gt:1}}},
{$project:{"name":1,"_id":0}},
{$group:{"_id":null,"duplicateNames":{$push:"$name"}}},
{$project:{"_id":0,"duplicateNames":1}}
])

o / p:

{ "duplicateNames" : [ "ksqn291", "ksqn29123213Test" ] }

คำตอบที่ anhic ให้อาจไม่มีประสิทธิภาพมากหากคุณมีฐานข้อมูลขนาดใหญ่และมีชื่อแอตทริบิวต์อยู่ในเอกสารบางส่วนเท่านั้น

ในการปรับปรุงประสิทธิภาพคุณสามารถเพิ่มการจับคู่ $ ลงในการรวมได้

db.collection.aggregate(
    {"$match": {"name" :{ "$ne" : null } } }, 
    {"$group" : {"_id": "$name", "count": { "$sum": 1 } } },
    {"$match": {"count" : {"$gt": 1} } }, 
    {"$project": {"name" : "$_id", "_id" : 0} }
)

db.getCollection('orders').aggregate([  
    {$group: { 
            _id: {name: "$name"},
            uniqueIds: {$addToSet: "$_id"},
            count: {$sum: 1}
        } 
    },
    {$match: { 
        count: {"$gt": 1}
        }
    }
])

กลุ่มแรกค้นหากลุ่มตามฟิลด์

จากนั้นเราตรวจสอบ Id ที่ไม่ซ้ำกันและนับถ้าจำนวนมากกว่า 1 แสดงว่าฟิลด์นั้นซ้ำกันในคอลเล็กชันทั้งหมดดังนั้นสิ่งนั้นจะถูกจัดการโดย $ match query