Python - รายชื่อพจนานุกรมที่ไม่ซ้ำกัน

สมมติว่าฉันมีรายการพจนานุกรม:

[
    {'id': 1, 'name': 'john', 'age': 34},
    {'id': 1, 'name': 'john', 'age': 34},
    {'id': 2, 'name': 'hanna', 'age': 30},
]

และฉันต้องการได้รับรายชื่อพจนานุกรมที่ไม่ซ้ำกัน (ลบที่ซ้ำกัน):

[
    {'id': 1, 'name': 'john', 'age': 34},
    {'id': 2, 'name': 'hanna', 'age': 30},
]

ทุกคนสามารถช่วยฉันด้วยวิธีที่มีประสิทธิภาพสูงสุดในการบรรลุผลใน Python หรือไม่?

ดังนั้นทำให้ Dict idชั่วคราวที่สำคัญเป็น สิ่งนี้จะกรองสิ่งที่ซ้ำกัน The values()dict จะเป็นรายการ

ใน Python2.7

>>> L=[
... {'id':1,'name':'john', 'age':34},
... {'id':1,'name':'john', 'age':34},
... {'id':2,'name':'hanna', 'age':30},
... ]
>>> {v['id']:v for v in L}.values()
[{'age': 34, 'id': 1, 'name': 'john'}, {'age': 30, 'id': 2, 'name': 'hanna'}]

ใน Python3

>>> L=[
... {'id':1,'name':'john', 'age':34},
... {'id':1,'name':'john', 'age':34},
... {'id':2,'name':'hanna', 'age':30},
... ] 
>>> list({v['id']:v for v in L}.values())
[{'age': 34, 'id': 1, 'name': 'john'}, {'age': 30, 'id': 2, 'name': 'hanna'}]

ใน Python2.5 / 2.6

>>> L=[
... {'id':1,'name':'john', 'age':34},
... {'id':1,'name':'john', 'age':34},
... {'id':2,'name':'hanna', 'age':30},
... ] 
>>> dict((v['id'],v) for v in L).values()
[{'age': 34, 'id': 1, 'name': 'john'}, {'age': 30, 'id': 2, 'name': 'hanna'}]

วิธีปกติในการค้นหาองค์ประกอบทั่วไปในชุดคือใช้setคลาสPython เพียงแค่เพิ่มองค์ประกอบทั้งหมดไปยังชุดจากนั้นแปลงชุดเป็น a listและบำที่ซ้ำกันจะหายไป

แน่นอนปัญหาคือ a set()สามารถมีได้เฉพาะรายการที่ hashable และ a dictไม่สามารถ hashable ได้

ถ้าผมมีปัญหานี้แก้ปัญหาของฉันจะแปลงแต่ละdictเป็นสตริงที่แสดงถึงที่dictแล้วเพิ่มสตริงทั้งหมดไปยังset()แล้วอ่านออกค่าสตริงเป็นและแปลงกลับไปlist()dict

การแสดงที่ดีของdictรูปแบบสตริงคือรูปแบบ JSON Python มีโมดูลในตัวสำหรับ JSON (เรียกว่าjsonแน่นอน)

ปัญหาที่เหลือคือองค์ประกอบใน a dictไม่ได้ถูกจัดเรียงและเมื่อ Python แปลงdictสตริงเป็น JSON คุณอาจได้รับสตริง JSON สองสายที่แสดงถึงพจนานุกรมเทียบเท่า แต่ไม่ใช่สตริงที่เหมือนกัน ทางออกที่ง่ายคือการผ่านการโต้แย้งเมื่อคุณเรียกsort_keys=Truejson.dumps()

แก้ไข: การแก้ปัญหานี้ได้รับการสมมติว่าได้รับdictอาจมีความแตกต่างกันส่วนหนึ่งส่วนใด หากเราสามารถสันนิษฐานได้ว่าทุกคนที่dictมี"id"ค่าเท่ากันจะจับคู่กันdictด้วย"id"ค่าเท่ากันนี่คือ overkill @ การแก้ปัญหา gnibbler จะเป็นเร็วและง่ายขึ้น

แก้ไข: ตอนนี้มีความคิดเห็นจากAndré Lima อย่างชัดเจนว่าถ้า ID ซ้ำกันก็ปลอดภัยที่จะถือว่าทั้งหมดdictนั้นซ้ำกัน ดังนั้นคำตอบนี้มากเกินไปและฉันแนะนำคำตอบของ @ gnibbler

ในกรณีที่พจนานุกรมมีการระบุเฉพาะโดยรายการทั้งหมด (ID ไม่พร้อมใช้งาน) คุณสามารถใช้คำตอบโดยใช้ JSON ต่อไปนี้เป็นทางเลือกที่ไม่ใช้ JSON และจะทำงานตราบใดที่ค่าพจนานุกรมทั้งหมดไม่เปลี่ยนรูป

[dict(s) for s in set(frozenset(d.items()) for d in L)]

คุณสามารถใช้ไลบรารี numpy (ใช้ได้กับ Python2.x เท่านั้น):

   import numpy as np 

   list_of_unique_dicts=list(np.unique(np.array(list_of_dicts)))

ในการทำให้ทำงานกับ Python 3.x (และเวอร์ชันล่าสุดของ numpy) คุณจะต้องแปลงอาร์เรย์ของ dicts เป็น array ของสตริงเช่น

list_of_unique_dicts=list(np.unique(np.array(list_of_dicts).astype(str)))

นี่เป็นวิธีการแก้ปัญหาที่มีขนาดกะทัดรัดพอสมควร แต่ฉันสงสัยว่าไม่ได้มีประสิทธิภาพเป็นพิเศษ (เพื่อกล่าวอย่างอ่อนโยน):

>>> ds = [{'id':1,'name':'john', 'age':34},
...       {'id':1,'name':'john', 'age':34},
...       {'id':2,'name':'hanna', 'age':30}
...       ]
>>> map(dict, set(tuple(sorted(d.items())) for d in ds))
[{'age': 30, 'id': 2, 'name': 'hanna'}, {'age': 34, 'id': 1, 'name': 'john'}]

เนื่องจากidมีเพียงพอสำหรับการตรวจจับรายการที่ซ้ำกันและidมีการแฮช: รัน 'em ผ่านพจนานุกรมที่มีปุ่มidเป็น ค่าสำหรับแต่ละคีย์คือพจนานุกรมต้นฉบับ

deduped_dicts = dict((item["id"], item) for item in list_of_dicts).values()

ใน Python 3 values()จะไม่ส่งคืนรายการ คุณจะต้องห่อด้านขวาทั้งหมดของนิพจน์list()นั้นและคุณสามารถเขียนเนื้อของนิพจน์ได้อย่างประหยัดมากขึ้นเพื่อความเข้าใจที่ถูกต้อง:

deduped_dicts = list({item["id"]: item for item in list_of_dicts}.values())

โปรดทราบว่าผลที่ได้อาจจะไม่อยู่ในลำดับเดียวกับต้นฉบับ หากเป็นความต้องการของคุณสามารถใช้แทนCollections.OrderedDictdict

นอกเหนือจากนี้อาจทำให้รู้สึกถึงการเก็บข้อมูลไว้ในพจนานุกรมที่ใช้idเป็นคีย์เพื่อเริ่มต้นด้วย

a = [
{'id':1,'name':'john', 'age':34},
{'id':1,'name':'john', 'age':34},
{'id':2,'name':'hanna', 'age':30},
]

b = {x['id']:x for x in a}.values()

print(b)

เอาท์พุท:

[{'อายุ': 34, 'id': 1, 'name': 'john'}, {'อายุ': 30, 'id': 2, 'name': 'hanna'}]

การตอบคำถามJohn La Rooy ( Python - รายการพจนานุกรมที่ไม่ซ้ำกัน ) ทำให้มีความยืดหยุ่นมากกว่า

def dedup_dict_list(list_of_dicts: list, columns: list) -> list:
    return list({''.join(row[column] for column in columns): row
                for row in list_of_dicts}.values())

ฟังก์ชั่นการโทร:

sorted_list_of_dicts = dedup_dict_list(
    unsorted_list_of_dicts, ['id', 'name'])

เราสามารถทำได้ด้วย pandas

import pandas as pd
yourdict=pd.DataFrame(L).drop_duplicates().to_dict('r')
Out[293]: [{'age': 34, 'id': 1, 'name': 'john'}, {'age': 30, 'id': 2, 'name': 'hanna'}]

สังเกตเห็นความแตกต่างเล็กน้อยจากคำตอบที่ยอมรับ

drop_duplicates จะตรวจสอบคอลัมน์ทั้งหมดในหมีแพนด้าถ้าเหมือนกันทั้งหมดแล้วแถวที่จะลดลง

ตัวอย่างเช่น :

หากเราเปลี่ยนdictชื่อที่สองจากjohnเป็นpeter

L=[
    {'id': 1, 'name': 'john', 'age': 34},
    {'id': 1, 'name': 'peter', 'age': 34},
    {'id': 2, 'name': 'hanna', 'age': 30},
]
pd.DataFrame(L).drop_duplicates().to_dict('r')
Out[295]: 
[{'age': 34, 'id': 1, 'name': 'john'},
 {'age': 34, 'id': 1, 'name': 'peter'},# here will still keeping the dict in the out put 
 {'age': 30, 'id': 2, 'name': 'hanna'}]

ใน python 3.6+ (สิ่งที่ฉันทดสอบ) เพียงใช้:

import json

#Toy example, but will also work for your case 
myListOfDicts = [{'a':1,'b':2},{'a':1,'b':2},{'a':1,'b':3}]
#Start by sorting each dictionary by keys
myListOfDictsSorted = [sorted(d.items()) for d in myListOfDicts]

#Using json methods with set() to get unique dict
myListOfUniqueDicts = list(map(json.loads,set(map(json.dumps, myListOfDictsSorted))))

print(myListOfUniqueDicts)

คำอธิบาย:เรากำลังทำแผนที่json.dumpsเพื่อเข้ารหัสพจนานุกรมเป็นวัตถุ json ซึ่งไม่เปลี่ยนรูป setแล้วสามารถนำมาใช้ในการผลิต iterable ของที่ไม่ซ้ำกัน immutables json.loadsสุดท้ายเราแปลงกลับไปเป็นตัวแทนของเราโดยใช้พจนานุกรม โปรดทราบว่าในขั้นต้นเราจะต้องเรียงลำดับโดยใช้แป้นเพื่อจัดเรียงพจนานุกรมในรูปแบบที่ไม่ซ้ำกัน สิ่งนี้ใช้ได้สำหรับ Python 3.6+ เนื่องจากพจนานุกรมเรียงลำดับตามค่าเริ่มต้น

ฉันได้สรุปรายการโปรดของฉันเพื่อลอง:

https://repl.it/@SmaMa/Python-List-of-unique-dictionaries

# ----------------------------------------------
# Setup
# ----------------------------------------------

myList = [
  {"id":"1", "lala": "value_1"},
  {"id": "2", "lala": "value_2"}, 
  {"id": "2", "lala": "value_2"}, 
  {"id": "3", "lala": "value_3"}
]
print("myList:", myList)

# -----------------------------------------------
# Option 1 if objects has an unique identifier
# -----------------------------------------------

myUniqueList = list({myObject['id']:myObject for myObject in myList}.values())
print("myUniqueList:", myUniqueList)

# -----------------------------------------------
# Option 2 if uniquely identified by whole object
# -----------------------------------------------

myUniqueSet = [dict(s) for s in set(frozenset(myObject.items()) for myObject in myList)]
print("myUniqueSet:", myUniqueSet)

# -----------------------------------------------
# Option 3 for hashable objects (not dicts)
# -----------------------------------------------

myHashableObjects = list(set(["1", "2", "2", "3"]))
print("myHashAbleList:", myHashableObjects)

วิธีแก้ปัญหาที่รวดเร็วและสกปรกเป็นเพียงการสร้างรายการใหม่

sortedlist = []

for item in listwhichneedssorting:
    if item not in sortedlist:
        sortedlist.append(item)

ฉันไม่ทราบว่าคุณต้องการให้ id ของ dicts ของคุณในรายการไม่ซ้ำกันหรือไม่ แต่ถ้าเป้าหมายคือการมีชุดของ dict ที่ unicity อยู่ในค่าของปุ่มทั้งหมด .. คุณควรใช้ tuples key เช่นนี้ ในความเข้าใจของคุณ:

>>> L=[
...     {'id':1,'name':'john', 'age':34},
...    {'id':1,'name':'john', 'age':34}, 
...    {'id':2,'name':'hanna', 'age':30},
...    {'id':2,'name':'hanna', 'age':50}
...    ]
>>> len(L)
4
>>> L=list({(v['id'], v['age'], v['name']):v for v in L}.values())
>>>L
[{'id': 1, 'name': 'john', 'age': 34}, {'id': 2, 'name': 'hanna', 'age': 30}, {'id': 2, 'name': 'hanna', 'age': 50}]
>>>len(L)
3

หวังว่ามันจะช่วยให้คุณหรือคนอื่นมีความกังวล ....

มีคำตอบมากมายที่นี่ดังนั้นขอเพิ่มอีก:

import json
from typing import List

def dedup_dicts(items: List[dict]):
    dedupped = [ json.loads(i) for i in set(json.dumps(item, sort_keys=True) for item in items)]
    return dedupped

items = [
    {'id': 1, 'name': 'john', 'age': 34},
    {'id': 1, 'name': 'john', 'age': 34},
    {'id': 2, 'name': 'hanna', 'age': 30},
]
dedup_dicts(items)

ตัวเลือกตรงไปตรงมาสวย:

L = [
    {'id':1,'name':'john', 'age':34},
    {'id':1,'name':'john', 'age':34},
    {'id':2,'name':'hanna', 'age':30},
    ]


D = dict()
for l in L: D[l['id']] = l
output = list(D.values())
print output

คำตอบทั้งหมดที่กล่าวถึงในที่นี้ดี แต่ในบางคำตอบอาจพบข้อผิดพลาดหากรายการพจนานุกรมมีรายการซ้อนหรือพจนานุกรมดังนั้นฉันจึงเสนอคำตอบง่ายๆ

a = [str(i) for i in a]
a = list(set(a))
a = [eval(i) for i in a]

การใช้งานนี้มีค่าใช้จ่ายหน่วยความจำเพียงเล็กน้อยในราคาที่ไม่ถูกกะทัดรัดเท่ากับส่วนที่เหลือ

values = [ {'id':2,'name':'hanna', 'age':30},
           {'id':1,'name':'john', 'age':34},
           {'id':1,'name':'john', 'age':34},
           {'id':2,'name':'hanna', 'age':30},
           {'id':1,'name':'john', 'age':34},]
count = {}
index = 0
while index < len(values):
    if values[index]['id'] in count:
        del values[index]
    else:
        count[values[index]['id']] = 1
        index += 1

เอาท์พุท:

[{'age': 30, 'id': 2, 'name': 'hanna'}, {'age': 34, 'id': 1, 'name': 'john'}]

นี่คือทางออกที่ฉันพบ:

usedID = []

x = [
{'id':1,'name':'john', 'age':34},
{'id':1,'name':'john', 'age':34},
{'id':2,'name':'hanna', 'age':30},
]

for each in x:
    if each['id'] in usedID:
        x.remove(each)
    else:
        usedID.append(each['id'])

print x

โดยทั่วไปคุณจะตรวจสอบว่า ID นั้นมีอยู่ในรายการหรือไม่ถ้าใช่ให้ลบพจนานุกรมหากไม่มีให้ผนวก ID ต่อท้ายรายการ