คุณสามารถใช้iteration_utilities.duplicates:
>>> from iteration_utilities import duplicates
>>> list(duplicates([1,1,2,1,2,3,4,2]))
[1, 1, 2, 2]
หรือหากคุณต้องการให้มีหนึ่งในสำเนาที่ซ้ำกันซึ่งสามารถรวมกับiteration_utilities.unique_everseen:
>>> from iteration_utilities import unique_everseen
>>> list(unique_everseen(duplicates([1,1,2,1,2,3,4,2])))
[1, 2]
นอกจากนี้ยังสามารถจัดการองค์ประกอบที่ไม่สามารถล้างได้ (แต่ต้องเสียค่าใช้จ่ายที่ประสิทธิภาพ):
>>> list(duplicates([[1], [2], [1], [3], [1]]))
[[1], [1]]
>>> list(unique_everseen(duplicates([[1], [2], [1], [3], [1]])))
[[1]]
นั่นเป็นสิ่งที่มีเพียงไม่กี่วิธีที่สามารถจัดการได้
มาตรฐาน
ฉันทำเกณฑ์มาตรฐานอย่างรวดเร็วซึ่งมีแนวทางที่กล่าวถึงที่นี่ (แต่ไม่ใช่ทั้งหมด)
เกณฑ์มาตรฐานแรกรวมช่วงความยาวรายการเพียงเล็กน้อยเท่านั้นเนื่องจากบางแนวทางมีO(n**2)พฤติกรรม
ในกราฟแกน y แสดงเวลาดังนั้นค่าที่ต่ำกว่าจึงหมายถึงดีกว่า นอกจากนี้ยังมีการพล็อตล็อกบันทึกเพื่อให้สามารถมองเห็นค่าได้หลากหลาย:
การลบO(n**2)วิธีการที่ฉันได้ทำมาตรฐานอื่น ๆ ถึงครึ่งล้านองค์ประกอบในรายการ:
คุณจะเห็นว่าiteration_utilities.duplicatesวิธีการนั้นเร็วกว่าวิธีอื่น ๆ และแม้แต่การผูกมัดunique_everseen(duplicates(...))นั้นเร็วกว่าหรือเร็วกว่าวิธีอื่น ๆ
อีกสิ่งที่น่าสนใจเพิ่มเติมที่ควรทราบที่นี่คือวิธีการของ pandas นั้นช้ามากสำหรับรายการขนาดเล็ก
อย่างไรก็ตามเนื่องจากมาตรฐานเหล่านี้แสดงวิธีการส่วนใหญ่ที่ดำเนินการอย่างเท่าเทียมกันดังนั้นจึงไม่สำคัญว่าจะใช้วิธีใด (ยกเว้น 3 ที่O(n**2)ใช้งานจริง)
from iteration_utilities import duplicates, unique_everseen
from collections import Counter
import pandas as pd
import itertools
def georg_counter(it):
return [item for item, count in Counter(it).items() if count > 1]
def georg_set(it):
seen = set()
uniq = []
for x in it:
if x not in seen:
uniq.append(x)
seen.add(x)
def georg_set2(it):
seen = set()
return [x for x in it if x not in seen and not seen.add(x)]
def georg_set3(it):
seen = {}
dupes = []
for x in it:
if x not in seen:
seen[x] = 1
else:
if seen[x] == 1:
dupes.append(x)
seen[x] += 1
def RiteshKumar_count(l):
return set([x for x in l if l.count(x) > 1])
def moooeeeep(seq):
seen = set()
seen_add = seen.add
# adds all elements it doesn't know yet to seen and all other to seen_twice
seen_twice = set( x for x in seq if x in seen or seen_add(x) )
# turn the set into a list (as requested)
return list( seen_twice )
def F1Rumors_implementation(c):
a, b = itertools.tee(sorted(c))
next(b, None)
r = None
for k, g in zip(a, b):
if k != g: continue
if k != r:
yield k
r = k
def F1Rumors(c):
return list(F1Rumors_implementation(c))
def Edward(a):
d = {}
for elem in a:
if elem in d:
d[elem] += 1
else:
d[elem] = 1
return [x for x, y in d.items() if y > 1]
def wordsmith(a):
return pd.Series(a)[pd.Series(a).duplicated()].values
def NikhilPrabhu(li):
li = li.copy()
for x in set(li):
li.remove(x)
return list(set(li))
def firelynx(a):
vc = pd.Series(a).value_counts()
return vc[vc > 1].index.tolist()
def HenryDev(myList):
newList = set()
for i in myList:
if myList.count(i) >= 2:
newList.add(i)
return list(newList)
def yota(number_lst):
seen_set = set()
duplicate_set = set(x for x in number_lst if x in seen_set or seen_set.add(x))
return seen_set - duplicate_set
def IgorVishnevskiy(l):
s=set(l)
d=[]
for x in l:
if x in s:
s.remove(x)
else:
d.append(x)
return d
def it_duplicates(l):
return list(duplicates(l))
def it_unique_duplicates(l):
return list(unique_everseen(duplicates(l)))
เกณฑ์มาตรฐาน 1
from simple_benchmark import benchmark
import random
funcs = [
georg_counter, georg_set, georg_set2, georg_set3, RiteshKumar_count, moooeeeep,
F1Rumors, Edward, wordsmith, NikhilPrabhu, firelynx,
HenryDev, yota, IgorVishnevskiy, it_duplicates, it_unique_duplicates
]
args = {2**i: [random.randint(0, 2**(i-1)) for _ in range(2**i)] for i in range(2, 12)}
b = benchmark(funcs, args, 'list size')
b.plot()
เกณฑ์มาตรฐาน 2
funcs = [
georg_counter, georg_set, georg_set2, georg_set3, moooeeeep,
F1Rumors, Edward, wordsmith, firelynx,
yota, IgorVishnevskiy, it_duplicates, it_unique_duplicates
]
args = {2**i: [random.randint(0, 2**(i-1)) for _ in range(2**i)] for i in range(2, 20)}
b = benchmark(funcs, args, 'list size')
b.plot()
คำปฏิเสธ
1 นี้มาจากห้องสมุดบุคคลที่สามที่ฉันเขียน: iteration_utilities.