ฉันมีค่าประมาณ 10 ล้านที่ฉันจำเป็นต้องใส่ในตารางค้นหาบางประเภทดังนั้นฉันจึงสงสัยว่ารายการหรือdict ที่มีประสิทธิภาพมากกว่านี้คืออะไร

ฉันรู้ว่าคุณสามารถทำสิ่งนี้ได้ทั้ง:

if something in dict_of_stuff:
    pass

และ

if something in list_of_stuff:
    pass

ความคิดของฉันคือ dict จะเร็วขึ้นและมีประสิทธิภาพมากขึ้น

ขอบคุณสำหรับความช่วยเหลือของคุณ.

แก้ไข 1
ข้อมูลเพิ่มเติมเล็กน้อยเกี่ยวกับสิ่งที่ฉันพยายามจะทำ ออยเลอร์ปัญหา 92 ฉันกำลังสร้างตารางค้นหาเพื่อดูว่าค่าที่คำนวณได้พร้อมคำนวณทั้งหมดแล้วหรือยัง

แก้ไข 2
ประสิทธิภาพสำหรับการค้นหา

แก้ไข 3
ไม่มีค่าที่ถูกรวมเข้ากับค่า ... ดังนั้นชุดจะดีกว่าหรือไม่

ความเร็ว

การค้นหาในรายการคือ O (n) การค้นหาในพจนานุกรมจะถูกตัดจำหน่าย O (1) โดยคำนึงถึงจำนวนรายการในโครงสร้างข้อมูล หากคุณไม่จำเป็นต้องเชื่อมโยงค่าให้ใช้ชุด

หน่วยความจำ

ทั้งพจนานุกรมและชุดใช้การแปลงแป้นพิมพ์และใช้หน่วยความจำมากกว่าสำหรับการจัดเก็บวัตถุ ตามที่ AM Kuchling ในรหัสที่สวยงามการใช้งานพยายามที่จะทำให้แฮชเต็ม 2/3 ดังนั้นคุณอาจเสียหน่วยความจำบางส่วน

หากคุณไม่ได้เพิ่มรายการใหม่ในทันที (ซึ่งคุณทำตามคำถามที่อัปเดตของคุณ) มันอาจจะคุ้มค่าที่จะเรียงลำดับรายการและใช้การค้นหาแบบไบนารี นี่คือ O (บันทึก n) และมีแนวโน้มว่าจะช้าลงสำหรับสตริงเป็นไปไม่ได้สำหรับวัตถุที่ไม่มีลำดับตามธรรมชาติ

dict เป็นตารางแฮชดังนั้นจึงรวดเร็วในการค้นหาคีย์ ดังนั้นระหว่าง dict และ list dict จะเร็วขึ้น แต่ถ้าคุณไม่มีค่าที่จะเชื่อมโยงจะเป็นการดียิ่งขึ้นที่จะใช้ชุด มันเป็นตารางแฮชโดยไม่มีส่วน "ตาราง"

แก้ไข: สำหรับคำถามใหม่ของคุณใช่ชุดจะดีกว่า เพียงสร้าง 2 ชุดชุดหนึ่งสำหรับลำดับที่ลงท้ายด้วย 1 และอีกชุดสำหรับลำดับที่ลงท้ายด้วย 89 ฉันแก้ไขปัญหานี้ได้สำเร็จโดยใช้ชุด

set()เป็นสิ่งที่คุณต้องการ การค้นหา O (1) และเล็กกว่า dict

ฉันทำการเปรียบเทียบและปรากฎว่า dict นั้นเร็วกว่ารายการและตั้งค่าสำหรับชุดข้อมูลขนาดใหญ่โดยใช้ python 2.7.3 บน i7 CPU บน linux:

• python -mtimeit -s 'd=range(10**7)' '5*10**6 in d'

  10 ลูปที่ดีที่สุดคือ 3: 64.2 msec ต่อลูป

• python -mtimeit -s 'd=dict.fromkeys(range(10**7))' '5*10**6 in d'

  10,000,000 ลูปที่ดีที่สุดคือ 3: 0.0759 usec ต่อวง

• python -mtimeit -s 'from sets import Set; d=Set(range(10**7))' '5*10**6 in d'

  1000000 ลูปที่ดีที่สุดคือ 3: 0.262 usec ต่อวง

อย่างที่คุณเห็น dict นั้นเร็วกว่ารายการมากและเร็วกว่าที่ตั้งไว้ประมาณ 3 เท่า ในบางแอพพลิเคชั่นคุณอาจต้องการเลือกเซ็ตเพื่อความงามของมัน และถ้าชุดข้อมูลมีขนาดเล็กมาก (<1,000 องค์ประกอบ) รายการจะทำงานได้ค่อนข้างดี

คุณต้องการ dict

สำหรับรายการ (ไม่ได้เรียงลำดับ) ใน Python การดำเนินการ "in" ต้องใช้เวลา O (n) --- ไม่ดีเมื่อคุณมีข้อมูลจำนวนมาก ในทางกลับกัน dict เป็นตารางแฮชดังนั้นคุณจึงสามารถคาดหวังเวลาค้นหา O (1)

ดังที่คนอื่น ๆ ได้กล่าวไว้คุณอาจเลือกชุด (dict ชนิดพิเศษ) แทนหากคุณมีคีย์มากกว่าคู่คีย์ / ค่า

ที่เกี่ยวข้อง:

• Python wiki : ข้อมูลเกี่ยวกับความซับซ้อนของเวลาของการดำเนินการคอนเทนเนอร์ Python
• SO : เวลาการทำงานของคอนเทนเนอร์ Python และความซับซ้อนของหน่วยความจำ

ถ้าข้อมูลเป็นชุดที่ไม่ซ้ำกัน () จะมีประสิทธิภาพมากที่สุด แต่ในสอง - Dict (ซึ่งยังต้องมีเอกลักษณ์โอ๊ะโอ :)

เนื่องจากชุดการทดสอบใหม่ที่จะแสดง @ EriF89 ยังคงอยู่หลังจากผ่านไปหลายปี:

$ python -m timeit -s "l={k:k for k in xrange(5000)}"    "[i for i in xrange(10000) if i in l]"
1000 loops, best of 3: 1.84 msec per loop
$ python -m timeit -s "l=[k for k in xrange(5000)]"    "[i for i in xrange(10000) if i in l]"
10 loops, best of 3: 573 msec per loop
$ python -m timeit -s "l=tuple([k for k in xrange(5000)])"    "[i for i in xrange(10000) if i in l]"
10 loops, best of 3: 587 msec per loop
$ python -m timeit -s "l=set([k for k in xrange(5000)])"    "[i for i in xrange(10000) if i in l]"
1000 loops, best of 3: 1.88 msec per loop

ที่นี่เราเปรียบเทียบ a tupleซึ่งทราบกันว่าเร็วกว่าlists(และใช้หน่วยความจำน้อยกว่า) ในบางกรณี ในกรณีของตารางการค้นหาtuplefaired ไม่ดี

ทั้งสองdictและsetทำได้ดีมาก สิ่งนี้จะนำมาซึ่งประเด็นที่น่าสนใจที่ผูกไว้กับ @SilentGhost คำตอบเกี่ยวกับความเป็นเอกลักษณ์: ถ้า OP มีค่า 10M ในชุดข้อมูลและไม่ทราบว่ามีการทำซ้ำในพวกเขาหรือไม่ ด้วยชุดข้อมูลจริงและทดสอบการมีอยู่ในชุด / dict นั้น เป็นไปได้ว่าจุดข้อมูล 10M มีค่าเฉพาะ 10 ค่าซึ่งเป็นพื้นที่ที่เล็กกว่ามากในการค้นหา!

ความผิดพลาดของ SilentGhost เกี่ยวกับ dicts กำลังส่องสว่างเพราะสามารถใช้ dict เพื่อเชื่อมโยงข้อมูลที่ซ้ำกัน (เป็นค่า) ลงในชุด (คีย์) ที่ไม่ซ้ำซ้อนดังนั้นจึงเก็บวัตถุข้อมูลหนึ่งไว้เพื่อเก็บข้อมูลทั้งหมด แต่ยังคงเร็วเหมือนตารางค้นหา ตัวอย่างเช่นคีย์ dict อาจเป็นค่าที่ถูกค้นหาและค่าอาจเป็นรายการดัชนีในรายการจินตภาพที่ค่านั้นเกิดขึ้น

ตัวอย่างเช่นหากรายการแหล่งข้อมูลที่จะค้นหาl=[1,2,3,1,2,1,4]ก็สามารถปรับให้เหมาะสมสำหรับการค้นหาและหน่วยความจำโดยแทนที่ด้วย dict นี้:

>>> from collections import defaultdict
>>> d = defaultdict(list)
>>> l=[1,2,3,1,2,1,4]
>>> for i, e in enumerate(l):
...     d[e].append(i)
>>> d
defaultdict(<class 'list'>, {1: [0, 3, 5], 2: [1, 4], 3: [2], 4: [6]})

ด้วย dict นี้คุณสามารถรู้:

1. ถ้าค่าอยู่ในชุดข้อมูลดั้งเดิม (เช่น2 in dส่งคืนTrue)
2. โดยที่ค่านั้นอยู่ในชุดข้อมูลดั้งเดิม (เช่นd[2]ส่งคืนรายการดัชนีที่พบข้อมูลในรายการข้อมูลดั้งเดิม[1, 4])

คุณไม่จำเป็นต้องเก็บค่า 10 ล้านไว้ในตารางดังนั้นมันจึงไม่ใช่เรื่องใหญ่เลย

คำแนะนำ: ลองคิดดูว่าผลลัพธ์ของคุณจะมีขนาดใหญ่เพียงใดหลังจากการรวมกำลังสองเป็นครั้งแรก ผลลัพธ์ที่ใหญ่ที่สุดที่เป็นไปได้จะน้อยกว่า 10 ล้าน ...