Queue.Queue vs. collection.deque

ฉันต้องการคิวที่หลายเธรดสามารถใส่ข้อมูลและหลายกระทู้อาจอ่านได้

Python มีคลาสคิวอย่างน้อยสองคลาสคือ Queue.Queue และ collection.deque โดยที่ก่อนหน้านี้ดูเหมือนจะใช้หลังภายใน ทั้งสองอ้างว่าปลอดภัยต่อเธรดในเอกสารประกอบ

อย่างไรก็ตามคิวเอกสารยังระบุ:

collection.deque เป็นการใช้งานทางเลือกของคิวที่ไม่ได้ถูก จำกัด ด้วยการดำเนินการผนวกอะตอมอย่างรวดเร็ว () และ popleft () ที่ไม่ต้องการการล็อค

ซึ่งฉันคิดว่าฉันไม่ได้พูดค่อนข้างไกล: นี่หมายความว่า deque ไม่ได้เป็นเธรดที่ปลอดภัยทั้งหมดหรือไม่?

ถ้าเป็นฉันอาจไม่เข้าใจความแตกต่างระหว่างสองคลาสอย่างสมบูรณ์ ฉันเห็นว่าคิวเพิ่มฟังก์ชันการบล็อก ในทางกลับกันจะสูญเสียคุณสมบัติบางอย่างเช่นการสนับสนุนสำหรับผู้ประกอบการ

การเข้าถึงวัตถุ deque ภายในโดยตรงคือ

x ในคิว (). deque

ด้ายปลอดภัย?

นอกจากนี้เหตุใดคิวจึงใช้ mutex สำหรับการดำเนินการเมื่อ deque ปลอดภัยต่อเธรดแล้ว

Queue.Queueและcollections.dequeตอบสนองวัตถุประสงค์ที่แตกต่าง Queue.Queue มีไว้สำหรับการอนุญาตให้เธรดที่แตกต่างสามารถสื่อสารกันโดยใช้ข้อความ / ข้อมูลที่ถูกจัดคิวในขณะที่collections.dequeมีวัตถุประสงค์เพื่อเป็นโครงสร้างข้อมูล ว่าทำไมQueue.Queueมีวิธีการเช่นput_nowait(), get_nowait()และjoin()ในขณะที่collections.dequeไม่ได้ Queue.Queueไม่ได้มีวัตถุประสงค์เพื่อใช้เป็นคอลเลกชันซึ่งเป็นสาเหตุที่มันขาดinไลค์ของโอเปอเรเตอร์

มันลดลงมาถึงสิ่งนี้: ถ้าคุณมีหลายเธรดและคุณต้องการให้พวกเขาสามารถสื่อสารได้โดยไม่ต้องล็อคคุณกำลังมองหาQueue.Queue; ถ้าคุณเพียงต้องการคิวหรือแถวคอยสองหน้าเป็น datastructure collections.dequeใช้

ในที่สุดการเข้าถึงและจัดการภายใน deque ของ a Queue.Queueกำลังเล่นด้วยไฟ - คุณไม่ต้องการทำเช่นนั้นจริงๆ

หากสิ่งที่คุณกำลังมองหาเป็นวิธีที่ปลอดภัยสำหรับเธรดในการถ่ายโอนออบเจ็กต์ระหว่างเธรดทั้งสองจะทำงานได้ (ทั้งสำหรับ FIFO และ LIFO) สำหรับ FIFO:

• Queue.put()และQueue.get()มีความปลอดภัยต่อเธรด
• deque.append()และdeque.popleft()มีความปลอดภัยต่อเธรด

บันทึก:

• การดำเนินการอื่น ๆdequeอาจไม่ปลอดภัยสำหรับเธรดฉันไม่แน่ใจ
• dequeไม่บล็อกpop()หรือpopleft()ดังนั้นคุณจึงไม่สามารถยึดการไหลของเธรดผู้บริโภคในการบล็อกจนกว่าจะมีรายการใหม่มาถึง

แต่ก็ดูเหมือนว่าdeque มีข้อได้เปรียบที่มีประสิทธิภาพอย่างมีนัยสำคัญ นี่คือผลการวัดประสิทธิภาพในไม่กี่วินาทีโดยใช้ CPython 2.7.3 สำหรับการแทรกและลบรายการ 100k

deque 0.0747888759791
Queue 1.60079066852

นี่คือรหัสมาตรฐาน:

import time
import Queue
import collections

q = collections.deque()
t0 = time.clock()
for i in xrange(100000):
    q.append(1)
for i in xrange(100000):
    q.popleft()
print 'deque', time.clock() - t0

q = Queue.Queue(200000)
t0 = time.clock()
for i in xrange(100000):
    q.put(1)
for i in xrange(100000):
    q.get()
print 'Queue', time.clock() - t0

สำหรับข้อมูลมีตั๋ว Python อ้างอิงสำหรับ deque thread-safety ( https://bugs.python.org/issue15329 ) ชื่อ "ชี้แจงว่าวิธีการถอนคำใดที่ปลอดภัยสำหรับเธรด"

บรรทัดล่างสุดที่นี่: https://bugs.python.org/issue15329#msg199368

การดำเนินการผนวก (), appendleft (), pop (), popleft (), และ len (d) ของ deque นั้นปลอดภัยสำหรับเธรดใน CPython เมธอดผนวกมี DECREF ที่ส่วนท้าย (สำหรับกรณีที่ตั้งค่า maxlen) แต่สิ่งนี้เกิดขึ้นหลังจากมีการอัพเดตโครงสร้างทั้งหมดและค่าคงที่ได้รับการกู้คืนดังนั้นจึงไม่ถือว่าการดำเนินการเหล่านี้เป็นอะตอม

อย่างไรก็ตามหากคุณไม่แน่ใจ 100% และคุณต้องการความน่าเชื่อถือมากกว่าประสิทธิภาพเพียงใส่รหัสล็อค;)

วิธีการแบบองค์ประกอบเดียวทั้งหมดdequeเป็น atomic และ thread-safe วิธีการอื่น ๆ ทั้งหมดก็ปลอดภัยเช่นกัน สิ่งที่ชอบlen(dq), dq[4]ผลผลิตค่าที่ถูกต้องชั่วขณะ แต่คิดเช่นเกี่ยวกับdq.extend(mylist): คุณไม่ได้รับการรับประกันว่าองค์ประกอบทั้งหมดmylistจะถูกจัดเก็บในแถวเมื่อเธรดอื่น ๆ ผนวกองค์ประกอบในด้านเดียวกัน - แต่นั่นมักจะไม่ต้องการในการสื่อสารระหว่างเธรดและงานที่ถูกถาม

ดังนั้น a dequeจะเร็วกว่า ~ ~ ~ ~ 20x Queue(ซึ่งใช้dequeภายใต้ประทุน) และถ้าคุณไม่ต้องการ API การประสาน "ที่สะดวกสบาย" (การบล็อก / หมดเวลา) การmaxsizeเชื่อฟังอย่างเข้มงวดหรือ"แทนที่วิธีการเหล่านี้ (_put, _get, .. ) เพื่อใช้องค์กรคิวอื่น ๆ "พฤติกรรมการแบ่งกลุ่มย่อยหรือเมื่อคุณดูแลสิ่งต่าง ๆ ด้วยตัวคุณเองแล้วการเปิดเผยdequeก็เป็นข้อตกลงที่ดีและมีประสิทธิภาพสำหรับการสื่อสารระหว่างเธรดความเร็วสูง

ในความเป็นจริงการใช้งานอย่างหนักของ mutex พิเศษและวิธีการพิเศษ._get()อื่น ๆ ที่เรียกQueue.pyเป็นเพราะข้อ จำกัด ความเข้ากันได้ย้อนหลังผ่านการออกแบบมากเกินไปและขาดการดูแลเพื่อให้การแก้ปัญหาที่มีประสิทธิภาพสำหรับปัญหาคอขวดความเร็วที่สำคัญนี้ในการสื่อสารระหว่างเธรด รายการถูกใช้ในเวอร์ชัน Python รุ่นเก่า - แต่แม้กระทั่ง list.append () /. pop (0) คือ & เป็น atomic และ threadsafe ...

การเพิ่มnotify_all()แต่ละรายการdeque appendและpopleftผลลัพธ์ที่แย่ยิ่งdequeกว่าการปรับปรุง 20 เท่าที่ทำได้โดยdequeพฤติกรรมเริ่มต้น :

deque + notify_all: 0.469802
Queue:              0.667279

@ โจนาธานแก้ไขรหัสของเขาเล็กน้อยและฉันได้รับมาตรฐานโดยใช้ cPython 3.6.2 และเพิ่มเงื่อนไขในการวนซ้ำเพื่อจำลองพฤติกรรมที่คิวทำ

import time
from queue import Queue
import threading
import collections

mutex = threading.Lock()
condition = threading.Condition(mutex)
q = collections.deque()
t0 = time.clock()
for i in range(100000):
    with condition:
        q.append(1)
        condition.notify_all()
for _ in range(100000):
    with condition:
        q.popleft()
        condition.notify_all()
print('deque', time.clock() - t0)

q = Queue(200000)
t0 = time.clock()
for _ in range(100000):
    q.put(1)
for _ in range(100000):
    q.get()
print('Queue', time.clock() - t0)

และดูเหมือนว่าประสิทธิภาพจะถูก จำกัด ด้วยฟังก์ชั่นนี้ condition.notify_all()

collection.deque เป็นการใช้งานทางเลือกของคิวที่ไม่ได้ถูก จำกัด ด้วยการดำเนินการผนวกอะตอมอย่างรวดเร็ว () และ popleft () ที่ไม่ต้องการการล็อค คิวเอกสาร

dequeปลอดภัยต่อเธรด "การดำเนินการที่ไม่จำเป็นต้องล็อค" หมายความว่าคุณไม่จำเป็นต้องล็อคตัวเองและdequeดูแลมัน

การดูที่เป็นQueueแหล่งที่ deque ภายในจะเรียกself.queueและใช้ mutex สำหรับ accessors และการกลายพันธุ์เพื่อให้Queue().queueเป็นไม่ด้ายปลอดภัยในการใช้งาน

หากคุณกำลังมองหาโอเปอเรเตอร์ "in" แสดงว่า deque หรือคิวนั้นอาจไม่ใช่โครงสร้างข้อมูลที่เหมาะสมที่สุดสำหรับปัญหาของคุณ

(ดูเหมือนว่าฉันไม่มีชื่อเสียงที่จะแสดงความคิดเห็น ... ) คุณต้องระวังวิธีการ deque ที่คุณใช้จากกระทู้ที่แตกต่างกัน

deque.get () ดูเหมือนจะเป็น threadsafe แต่ฉันพบว่าการทำเช่นนั้น

for item in a_deque:
   process(item)

สามารถล้มเหลวหากเธรดอื่นกำลังเพิ่มรายการในเวลาเดียวกัน ฉันได้ RuntimeException ที่บ่นว่า "deque กลายพันธุ์ในระหว่างการทำซ้ำ"

ตรวจสอบcollectionmodule.cเพื่อดูว่าการดำเนินงานใดได้รับผลกระทบจากสิ่งนี้