การคำนวณความแตกต่างระหว่างชุดใหญ่สองชุด

ฉันมีจำนวนเต็มและB จำนวนมาก แต่ละชุดมีประมาณหนึ่งล้านรายการและแต่ละรายการเป็นจำนวนเต็มบวกที่มีความยาวสูงสุด 10 หลัก $A$$B$

อัลกอริทึมที่ดีที่สุดในการคำนวณและB ∖ Aคืออะไร กล่าวอีกนัยหนึ่งฉันจะคำนวณรายการของAที่ไม่มีในBและในทางกลับกันได้อย่างมีประสิทธิภาพได้อย่างไร อะไรคือโครงสร้างข้อมูลที่ดีที่สุดในการเป็นตัวแทนของสองชุดนี้เพื่อให้การดำเนินการเหล่านี้มีประสิทธิภาพ$A\setminus B$$B\setminus A$$A$$B$

วิธีที่ดีที่สุดที่ฉันสามารถทำได้คือเก็บสองชุดนี้เป็นรายการที่เรียงลำดับแล้วเปรียบเทียบทุกองค์ประกอบของกับทุกองค์ประกอบของBในแบบเชิงเส้น เราทำได้ดีกว่านี้ไหม$A$$B$

หากคุณยินดีจัดเก็บชุดข้อมูลไว้ในโครงสร้างข้อมูลเฉพาะคุณอาจได้รับความซับซ้อนที่น่าสนใจ

ให้$I=\mathcal O\left(\min\left(|A|,|B|,|A\Delta B|\right)\right)$

จากนั้นคุณสามารถดำเนินการชุด∪ B , ∩ B , ∖ BและΔ Bในแต่ละO (ผม⋅ เข้าสู่ระบบ| | + | B |$A\cup B, A\cap B,A\setminus B$$A\Delta B$เวลาที่คาดหวัง โดยพื้นฐานแล้วคุณจะได้ขนาดต่ำสุดของสองชุดหรือขนาดของความแตกต่างแบบสมมาตรแล้วแต่จำนวนใดจะน้อยกว่า สิ่งนี้ดีกว่าแบบเส้นตรงถ้าความแตกต่างแบบสมมาตรมีขนาดเล็ก กล่าวคือ หากพวกเขามีทางแยกที่มีขนาดใหญ่ ในความเป็นจริงสำหรับการดำเนินการที่แตกต่างกันสองชุดที่คุณต้องการสิ่งนี้มีความอ่อนไหวในทางปฏิบัติเนื่องจากพวกมันรวมกันเป็นขนาดของความแตกต่างแบบสมมาตร$\mathcal O\left(I\cdot\log\frac{|A|+|B|}{I}\right)$

ดูชุดข้อมูลและแผนที่แบบต่อเนื่องโดย Olle Liljenzin (2013) สำหรับข้อมูลเพิ่มเติม

การสแกนเชิงเส้นเป็นวิธีที่ดีที่สุดที่ฉันรู้ว่าจะต้องทำอย่างไรหากชุดนั้นแสดงเป็นรายการเชื่อมโยงที่เรียงลำดับ เวลาทำงานเป็น )$O(|A| + |B|)$

โปรดทราบว่าคุณไม่จำเป็นต้องเปรียบเทียบทุกองค์ประกอบของกับทุกองค์ประกอบของBตามลำดับ นั่นจะนำไปสู่รันไทม์ของO ( | A | × | B | )ซึ่งแย่กว่ามาก คุณสามารถใช้เทคนิคที่คล้ายกับการดำเนินการ "ผสาน" ในการผสานการปรับเปลี่ยนที่เหมาะสมเพื่อละเว้นค่าที่ใช้ร่วมกันสำหรับทั้งสองชุดแทน$A$$B$$O(|A| \times |B|)$

ในรายละเอียดเพิ่มเติมคุณสามารถสร้างอัลกอริทึมแบบเรียกซ้ำดังต่อไปนี้เพื่อคำนวณโดยสมมติว่าAและBแสดงเป็นรายการที่เชื่อมโยงกับค่าในลำดับที่เรียงลำดับ:$A \setminus B$$A$$B$

difference(A, B):
    if len(B)=0:
        return A # return the leftover list
    if len(A)=0:
        return B # return the leftover list
    if A[0] < B[0]:
        return [A[0]] + difference(A[1:], B)
    elsif A[0] = B[0]:
        return difference(A[1:], B[1:])  # omit the common element
    else:
        return [B[0]] + difference(A, B[1:])

ฉันได้แสดงสิ่งนี้ในหลอก -Python หากคุณไม่ได้อ่านหลามA[0]เป็นหัวหน้าของรายการที่เชื่อมโยงA, A[1:]ส่วนที่เหลือของรายการและ+แสดงให้เห็นถึงการเรียงต่อกันของรายการ สำหรับเหตุผลด้านประสิทธิภาพหากคุณทำงานใน Python คุณอาจไม่ต้องการนำไปใช้ตามที่ระบุไว้ข้างต้นตัวอย่างเช่นอาจใช้เครื่องกำเนิดไฟฟ้าได้ดีกว่าเพื่อหลีกเลี่ยงการสร้างรายการชั่วคราวจำนวนมาก - แต่ฉันต้องการ แสดงแนวคิดในรูปแบบที่ง่ายที่สุด รหัสหลอกนี้มีวัตถุประสงค์เพื่อแสดงให้เห็นถึงอัลกอริทึมไม่ใช่เสนอการใช้งานที่เป็นรูปธรรม

$A$$B$$A$$B$

หาก A และ B มีขนาดเท่ากันให้แยกและ interleaved (เช่นตัวเลขคี่ใน A และเลขคู่ใน B) จากนั้นการเปรียบเทียบแบบคู่ของรายการในเวลาเชิงเส้นอาจเหมาะสมที่สุด

หาก A และ B มีบล็อกของรายการที่อยู่ในหนึ่งใน A หรือ B หรือทั้งสองอย่างนั้นเป็นไปได้ที่จะคำนวณความแตกต่างของชุดการรวมและการแยกในเวลาเชิงเส้นย่อย ตัวอย่างเช่นถ้า A และ B แตกต่างกันในหนึ่งรายการดังนั้นความแตกต่างสามารถคำนวณได้ใน O (log n)

http://arxiv.org/abs/1301.3388

$n$$A-B$$a \wedge \overline b$$a,b$