เราจะสันนิษฐานได้ว่าการดำเนินการขั้นพื้นฐานกับตัวเลขต้องใช้เวลาคงที่

73

ตามปกติในขั้นตอนวิธีการที่เราไม่สนใจเกี่ยวกับการเปรียบเทียบนอกจากนี้หรือลบของตัวเลข - เราถือว่าพวกเขาทำงานในเวลา )ตัวอย่างเช่นเราสมมติว่าสิ่งนี้เมื่อเราบอกว่าการเรียงลำดับแบบอิงการเปรียบเทียบคือแต่เมื่อตัวเลขมีขนาดใหญ่เกินไปที่จะพอดีกับการลงทะเบียนเรามักจะแสดงมันเป็นอาร์เรย์ดังนั้นการดำเนินการพื้นฐานจำเป็นต้องมีการคำนวณเพิ่มเติม $O(1)$ $O(n\log n)$

มีหลักฐานแสดงหรือไม่ว่าการเปรียบเทียบตัวเลขสองตัว (หรือฟังก์ชันทางคณิตศาสตร์แบบดั้งเดิมอื่น ๆ ) สามารถทำได้ใน ? ถ้าไม่ใช่ทำไมเราถึงบอกว่าการเรียงลำดับโดยการเปรียบเทียบนั้นเป็น ? $O(1)$ $O(n\log n)$

ฉันพบปัญหานี้เมื่อฉันตอบคำถามมากและฉันรู้ว่าอัลกอริทึมของฉันไม่ได้เพราะไม่ช้าก็เร็วผมควรจะจัดการกับใหญ่ int ยังมันไม่ได้หลอกพหุนามอัลกอริทึมเวลามันเป็นP $O(n)$ $P$

— กราฟิลส์
แหล่งที่มา

3

หากคุณจะนับความซับซ้อนของการเปรียบเทียบตัวเลขคุณควรเขียนขอบเขตความซับซ้อนของคุณในแง่ของขนาดบิตของอินพุต ให้ดังนั้น

หมายเลขบิตขนาดบิตของการเข้าเป็น

และการเรียงลำดับสามารถทำได้ใน

เวลา

N

$N$

w

$w$

n = N w

$n=Nw$

O (N w \log N) = O (n \log n)

$O(Nw \log N) = O(n \log n)$

— Sasho Nikolov

2

โดยทั่วไปจะมี "อาณาจักร" หรือ "ระบอบการปกครอง" ของการศึกษาความซับซ้อนสองแห่ง โดยทั่วไปแล้วการดำเนินงาน

จะถือว่าเป็นการดำเนินการ "ความกว้างคงที่" ซึ่งเป็นการประมาณที่สมเหตุสมผลสำหรับภาษาคอมพิวเตอร์ส่วนใหญ่ที่มีจำนวนตัวเลขที่มีความกว้างคงที่รวมถึงจุดลอยตัวเช่น 2-4 ไบต์ (ดูมาตรฐาน IEEE เช่น) จากนั้นก็มี "เลขคณิตความแม่นยำตามอำเภอใจ" ซึ่งตัวเลขมีขนาดโดยพลการและมีการศึกษาอย่างรอบคอบ / แม่นยำมากขึ้นเกี่ยวกับความซับซ้อนของการปฏิบัติการ บริบทในอดีตนั้นมีมากขึ้นในการวิเคราะห์เชิงประยุกต์และในบริบทหลังเป็นการวิเคราะห์เชิงทฤษฎี / เชิงนามธรรม

O (1)

$O(1)$

— vzn

75

สำหรับคนอย่างผมที่ศึกษาอัลกอริทึมสำหรับการใช้ชีวิตในรูปแบบมาตรฐานในศตวรรษที่ 21 ของการคำนวณเป็นจำนวนเต็มแรม แบบจำลองนี้มีจุดประสงค์เพื่อสะท้อนให้เห็นถึงพฤติกรรมของคอมพิวเตอร์จริงอย่างแม่นยำมากกว่ารุ่นทัวริงของเครื่องจักร คอมพิวเตอร์ในโลกแห่งความเป็นจริงประมวลผลจำนวนเต็มหลายบิตในเวลาคงที่โดยใช้ฮาร์ดแวร์แบบขนาน ไม่ใช่จำนวนเต็มตามอำเภอใจแต่ (เนื่องจากขนาดของคำเติบโตอย่างต่อเนื่องตลอดเวลา) ไม่ใช่จำนวนเต็มขนาดคงที่เช่นกัน

รูปแบบขึ้นอยู่กับพารามิเตอร์เดียวเรียกว่าขนาดคำ อยู่หน่วยความจำแต่ละถือเดียวจำนวนเต็มบิตหรือคำ ในรูปแบบนี้ขนาดอินพุตคือจำนวนของคำในการป้อนข้อมูลและเวลาทำงานของอัลกอริทึมคือจำนวนของการดำเนินงานในคำพูด การดำเนินงานมาตรฐานเลขคณิต (บวกลบคูณหารจำนวนเต็มเหลือเปรียบเทียบ) และการดำเนินบูล (บิตและหรือ xor กะหมุน) กับคำพูดต้องเวลาโดยความหมาย $w$ $w$ $n$ $O(1)$

อย่างเป็นทางการขนาดคำไม่คงที่ $w$ สำหรับวัตถุประสงค์ในการวิเคราะห์อัลกอริทึมในรุ่นนี้ เพื่อให้แบบจำลองสอดคล้องกับสัญชาตญาณเราต้องการเนื่องจากไม่เช่นนั้นเราไม่สามารถแม้แต่จะเก็บจำนวนเต็มในคำเดียว อย่างไรก็ตามสำหรับอัลกอริธึมที่ไม่ใช่ตัวเลขส่วนใหญ่เวลาทำงานนั้นไม่ขึ้นกับเพราะอัลกอริธึมเหล่านั้นไม่สนใจเกี่ยวกับการแทนค่าไบนารีพื้นฐานของอินพุต การรวมและ heapsort ทั้งสองทำงานในเวลา ; ค่ามัธยฐานของ 3-quicksort ทำงานใน $w \ge \log_2 n$ $n$ $w$ $O(n\log n)$ เวลาในกรณีที่เลวร้ายที่สุด หนึ่งที่น่าสังเกตคือการจัดเรียง Radix ไบนารีซึ่งทำงานในเวลา $O(n^2)$ $O(nw)$

การตั้งค่าทำให้เรามีรูปแบบ RAM แบบลอการิทึมราคาดั้งเดิม แต่อัลกอริธึม RAM จำนวนเต็มบางตัวได้รับการออกแบบมาสำหรับขนาดคำที่ใหญ่กว่าเช่นอัลกอริธึมการเรียงลำดับจำนวนเต็มเชิงเส้นของAndersson และคณะ ซึ่งจะต้องมี ) $w = \Theta(\log n)$ $w = \Omega(\log^{2+\varepsilon} n)$

สำหรับอัลกอริธึมหลายอย่างที่เกิดขึ้นในทางปฏิบัติคำขนาดนั้นไม่ใช่ปัญหาและเราสามารถ (และทำ) ถอยกลับไปที่รูปแบบ RAM ที่ราคาเท่ากันได้ง่ายกว่า เพียงความยากลำบากอย่างรุนแรงมาจากการคูณซ้อนกันซึ่งสามารถใช้ในการสร้างมากจำนวนเต็มขนาดใหญ่มากได้อย่างรวดเร็ว ถ้าเราสามารถดำเนินการทางคณิตศาสตร์ในพลจำนวนเต็มในเวลาคงที่เราสามารถแก้ปัญหาใด ๆ ใน PSPACE ในเวลาพหุนาม $w$

อัปเดต:ฉันควรพูดถึงว่ามีข้อยกเว้นสำหรับ "โมเดลมาตรฐาน" เช่นอัลกอริธึมการคูณจำนวนเต็มของFürerซึ่งใช้เครื่องมัลติทาสกิ้งของทัวริง (หรือเทียบเท่าที่ "บิตแรม") และอัลกอริธึมเรขาคณิตส่วนใหญ่ สะอาดเงียบสงบ แต่"แรมจริง" รูปแบบ

ใช่นี่เป็นหนอนกระป๋อง

— JeffE
แหล่งที่มา

3

ฉันรู้ว่าฉันควรจะลงคะแนน แต่ไม่สามารถหยุดตัวเองจากการพูด: นี่คือคำตอบที่ดีที่สุด เคล็ดลับคือ (1) การดำเนินการทางคณิตศาสตร์เป็นเวลาคงที่ตามคำจำกัดความและไม่เป็นไรเพราะในทางทฤษฎีคุณสามารถเลือกรูปแบบใดก็ได้และ (2) คุณควรมีเหตุผลบางประการในการเลือกแบบจำลองบางแบบและคำตอบนี้จะอธิบายว่ามันคืออะไร

— rgrig

n

$n$

m

$m$

P

$P$

1

w

$w$

w

$w$

N

$N$

0

$0$

M

$M$

N \log_{w} M = (N \lg M) / (\lg w)

$N\log_w M = (N\lg M)/(\lg w)$

O (N M)

$O(NM)$

M

$M$

— JeffE

มีอัลกอริธึมที่วิเคราะห์ในโมเดล Real RAM ที่ไม่ใช่อัลกอริทึม "RAM ประเภทการสั่งซื้อ" หรือไม่? ฉันไม่เคยคิดถึงเรื่องนี้มากนัก แต่ไม่สามารถยกตัวอย่างที่ไม่ใช่ได้อย่างรวดเร็ว

— Louis

1

O (n^{3})

$O(n^3)$

O (n^{4})

$O(n^4)$

24

$n$ $O(1)$ $O(n)$

— Massimo Cafaro
แหล่งที่มา

จากบทความอ้างอิงของคุณ: "สามารถวัดได้สองวิธี: หนึ่งในแง่ของจำนวนเต็มที่ถูกทดสอบหรือคูณและอีกหนึ่งในแง่ของจำนวนเลขฐานสอง (บิต) ในจำนวนเต็มเหล่านั้น" แต่นี่ไม่เป็นความจริงเรา ควรวัดตามขนาดของอินพุต

1

n

$n$

θ (n^{1 / 2})

$\theta(n^{1/2})$

P

$P$

n

$n$

โดยวิธีการอัลกอริธึมเทียมแบบพหุนามอาจมีประโยชน์จริง ๆ ถ้าลำดับความสำคัญของพารามิเตอร์ของพวกเขาในกรณีที่เกิดขึ้นจริงนั้นค่อนข้างต่ำ ตัวอย่างที่มีชื่อเสียงที่สุดน่าจะเป็นอัลกอริธึมเทียม - พหุนามเพื่อแก้ปัญหาเครื่องหลัง

— Massimo Cafaro

P

$P$

P

$P$

O (n \log n)

$O(n \log n)$

n

$n$

O (1)

$O(1)$

n

$n$

O (n) = O (2^{l g n})

$O(n) = O(2^{lg n})$

l g n

$lg n$ คือขนาดอินพุตอัลกอริธึมเป็นเลขยกกำลังในขนาดอินพุต! คิดเกี่ยวกับสิ่งนี้. ตอนนี้คุณอาจเข้าใจสิ่งที่ฉันหมายถึงด้วย "มันขึ้นอยู่กับบริบท"

— Massimo Cafaro

16

เพื่อตอบคำถามตามที่ระบุไว้: อัลกอริธึมทำได้ง่ายๆโดยใช้แบบจำลองแรม สำหรับการเรียงลำดับในหลายกรณีผู้คนถึงกับวิเคราะห์รูปแบบการเปรียบเทียบที่ง่ายกว่าซึ่งฉันพูดถึงอีกเล็กน้อยในคำตอบที่เชื่อมโยง

เพื่อตอบคำถามโดยปริยายเกี่ยวกับสาเหตุที่พวกเขาทำ: ฉันจะบอกว่าแบบจำลองนี้มีพลังการทำนายที่ดีสำหรับอัลกอริทึม combinatorial บางประเภทซึ่งตัวเลขทั้งหมด "เล็ก" และบนเครื่องจริงพอดีกับการลงทะเบียน

ในการตอบกลับการติดตามโดยนัยเกี่ยวกับอัลกอริธึมเชิงตัวเลข: ไม่รุ่น RAM เก่าธรรมดาไม่ใช่มาตรฐานที่นี่ แม้แต่การกำจัดแบบเกาส์เซียนก็ยังต้องการการดูแลบ้าง โดยทั่วไปสำหรับการคำนวณอันดับ Schwartz Lemma จะป้อน (เช่นหมวด 5 ที่นี่ ) อีกตัวอย่างที่ยอมรับได้คือการวิเคราะห์ Ellipsoid Algorithm ซึ่งต้องการการวิเคราะห์อย่างระมัดระวัง

และในที่สุด: ผู้คนเคยคิดเกี่ยวกับการเรียงลำดับสตริงมาก่อนแม้แต่เมื่อไม่นานมานี้

อัปเดต:ปัญหาของคำถามนี้คือ "เรา" และ "ถือว่า" ไม่ได้ระบุอย่างแม่นยำ ฉันจะบอกว่าคนที่ทำงานในรูปแบบ RAM ไม่ได้ทำอัลกอริธึมเชิงตัวเลขหรือทฤษฎีความซับซ้อน (ซึ่งการพิจารณาความซับซ้อนของการแบ่งเป็นผลลัพธ์ที่โด่งดัง )

— หลุยส์
แหล่งที่มา

อืมดูเหมือนว่ามันเป็นคำตอบที่น่าสนใจ ....

มีเหตุผลหรือไม่ที่ไม่ตอบคำถามทั้งหมด?

— Louis

7

$O(1)$ $O(1)$

python -mtimeit "$a * $b"$a $10^{\{1,2,...,66\}}$ $b = 2*$a

$10^{50}$ $\log_{10}(\tt{sys.maxint})$

— Dougal
แหล่งที่มา

O (n)

$O(n)$

O (n \cdot \log n \cdot \log m)

$O(n \cdot \log n \cdot \log m)$

7

$O(1)$

$O(\log M)$ $O (N \log N)$ $O (N \log N \log M)$

$M$

— Erel Segal-Halevi
แหล่งที่มา

O (\log m)

$O(\log m)$

O (\log n)

$O(\log n)$

m

$m$

O (l o g N)

$O(log N)$

n

$n$

n^{n^{n}}

$n^{n^n}$

คุณพูดถูกฉันตอบถูกแล้ว

— Erel Segal-Halevi

4

ฉันจะบอกว่าโดยทั่วไปเราจะถือว่าการดำเนินการทางคณิตศาสตร์ O (1) เพราะเรามักจะทำสิ่งต่าง ๆ ในบริบทของจำนวนเต็ม 32 บิตหรือจำนวนเต็ม 64 บิตหรือเลขทศนิยม IEEE 754 O (1) น่าจะเป็นการประมาณค่าที่ดีสำหรับคณิตศาสตร์ชนิดนั้น

แต่โดยทั่วไปนั่นไม่จริง โดยทั่วไปคุณต้องใช้อัลกอริทึมเพื่อทำการบวกการลบการคูณและการหาร Boolos, Burgess และ Jefferies ' Computability และลอจิกสปริงเป็นสิ่งที่เข้าใจถึงการพิสูจน์หลักฐานในแง่ของระบบที่เป็นทางการสองแบบ, Recursive Function และ Abacus Machines อย่างน้อยในสำเนารุ่นที่ 4 ของฉัน

คุณสามารถดูคำศัพท์แลมบ์ดาแคลคูลัสสำหรับการลบและการหารด้วยตัวเลขโบสถ์สำหรับคำอธิบายที่ง่ายต่อการดูว่าทำไมการดำเนินการทั้งสองนั้นไม่ใช่ O (1) เป็นการยากที่จะเห็นการเพิ่มและการคูณและการยกกำลังสักหน่อย แต่ก็มีหากคุณพิจารณารูปแบบของตัวเลขศาสนจักรด้วยตนเอง

— Bruce Ediger
แหล่งที่มา