อัลกอริทึมที่เร็วขึ้นหมายถึงอะไรในวิทยาศาสตร์คอมพิวเตอร์เชิงทฤษฎี

หากมีอัลกอริทึมทำงานในเวลาสำหรับปัญหาบางอย่าง A และบางคนเกิดอัลกอริธึมที่ทำงานในเวลาโดยที่g (n) = o (f (n))ถือว่าเป็นการปรับปรุงขั้นตอนวิธีก่อนหน้าหรือไม่?$O(f(n))$$O(f(n)/g(n))$$g(n) = o(f(n))$

ในแง่ของวิทยาศาสตร์คอมพิวเตอร์เชิงทฤษฎีแล้วมันสมเหตุสมผลหรือไม่ที่จะเกิดอัลกอริธึมแบบนี้ขึ้นมา?

ไม่อัลกอริทึมที่ทำงานในเวลา$O(f(n)/g(n))$โดยที่$g(n) = o(f(n))$ไม่จำเป็นต้องพิจารณาว่าเป็นการปรับปรุง ตัวอย่างเช่นสมมติว่า$f(n) = n$และ$g(n) = 1/n$ n จากนั้น$O(f(n)/g(n)) = O(n^2)$เป็นช่วงเวลาที่เลวร้ายยิ่งกว่าผูกพัน$O(f(n)) = O(n)$(n)

เพื่อที่จะปรับปรุงตามอัลกอริทึมที่ทำงานในเวลา$f(n)$คุณต้องหาอัลกอริธึมที่ทำงานในเวลา$o(f(n))$นั่นคือในเวลา$g(n)$สำหรับบางฟังก์ชัน$g(n) = o(f(n))$(n))

หากคุณรู้ว่าอัลกอริทึมทำงานในเวลาก็ไม่ชัดเจนว่าอัลกอริทึมทำงานในเวลาO (g (n))เป็นการปรับปรุงไม่ว่าจะเป็นf (n), g (n) )คือ นี่เป็นเพราะ O ขนาดใหญ่เป็นเพียงขอบเขตบนของเวลาทำงาน แต่มันเป็นเรื่องธรรมดาที่จะต้องพิจารณาความซับซ้อนเวลาเลวร้ายที่สุดกรณีและเพื่อประเมินว่ามันเป็นใหญ่\ ทีมากกว่าแค่เป็นใหญ่OO ( g ( n ) ) f ( n ) , g ( n ) Θ $O(f(n))$$O(g(n))$$f(n),g(n)$$\Theta$$O$

จำไว้ว่าสัญกรณ์มีความหมายสำหรับการวิเคราะห์ว่างานจะเติบโตอย่างไรสำหรับขนาดอินพุตที่แตกต่างกันและโดยเฉพาะทำให้เกิดปัจจัยหลายตัว, คำที่ต่ำกว่าและค่าคงที่$O(...)$

สมมติว่าคุณมีอัลกอริทึมซึ่งมีรันไทม์จริงคือ (สมมติว่าคุณสามารถนับคำแนะนำและรู้การกำหนดเวลาที่แน่นอนและอื่น ๆ แล้วสมมติว่าคุณมากับอัลกอริทึมใหม่ที่เกิดขึ้นจะเป็นแต่รันไทม์จริง5000 นอกจากนี้ยังคิดว่าคุณรู้ว่าซอฟแวร์ที่จะใช้ขั้นตอนวิธีนี้จะไม่เคยเห็นขนาดของปัญหาn>1 n 2 + 2 n + 1 O ( n ) 1,000 n + 5000 n > $O(n^2)$$1n^2+2n+1$$O(n)$$1000n + 5000$$n>10$

ดังนั้นซึ่งคุณจะเลือก - อัลกอริทึมที่จะใช้เวลา 15,000 หน่วยหรือหนึ่งที่จะใช้เพียง 121 หน่วย? ทีนี้หากซอฟต์แวร์ของคุณพัฒนาไปสู่การจัดการปัญหาที่มีขนาดคุณจะเลือกอันไหน คุณจะทำอย่างไรถ้าขนาดของปัญหาแตกต่างกันมาก?O ( n 2 ) n > $O(n)$$O(n^2)$$n>100000$

โดยทั่วไปนั่นหมายความว่าสำหรับอินพุตทุกขนาดที่ใหญ่พอเวลาทำงานที่แย่ที่สุดของอัลกอริทึมเก่าจะช้ากว่าของใหม่ นั่นเทียบเท่ากับแบบแผนโดยที่คือความซับซ้อนของเวลาของอัลกอริทึมใหม่และความซับซ้อนของเวลาของเก่า g $g(n) \in o\bigl(f\left(n\right)\bigr)$$g$$f$

บางครั้งนักวิทยาศาสตร์คอมพิวเตอร์ให้ความสำคัญกับประสิทธิภาพเป็นกรณี ๆ ไป ตัวอย่างคลาสสิกคือ Quicksort: runtime-case ที่แย่ที่สุดคือในขณะที่เรารู้ว่ามีคนอื่นที่ทำงานในเวลา แต่มันถูกใช้อย่างกว้างขวางในทางปฏิบัติเพราะมันเป็นค่าเฉลี่ยที่ดี เวลาทำงาน นอกจากนี้ยังสามารถปรับแต่งให้ทำงานได้อย่างรวดเร็วในกรณีที่พบบ่อยที่สุดในป่าเช่นอาร์เรย์ที่ส่วนใหญ่อยู่ในลำดับที่ถูกต้องΘ ( n log n $\Theta(n^2)$$\Theta(n \log n)$

และบางครั้งแม้แต่นักวิทยาศาสตร์คอมพิวเตอร์ในทางทฤษฎีก็ใช้ "เร็วขึ้น" แบบเดียวกับที่คนทั่วไปทำ ตัวอย่างเช่นการใช้งานส่วนใหญ่ของคลาสสตริงมีการเพิ่มประสิทธิภาพสตริงสั้น (หรือที่เรียกว่าการเพิ่มประสิทธิภาพสตริงขนาดเล็ก) แม้ว่ามันจะเร็วขึ้นเท่านั้นสำหรับสตริงสั้นและเป็นค่าใช้จ่ายที่บริสุทธิ์สำหรับคนอีกต่อไป เมื่อขนาดอินพุตใหญ่ขึ้นเรื่อย ๆ เวลาทำงานของการดำเนินการกับสตริงด้วย SSO จะสูงขึ้นโดยเทอมคงที่เล็ก ๆ ดังนั้นโดยนิยามที่ฉันให้ไว้ในย่อหน้าแรกการลบ SSO ออกจากคลาส String ทำให้ "เร็วขึ้น แม้ว่าในทางปฏิบัติสตริงส่วนใหญ่จะมีขนาดเล็กดังนั้น SSO จึงทำให้โปรแกรมส่วนใหญ่ใช้งานได้เร็วขึ้นและอาจารย์ด้านวิทยาศาสตร์คอมพิวเตอร์ส่วนใหญ่รู้ดีกว่าการเรียกร้องให้คนพูดถึงคำสั่งที่ซับซ้อนของเวลาแบบอะซิมโทติกเท่านั้น

ไม่มีคำจำกัดความที่เป็นหนึ่งเดียวของสิ่งที่ "อัลกอริทึมเร็วกว่า" คืออะไร ไม่มีองค์กรปกครองที่ตัดสินใจว่าอัลกอริทึมเร็วกว่าอีกหรือไม่

เพื่อชี้ให้เห็นว่าทำไมนี่คือสิ่งที่ฉันต้องการนำเสนอสองสถานการณ์ที่แตกต่างกันซึ่งแสดงให้เห็นถึงแนวคิดที่มืดมนนี้

ตัวอย่างแรกคืออัลกอริทึมที่ค้นหารายการที่เชื่อมโยงของข้อมูลที่ไม่ได้เรียงลำดับ ถ้าฉันสามารถทำสิ่งเดียวกันกับอาเรย์ฉันจะไม่มีการเปลี่ยนแปลงในเรื่องประสิทธิภาพของ Oh การค้นหาทั้งสองเป็น O (n) ถ้าฉันแค่ดูค่าโอ้ที่ยิ่งใหญ่ฉันอาจบอกว่าฉันไม่ได้ปรับปรุงเลย อย่างไรก็ตามเป็นที่ทราบกันดีว่าการค้นหาอาร์เรย์นั้นเร็วกว่าการเดินรายการที่เชื่อมโยงในกรณีส่วนใหญ่ดังนั้นเราจึงอาจตัดสินใจว่าการทำอัลกอริทึมนั้นเร็วขึ้นถึงแม้ว่าโอ้ใหญ่จะไม่เปลี่ยนก็ตาม

ถ้าฉันอาจใช้ตัวอย่างดั้งเดิมของการเขียนโปรแกรมหุ่นยนต์เพื่อทำแซนวิช PBJ ฉันสามารถแสดงสิ่งที่ฉันหมายถึงอีกวิธีหนึ่ง พิจารณาเฉพาะจุดที่มีคนเปิดขวดเนยถั่ว

Pick up the jar
Grab the lid
Unscrew the lid

กับ

Pick up the jar
Put the jar back down
Pick up the jar
Put the jar back down
Pick up the jar
Put the jar back down
Pick up the jar
Put the jar back down
Pick up the jar
Put the jar back down
Pick up the jar
Grab the lid
Unscrew the lid

แม้ในเชิงวิชาการส่วนใหญ่ที่ฉันสามารถนึกถึงได้คุณจะพบว่าผู้คนยอมรับว่าอัลกอริทึมแรกนั้นเร็วกว่าวินาทีแม้ว่าผลสัญกรณ์ของ Oh จะใหญ่เท่ากันก็ตาม

ในทางตรงกันข้ามเราสามารถพิจารณาอัลกอริทึมที่จะทำลายการเข้ารหัส RSA ในขณะนี้เป็นที่รับรู้ว่ากระบวนการนี้อาจเป็น O (2 ^ n) โดยที่ n คือจำนวนบิต พิจารณาอัลกอริธึมใหม่ที่รันเร็วกว่า n ^ 100 ซึ่งหมายความว่ากระบวนการใหม่ของฉันทำงานใน O (2 ^ n / n ^ 100) อย่างไรก็ตามในโลกของการเข้ารหัสลับการเพิ่มความเร็วแบบพหุนามกับอัลกอริธึมแบบเอ็กซ์โพเนนเชียลนั้นโดยทั่วไปแล้วไม่ได้คิดว่าเป็นการเพิ่มความเร็วเชิงทฤษฎีเลย เมื่อทำการพิสูจน์ความปลอดภัยจะสันนิษฐานว่าผู้โจมตีอาจค้นพบความเร็วหนึ่งในนั้นและมันจะไม่มีผลกระทบใด ๆ

ดังนั้นในสถานการณ์หนึ่งเราสามารถเปลี่ยน O (n) เป็น O (n) และเรียกมันได้เร็วขึ้น ในสถานการณ์ที่แตกต่างเราสามารถเปลี่ยน O (2 ^ n) เป็น O (2 ^ n / n ^ 100) และอ้างว่าไม่มีความเร็วที่มีความหมายเลย นี่คือเหตุผลที่ฉันบอกว่าไม่มีคำจำกัดความแบบรวมสำหรับ "อัลกอริทึมที่เร็วกว่า" มันขึ้นอยู่กับบริบทเสมอ

ฉันยังไม่สามารถแสดงความคิดเห็นได้ แต่ฉันรู้สึกเหมือนคำตอบปัจจุบันในขณะที่ถูกต้องและให้ข้อมูลอย่าตอบคำถามบางส่วน แรกให้เราเขียนเทียบเท่าแสดงออกถึงความ( n ) ∈ O ( F ( n ) )$A(n) \in O(f(n))$

$$\exists \ 0 \le c_f \lt \infty \mid \ \limsup_{n \to \infty} \frac{A(n)}{f(n)} = c_f$$

ตอนนี้ให้เราสมมติว่าเรากำลังพูดถึงฟังก์ชั่นที่เพิ่มขึ้นโดยพลการโดยที่และให้เราสร้างฟังก์ชั่น(n)}sup n → ∞ g ( n ) = ∞ h ( n ) = f ( n $g(n)$$\limsup_{n\to\infty} g(n) = \infty$$h(n) = \frac{f(n)}{g(n)}$

เราจะได้รับว่าระยะเวลาของ "ดีขึ้น" อัลกอริทึมอยู่ใน(n)) สมมติว่าระยะเวลาของขั้นตอนวิธีเดิมยังอยู่ใน(n)) สามารถเขียนได้ดังนี้O ( h ( n ) ) A ( n ) O ( h ( n ) $A'(n)$$O(h(n))$$A(n)$$O(h(n))$

$$\exists \ 0 \le c_h \lt \infty \mid \ \limsup_{n \to \infty} \frac{A(n)}{h(n)} = c_h$$

ใช้กฎการ จำกัด เรายังสามารถเขียน:

$$c_h = \limsup_{n \to \infty} \frac{A(n)}{h(n)} = \limsup_{n \to \infty} \frac{A(n)g(n)}{f(n)} = c_f \cdot \limsup_{n \to \infty} g(n)$$

ตั้งแต่นี้เท่านั้นที่สามารถเป็นจริงถ้า0$c_h \lt \infty$$c_f = 0$

คำสั่ง contrapositive คือ: ถ้าแล้ว(n))$c_f \neq 0$$A(n) \notin O(h(n))$

ในคำพูดคือ "การปรับปรุง" ในภายใต้เงื่อนไขเพิ่มเติมที่และเพิ่มขึ้นโดยพลการ$A'(n)$$A(n)$$A(n) \in \Theta(f(n))$$g(n)$

นอกจากนี้ควรแสดงให้เห็นว่าทำไมคำสั่งที่ไม่แข็งแรงพอที่จะสรุปได้ว่าเป็นการปรับปรุง "หรือไม่ ในระยะสั้นแล้วอาจจะอยู่ใน(n))$A(n) \in O(f(n))$$A'(n)$$A(n)$$O(h(n))$