เราจะรู้ได้อย่างไรว่าจะใช้การวิเคราะห์ความซับซ้อนของเวลาแบบใด

ในชั้นเรียนอัลกอริทึมเบื้องต้นส่วนใหญ่จะมีการแนะนำสัญลักษณ์เช่น (Big O) และและนักเรียนมักจะเรียนรู้ที่จะใช้สิ่งเหล่านี้เพื่อค้นหาความซับซ้อนของเวลา$O$$\Theta$

แต่มีสัญลักษณ์อื่น ๆ เช่น ,และ\มีสถานการณ์เฉพาะใดบ้างที่จะให้สัญกรณ์หนึ่งเป็นที่นิยมมากกว่าอีกรูปแบบหนึ่ง?โอห์ม$o$$\Omega$$\omega$

คุณกำลังหมายถึงสัญกรณ์กุ๊บ พวกเขาไม่ได้เป็นสัญลักษณ์ที่แตกต่างกันสำหรับสิ่งเดียวกัน แต่มีความหมายที่แตกต่างกันโดยสิ้นเชิง อันไหนที่ "ดีกว่า" ขึ้นอยู่กับข้อความที่ต้องการทั้งหมด

f g ≤ f ∈ o ( g ) $f \in \cal{O}(g)$หมายความว่าเติบโตเร็วที่สุดเท่าที่ , asymptotically และขึ้นอยู่กับปัจจัยคงที่; คิดว่ามันเป็น\เป็นรูปแบบที่เข้มงวดเช่น<$f$$g$$\leq$$f \in o(g)$$<$

ฉกรัมω ฉ∈ โอห์ม( กรัม$f \in \Omega(g)$มีความหมายสมมาตร:เติบโตอย่างน้อยให้เร็วที่สุดเท่ากรัมเป็นลูกพี่ลูกน้องที่เข้มงวดกว่า คุณจะเห็นว่าเทียบเท่ากับ(ฉ)$f$$g$$\omega$$f \in \Omega(g)$$g \in \cal{O}(f)$

ฉกรัมฉ∈ O ( กรัม) ∩ โอห์ม( กรัม) f ~ กรัมΘ $f \in \Theta(g)$หมายความว่าโตเร็วเท่ากับ ; อย่างเป็นทางการ(g) (asymptotic equality) เป็นรูปแบบที่แข็งแกร่ง เรามักจะหมายถึงเมื่อเราใช้{O}$f$$g$$f \in \cal{O}(g) \cap \Omega(g)$$f \sim g$$\Theta$$\cal{O}$

สังเกตว่าและพี่น้องของมันเป็นคลาสฟังก์ชันได้อย่างไร มันเป็นสิ่งสำคัญที่จะต้องตระหนักถึงสิ่งนี้และคำจำกัดความที่แม่นยำของพวกเขา - ซึ่งอาจแตกต่างกันไปขึ้นอยู่กับว่าใครเป็นคนพูด - เมื่อทำ "arithmetics" กับพวกเขา$\cal{O}(g)$

เมื่อพิสูจน์สิ่งต่าง ๆ ระวังที่จะทำงานกับคำจำกัดความที่แม่นยำของคุณ มีคำจำกัดความมากมายสำหรับสัญลักษณ์รถม้าสี่ล้อ (ทั้งหมดที่มีสัญชาตญาณพื้นฐานเดียวกัน) ซึ่งบางส่วนนั้นเทียบเท่ากับบางชุดในฟังก์ชั่น แต่ไม่ใช่ในสัญลักษณ์อื่น ๆ

การอ่านที่แนะนำ:

• กฎสำหรับสัญญาณเท่ากับ big-O และ little-o มีอะไรบ้าง
• ฟังก์ชั่นการเรียงลำดับตามการเติบโตของซีมโทติค
• O และΩเกี่ยวข้องกับกรณีที่เลวร้ายที่สุดและดีที่สุดได้อย่างไร?
• ซ้อนบิ๊กสัญกรณ์ O
• นิยามของสำหรับฟังก์ชันลบ$\Theta$
• ความหมายของคืออะไร? $O(m+n)$
  O (mn) ถูกพิจารณาว่าเป็นการเติบโต "เชิงเส้น" หรือ "กำลังสอง" หรือไม่?
• ผลรวมของข้อกำหนดของ Landau กลับมาอีกครั้ง
• O ใหญ่หมายถึงอะไรในฐานะเทอมของอัตราส่วนการประมาณ
• คำถามอื่น ๆ เกี่ยวกับasymptoticsและสัญญลักษณ์รถม้าสี่ล้อเป็นแบบฝึกหัด

หากคุณสนใจที่จะใช้สัญกรณ์ Landau ในลักษณะที่เข้มงวดและเข้มงวดคุณอาจสนใจงานล่าสุดของ Rutanen et al [1] พวกเขากำหนดเกณฑ์ที่จำเป็นและเพียงพอสำหรับการแสดงสัญลักษณ์แบบอะซิมโทติคตามที่เราใช้ในอัลกอริทึมแสดงให้เห็นว่าคำจำกัดความทั่วไปไม่สามารถตอบสนองพวกเขาได้และให้คำจำกัดความที่สามารถใช้งานได้

1. นิยามทั่วไปของ O-สัญกรณ์สำหรับการวิเคราะห์อัลกอริทึมโดย K. Rutanen และคณะ (2015)

Big O: ขอบบน

“ บิ๊กโอ” ( ) เป็นสิ่งที่พบได้บ่อยที่สุด เมื่อคุณวิเคราะห์ความซับซ้อนของอัลกอริทึมส่วนใหญ่สิ่งที่สำคัญคือการมีขอบเขตบนที่ว่าเวลารันไทม์จะเติบโตเร็วแค่ไหนเมื่อขนาดของอินพุตเพิ่มขึ้น โดยพื้นฐานแล้วเราต้องการทราบว่าการรันอัลกอริทึมจะไม่“ ใช้เวลานานเกินไป” เราไม่สามารถแสดงสิ่งนี้ในหน่วยเวลาตามจริง (วินาที) เพราะนั่นจะขึ้นอยู่กับการใช้งานที่แม่นยำ (วิธีที่โปรแกรมเขียนไว้คอมไพเลอร์ดีแค่ไหนหน่วยประมวลผลของเครื่องคือเท่าใด ... ) ดังนั้นเราประเมินสิ่งที่ไม่ขึ้นอยู่กับรายละเอียดดังกล่าวซึ่งใช้เวลานานกว่าในการเรียกใช้อัลกอริทึมเมื่อเราป้อนข้อมูลให้ใหญ่ขึ้น และเราใส่ใจเป็นหลักเมื่อเรามั่นใจได้ว่าโปรแกรมจะเสร็จสิ้นดังนั้นเรามักจะต้องการทราบว่าจะใช้เวลาหรือน้อยกว่านั้น$O$

จะบอกว่าอัลกอริทึมมีเวลาทำงานของสำหรับขนาดอินพุตหมายความว่ามีค่าคงที่บางอย่างเช่นอัลกอริทึมเสร็จสมบูรณ์ในขั้นตอนมากที่สุดขั้นตอนคือเวลาทำงาน ของอัลกอริธึมเติบโตเร็วที่สุดเท่า (สูงถึงปัจจัยการปรับสเกล) การสังเกตเวลาทำงานของอัลกอริทึมสำหรับขนาดอินพุต ,อย่างไม่เป็นทางการหมายความว่าขึ้นอยู่กับปัจจัยการปรับขนาดn K $O(f(n))$$n$$K$f T ( n ) n O ( n ) T ( n ) ≤ f ( n $K \, f(n)$$f$$T(n)$$n$$O(n)$$T(n) \le f(n)$

ขอบเขตล่าง

บางครั้งมันมีประโยชน์ที่จะมีข้อมูลมากกว่าขอบเขตบน คือการสนทนาของ : มันเป็นการแสดงออกว่าฟังก์ชั่นเติบโตอย่างน้อยเร็วกว่าอีกฟังก์ชันหนึ่ง หมายถึงสำหรับค่าคงที่บางส่วนหรือใส่อย่างไม่เป็นทางการขึ้น ถึงปัจจัยการปรับขนาดO T ( n ) = Ω ( g ( n ) ) T ( N ) ≥ K ′ g ( n ) K ′ T ( n ) ≥ g ( n $\Omega$$O$$T(n) = \Omega(g(n))$$T(N) \ge K' g(n)$$K'$$T(n) \ge g(n)$

เมื่อเวลาในการทำงานของอัลกอริธึมสามารถระบุได้อย่างแม่นยำรวมและ : มันเป็นการแสดงออกถึงอัตราการเติบโตของฟังก์ชั่นที่เป็นที่รู้จักจนถึงระดับการขยาย หมายความว่าสำหรับค่าคงที่บางและK'การพูดอย่างไม่เป็นทางการถึงปัจจัยการปรับขนาดO Ω T ( n ) = Θ ( h ( n ) ) K h ( n ) ≥ T ( n ) ≥ K ′ h ( n ) K K ′ T ( n ) ≈ h ( n $\Theta$$O$$\Omega$$T(n) = \Theta(h(n))$$K h(n) \ge T(n) \ge K' h(n)$$K$$K'$$T(n) \approx h(n)$

ข้อควรพิจารณาเพิ่มเติม

"น้อย"และใช้น้อยกว่ามากในการวิเคราะห์ความซับซ้อน ลิตเติ้ลแข็งแรงกว่าใหญ่ ; เมื่อแสดงถึงการเติบโตที่ไม่เร็วขึ้นบ่งชี้ว่าการเติบโตนั้นช้ากว่าอย่างเคร่งครัด ในทางกลับกันหมายถึงการเติบโตที่เร็วขึ้นอย่างเคร่งครัดω o O O o $o$$\omega$$o$$O$$O$$o$$\omega$

ฉันไม่เป็นทางการเล็กน้อยในการสนทนาด้านบน Wikipediaมีคำจำกัดความที่เป็นรูปแบบและวิธีการทางคณิตศาสตร์ที่มากขึ้น

โปรดทราบว่าการใช้เครื่องหมายเท่ากับในและสิ่งที่คล้ายกันคือเรียกชื่อผิด พูดอย่างเคร่งครัดเป็นชุดของฟังก์ชั่นของตัวแปรและเราควรจะเขียน(ฉ)$T(n) = O(f(n))$$O(f(n))$$n$$T \in O(f)$

ตัวอย่าง: อัลกอริทึมการเรียงลำดับบางอย่าง

เนื่องจากที่นี่ค่อนข้างแห้งขอผมยกตัวอย่าง ขั้นตอนวิธีการเรียงลำดับส่วนใหญ่จะมีกรณีที่เลวร้ายกำลังสองเวลาทำงานเช่นสำหรับการป้อนข้อมูลของขนาดเวลาการทำงานของอัลกอริทึมคือ2) ยกตัวอย่างเช่นการจัดเรียงตัวเลือกมีเวลาทำงานเพราะการเลือก TH องค์ประกอบต้องเปรียบเทียบสำหรับจำนวนเปรียบเทียบ ความเป็นจริงในจำนวนของการเปรียบเทียบอยู่เสมอว่าซึ่งเติบโตเป็น 2 ดังนั้นเราจึงสามารถจะแม่นยำมากขึ้นเกี่ยวกับความซับซ้อนเวลาของการจัดเรียงตัวเลือก: มันเป็น2)$n$$O(n^2)$$O(n^2)$$k$$n-k$$n(n-1)/2$$n(n-1)/2$$n^2$$\Theta(n^2)$

ตอนนี้ใช้เวลารวมการจัดเรียง การเรียงลำดับผสานยังเป็นกำลังสอง ( ) นี่เป็นเรื่องจริง แต่ไม่แม่นยำมาก การเรียงลำดับที่จริงแล้วมีเวลาทำงานของในกรณีที่เลวร้ายที่สุด เช่นเดียวกับการเลือกการเรียงลำดับการเรียงลำดับของการผสานนั้นเป็นอิสระจากรูปร่างของอินพุตและเวลาในการทำงานของมันคือถึงค่าคูณคูณคงที่นั่นคือ(n))$O(n^2)$$O(n \: \mathrm{lg}(n))$$n \: \mathrm{lg}(n)$$\Theta(n \: \mathrm{lg}(n))$

ถัดไปพิจารณาquicksort Quicksort ซับซ้อนกว่า เป็นอย่างแน่นอน นอกจากนี้กรณีที่เลวร้ายที่สุดของ quicksort เป็นกำลังสองคือกรณีที่เลวร้ายที่สุดคือ2) อย่างไรก็ตามกรณีที่ดีที่สุดของ quicksort (เมื่อมีการป้อนข้อมูลจะถูกจัดเรียงแล้ว) เป็นเส้นตรง: ดีที่สุดที่เราสามารถพูดได้ผูกพันลดการ quicksort ในทั่วไป(n) ฉันจะไม่ทำซ้ำหลักฐานนี่ แต่เฉลี่ยความซับซ้อนของ quicksort (ค่าเฉลี่ยเอาไปพีชคณิตเป็นไปได้ของการป้อนข้อมูล) เป็น(n))$O(n^2)$$\Theta(n^2)$$\Omega(n)$$\Theta(n \: \mathrm{lg}(n))$

มีผลลัพธ์ทั่วไปเกี่ยวกับความซับซ้อนของการเรียงลำดับอัลกอริทึมในการตั้งค่าทั่วไป สมมติว่าอัลกอริทึมการเรียงลำดับสามารถเปรียบเทียบสององค์ประกอบต่อครั้งพร้อมกับผลลัพธ์ใช่หรือไม่ (ทั้งหรือ ) จากนั้นจะเห็นได้ชัดว่าเวลาการทำงานของอัลกอริธึมการเรียงลำดับใด ๆ คือ (โดยที่คือจำนวนองค์ประกอบที่จะเรียงลำดับ) เนื่องจากอัลกอริทึมต้องเปรียบเทียบทุกองค์ประกอบอย่างน้อยหนึ่งครั้งเพื่อให้รู้ว่าเหมาะสม ขอบเขตที่ต่ำกว่านี้สามารถพบได้ตัวอย่างเช่นหากอินพุตได้รับการจัดเรียงแล้วและอัลกอริทึมจะเปรียบเทียบแต่ละองค์ประกอบกับองค์ประกอบถัดไปและทำให้เป็นระเบียบ (นั่นคือการเปรียบเทียบ ) สิ่งที่ชัดเจนน้อยกว่าก็คือจำเป็นต้องใช้เวลาสูงสุดในการทำงาน$x \le y$$x > y$$\Omega(n)$$n$$n-1$$\Omega(n \: \mathrm{lg}(n))$(n)) เป็นไปได้ว่าบางครั้งอัลกอริทึมจะทำการเปรียบเทียบน้อยลง แต่จะต้องมีค่าคงที่เช่นนั้นสำหรับขนาดอินพุตใด ๆมีอย่างน้อยหนึ่งอินพุตที่อัลกอริทึมทำมากกว่าเปรียบเทียบ แนวคิดของการพิสูจน์คือการสร้างแผนภูมิการตัดสินใจของอัลกอริทึมนั่นคือการติดตามการตัดสินใจของอัลกอริทึมที่ได้จากผลลัพธ์ของการเปรียบเทียบแต่ละครั้ง เนื่องจากการเปรียบเทียบแต่ละรายการส่งคืนผลลัพธ์ที่ใช่หรือไม่โครงสร้างการตัดสินใจจึงเป็นแผนภูมิแบบทวิภาค มีการเรียงสับเปลี่ยนที่เป็นไปได้ของอินพุตและอัลกอริทึมจำเป็นต้องแยกแยะระหว่างทั้งหมดดังนั้นขนาดของแผนภูมิการตัดสินใจคือ$K$$n$$K n \mathrm{lg}(n)$$n!$$n!$. เนื่องจากต้นไม้เป็นต้นไม้ไบนารีมันใช้ความลึกของเพื่อให้พอดีกับโหนดเหล่านี้ทั้งหมด ความลึกเป็นจำนวนสูงสุดของการตัดสินใจว่าวิธีจะใช้เวลาดังนั้นการเรียกใช้อัลกอริทึมที่เกี่ยวข้องอย่างน้อยนี้เปรียบเทียบหลายครั้งการทำงานสูงสุด(n))$\Theta(\mathrm{lg}(n!)) = \Theta(n\:\mathrm{lg}(n))$$\Omega(n \: \mathrm{lg}(n))$

¹ _{หรือการใช้ทรัพยากรอื่น ๆ เช่นพื้นที่หน่วยความจำ ในคำตอบนี้ฉันพิจารณาใช้เวลาเท่านั้น}

โดยทั่วไปแล้วใช้สำหรับระบุขอบเขตบน (การประมาณจากด้านบน) ในขณะที่ถูกใช้เพื่อระบุขอบเขตล่าง (การประมาณจากด้านล่าง) และจะใช้เมื่อจับคู่ซึ่งในกรณีนี้คุณสามารถใช้แทนที่พวกเขา (ปกติ) เพื่อระบุผลลัพธ์$O$$\Omega$$\Theta$$\Theta$