ฟังก์ชั่นการเรียงลำดับตามการเติบโตของซีมโทติค

สมมติว่าฉันมีรายการฟังก์ชั่นเช่น

$\qquad n^{\log \log(n)}, 2^n, n!, n^3, n \ln n, \dots$

ฉันจะจัดเรียงพวกเขาแบบไม่แสดงอาการได้อย่างไรเช่นหลังจากความสัมพันธ์ที่กำหนดโดย

$\qquad f \leq_O g \iff f \in O(g)$ ,

สมมติว่าพวกเขาเป็นคู่เปรียบเทียบจริง ๆ (ดูที่นี่ )? การใช้ความหมายของ$O$ดูเหมือนว่าอึดอัดและก็มักจะเป็นเรื่องยากที่จะพิสูจน์ได้ว่าการดำรงอยู่ของค่าคงที่ที่เหมาะสม$c$และ$n_0$ 0

นี่เป็นเรื่องเกี่ยวกับการวัดความซับซ้อนดังนั้นเราจึงสนใจพฤติกรรมแบบอะซิมโทติคในรูปแบบ$n \to +\infty$และเราคิดว่าฟังก์ชั่นทั้งหมดใช้เฉพาะค่าที่ไม่เป็นลบ ( $\forall n, f(n) \ge 0$ )

หากคุณต้องการการพิสูจน์ที่เข้มงวดบทแทรกต่อไปนี้มักจะเป็นประโยชน์ มีประโยชน์มากกว่าคำจำกัดความ

$c = \lim_{n\to\infty} \frac{f(n)}{g(n)}$

• $c=0 \qquad \ \,\iff f \in o(g)$ ,
• $c \in (0,\infty) \iff f \in \Theta(g)$และ
• $c=\infty \quad \ \ \ \iff f \in \omega(g)$(g)

ด้วยสิ่งนี้คุณควรจะสามารถสั่งซื้อฟังก์ชั่นส่วนใหญ่ในการวิเคราะห์อัลกอริทึมได้ เป็นการออกกำลังกายพิสูจน์มัน!

แน่นอนคุณต้องสามารถคำนวณขีด จำกัด ได้ เทคนิคที่มีประโยชน์บางอย่างในการแบ่งฟังก์ชั่นที่ซับซ้อนลงไปเป็นพื้นฐานคือ

• แสดงทั้งฟังก์ชั่นเป็นและเปรียบเทียบเลขชี้กำลัง ถ้าอัตราส่วนของพวกเขามีแนวโน้มที่จะหรือเชาวน์ดั้งเดิมก็เช่นกัน 0 $e^{\dots}$$0$$\infty$

• โดยทั่วไป: หากคุณมีฟังก์ชันนูน, หาอนุพันธ์ได้อย่างต่อเนื่องและเพิ่มฟังก์ชั่นอย่างเข้มงวดเพื่อให้คุณสามารถเขียนผลหารของคุณใหม่$h$

  $\qquad \displaystyle \frac{f(n)}{g(n)} = \frac{h(f^*(n))}{h(g^*(n))}$ ,

  ด้วยและ$g^* \in \Omega(1)$

  $\qquad \displaystyle \lim_{n \to \infty} \frac{f^*(n)}{g^*(n)} = \infty$ ,

  แล้วก็

  $\qquad \displaystyle \lim_{n \to \infty} \frac{f(n)}{g(n)} = \infty$\

  ^{ดูที่นี่สำหรับหลักฐานที่เข้มงวดของกฎนี้ (เป็นภาษาเยอรมัน)}

• พิจารณาความต่อเนื่องของฟังก์ชั่นของคุณเหนือ reals ตอนนี้คุณสามารถใช้กฎของL'Hôpitalได้แล้ว ระวังเงื่อนไขของมัน²!

• มีลักษณะที่เทียบเท่าต่อเนื่องเป็นสโตลซ์-Cesàro

• เมื่อแฟคทอเรียลปรากฏขึ้นให้ใช้สูตรของ Stirling :

  $\qquad \displaystyle n! \sim \sqrt{2 \pi n} \left(\frac{n}{e}\right)^n$

นอกจากนี้ยังมีประโยชน์ในการรักษาความสัมพันธ์ขั้นพื้นฐานที่คุณพิสูจน์หนึ่งครั้งและใช้บ่อยเช่น:

• ลอการิทึมเติบโตช้ากว่าพหุนามเช่น

  $\qquad\displaystyle (\log n)^\alpha \in o(n^\beta)$สำหรับทั้งหมด$\alpha, \beta > 0$

• คำสั่งของพหุนาม:

  $\qquad\displaystyle n^\alpha \in o(n^\beta)$สำหรับทั้งหมด$\alpha < \beta$

• ชื่อพหุนามเติบโตช้ากว่าเลขชี้กำลัง:

  $\qquad\displaystyle n^\alpha \in o(c^n)$สำหรับทุกและ1$\alpha$$c > 1$

---

มันสามารถเกิดขึ้นได้ว่าบทแทรกข้างต้นไม่สามารถใช้งานได้เนื่องจากไม่มีข้อ จำกัด (เช่นเมื่อฟังก์ชั่นการแกว่ง) ในกรณีนี้ให้พิจารณาคุณสมบัติของคลาสรถม้าสี่ล้อโดยใช้มะนาว superior / inferior :

ด้วยเรามี$c_s := \limsup_{n \to \infty} \frac{f(n)}{g(n)}$

• $0 \leq c_s < \infty \iff f \in O(g)$และ
• $c_s = 0 \iff f \in o(g)$(g)

ด้วยเรามี$c_i := \liminf_{n \to \infty} \frac{f(n)}{g(n)}$

• $0 < c_i \leq \infty \iff f \in \Omega(g)$และ
• $c_i = \infty \iff f \in \omega(g)$(g)

นอกจากนี้

• $0 < c_i,c_s < \infty \iff f \in \Theta(g) \iff g \in \Theta(f)$และ
• $c_i = c_s = 1 \iff f \sim g$ซิมกรัม

---

ตรวจสอบที่นี่และที่นี่ถ้าคุณกำลังสับสนกับสัญกรณ์ของฉัน

---

¹ Nota bene: เพื่อนร่วมงานของฉันเขียนฟังก์ชัน Mathematica ที่ทำสิ่งนี้ได้สำเร็จสำหรับหลาย ๆ ฟังก์ชั่นดังนั้นบทแทรกจึงลดงานการคำนวณทางกลลง

²ดูที่นี่ด้วย

เคล็ดลับอื่น: บางครั้งการใช้ฟังก์ชั่นเสียงเดียว (เช่นบันทึกหรือประสบการณ์) กับฟังก์ชั่นทำให้สิ่งต่าง ๆ ชัดเจนขึ้น

Skiena นำเสนอรายการเรียงลำดับของความสัมพันธ์ที่มีอิทธิพลระหว่างฟังก์ชันที่พบบ่อยที่สุดในหนังสือของเขา, คู่มือการออกแบบอัลกอริทึม:

$$n!\gg c^n \gg n^3 \gg n^2 \gg n^{1+\epsilon} \gg n \lg n \gg n \gg n^{1/2}$$ $$\gg \lg^2n \gg \lg n \gg \frac{\lg n}{\lg\lg n} \gg \lg\lg n \gg \alpha(n) \gg 1$$

นี่หมายถึงผกผัน Ackermann ฟังก์ชั่น$\alpha(n)$

เคล็ดลับ: วาดกราฟของฟังก์ชั่นเหล่านี้โดยใช้Wolfram Alphaเพื่อรับความรู้สึกว่ามันเติบโตอย่างไร โปรดทราบว่านี่ไม่แม่นยำมาก แต่ถ้าคุณลองเป็นจำนวนมากพอสมควรคุณควรเห็นรูปแบบการเติบโตเปรียบเทียบ แน่นอนว่านี่ไม่ใช่สิ่งทดแทนการพิสูจน์

เช่นลอง: พล็อตบันทึก (บันทึก (n)) จาก 1 ถึง 10,000เพื่อดูกราฟแต่ละกราฟหรือบันทึกพล็อต (บันทึก (n)) และบันทึกพล็อต (n) จาก 1 ถึง 10,000เพื่อดูการเปรียบเทียบ

ฉันขอแนะนำให้ดำเนินการตามคำจำกัดความของสัญลักษณ์ต่าง ๆ เริ่มด้วยนิพจน์โดยพลการบางคู่และกำหนดลำดับของนิพจน์ตามที่อธิบายไว้ด้านล่าง จากนั้นสำหรับแต่ละองค์ประกอบเพิ่มเติมให้ค้นหาตำแหน่งของมันในรายการที่เรียงลำดับโดยใช้การค้นหาแบบไบนารีและเปรียบเทียบดังนี้ ตัวอย่างเช่นลองเรียงและสองฟังก์ชันแรกของ n เพื่อเริ่มรายการ$n^{\log\log n}$$2^n$

เราใช้คุณสมบัติที่เพื่อเขียนนิพจน์แรกเป็นn} จากนั้นเราสามารถใช้นิยามเพื่อแสดงว่าเนื่องจากค่าคงที่ , มีเช่นว่าสำหรับ , n$n = 2^{\log n}$$n^{\log\log n} = (2^{\log n})^{\log\log n} = 2^{\log n\log\log n}$$n^{\log\log n} = 2^{\log n\log\log n} \in o(2^n)$$c > 0$$n_0$$n \geq n_0$$c(n^{\log\log n}) = c(2^{\log n\log\log n}) < 2^n$

ต่อไปเราพยายามที่ n เราเปรียบเทียบกับซึ่งเป็นองค์ประกอบที่ใหญ่ที่สุดที่เราวางไว้ ตั้งแต่เราก็แสดงให้เห็นว่า})$3^n$$2^n$$3^n = (2^{\log 3})^n = 2^{n\log3}$$2^n \in o(3^n) = o(2^{n \log 3})$

เป็นต้น

นี่คือรายการจากWikipediaที่ต่ำกว่าในตารางจะมีระดับความซับซ้อนที่ใหญ่กว่า

$$\begin{array}{|l|l|} \hline Name & \text{Running Time} \\ \hline \text{Constant time} & \mathcal{O}(1) \\ \text{Inverse Ackermann time} & \mathcal{O}(a(n)) \\ \text{Iterated logarithmic time} & \mathcal{O}(\log^*n) \\ \text{Log-logarithmic} & \mathcal{O}(n \log n) \\ \text{Logarithmic time} & \mathcal{O}(\log n) \\ \text{Polylogarithmic time} & poly(\log n) \\ \text{Fractional power} & \mathcal{O}(n^c) ,\text{where } 0<c<1 \\ \text{Linear time} & \mathcal{O}(n) \\ \text{"n log star n" time} & \mathcal{O}(n \log^* n) \\ \text{Quasilinear time} & \mathcal{O}(n \log n) \\ \text{Quadratic time} & \mathcal{O}(n^2) \\ \text{Cubic time} & \mathcal{O}(n^3) \\ \text{Polynomial time} & poly(n) = 2^{\mathcal{O}(\log n)} \\ \text{Quasi-polynomial time} & 2^{\mathcal{O}(poly(\log n))} \\ \text{Sub-exponential time (first definition)} & \mathcal{O}(2^{n^{\epsilon}}), \epsilon >0 \\ \text{Sub-exponential time (second definition)} & 2^{\mathcal{o}(n)}\\ \text{Exponential time(with linear exponent)} & 2^{\mathcal{O}(n)} \\ \text{Exponential time} & 2^{poly(n)} \\ \text{Factorial time} & \mathcal{O}(n!) \\\hline \end{array}$$

หมายเหตุ:$poly(x) = x^{\mathcal{O}(1)}$