อัลกอริทึมที่มีประสิทธิภาพคืออะไร?

จากมุมมองของพฤติกรรมแบบซีมโทติควิธีใดที่ถือว่าเป็น "ประสิทธิภาพ" อัลกอริทึม? มาตรฐาน / เหตุผลในการวาดเส้นตรงนั้นคืออะไร? โดยส่วนตัวแล้วฉันคิดว่าอะไรก็ตามที่เป็นสิ่งที่ฉันเรียกว่า "พหุนามย่อย" อย่างไร้เดียงสาเช่นนั้น$f(n) = o(n^2)$ เช่น $n^{1+\epsilon}$ จะมีประสิทธิภาพและอะไรก็ตามที่เป็น $\Omega(n^2)$จะเป็น "ไม่มีประสิทธิภาพ" อย่างไรก็ตามฉันได้ยินอะไรก็ตามที่มีคำสั่งพหุนามเรียกว่ามีประสิทธิภาพ อะไรคือเหตุผล

ขึ้นอยู่กับบริบท ในวิทยาการคอมพิวเตอร์เชิงทฤษฎีโดยปกติอัลกอริธึมเวลาพหุนามทุกอันถือว่ามีประสิทธิภาพ ในขั้นตอนวิธีการประมาณเช่นรันไทม์ของ$n^{1/\epsilon^{1/\epsilon}}$ จะถือว่ามีประสิทธิภาพแม้ว่าจะไม่สามารถใช้งานได้ในทางปฏิบัติสำหรับมูลค่าที่เหมาะสมของ $\epsilon$. อัลกอริทึมสำหรับ SAT ที่ทำงาน$n^{2^{100}}$ จะเป็นการพัฒนาที่น่าอัศจรรย์

ในอัลกอริทึมแบบคลาสสิกนั่นคืออัลกอริธึมจากยุค 80 และก่อนหน้านี้รันไทม์ด้านล่าง $n^3$หรือดังนั้น (คิดว่าการคูณเมทริกซ์การจับคู่ราคาต่ำสุดการไหลการเขียนโปรแกรมเชิงเส้น) ถือว่ามีประสิทธิภาพ พวกเขายังถือว่ามีประสิทธิภาพโดยคนส่วนใหญ่ฉันจะบอกว่า แน่นอน$n^2$ อัลกอริทึมไม่ถือว่ามีประสิทธิภาพถ้า $n\log n$ อัลกอริทึมเป็นที่รู้จักเช่นการเรียงลำดับเช่น

ทุกวันนี้มีแนวโน้มว่าจะเกิดอัลกอริธึมย่อยหรืออัลกอริธึมการสตรีมที่สามารถจัดการกับเทราไบต์ของข้อมูลได้ ลองใช้การคูณเมทริกซ์เพื่อคำนวณอันดับของหน้าของทุกหน้าในดัชนีของ Google นั่นไม่ได้ผล

แน่นอนว่าในขณะที่มีประโยชน์แน่นอนรันไทม์เชิงซีกของอัลกอริทึมไม่ได้บอกเรื่องราวทั้งหมด มีอัลกอริธึมที่มีรันไทม์แบบ asymptotic ที่ดี แต่ค่าคงที่ที่ใหญ่มากจนไม่สามารถใช้ได้อย่างมีประสิทธิภาพ เคย ลิปตันเรียกพวกเขากาแล๊กซี่อัลกอริทึม โรเบิร์ตเซดจ์วิกแม้ระบุว่าเลวร้ายที่สุดขอบเขตกรณีคือ "มักจะไร้ประโยชน์สำหรับการทำนายมักจะไร้ประโยชน์สำหรับการค้ำประกัน" และ "การวิเคราะห์กรณีที่เลวร้ายที่สุดจะไม่ได้ผลในการทำนายผลการดำเนินงาน" ในการพูดคุยของเขาวางวิทยาศาสตร์กลับเป็นวิทยาการคอมพิวเตอร์

2 เซ็นต์ของฉันจากมุมของอัลกอริทึมแบบกระจาย: เมื่อดูที่เครือข่ายขนาดใหญ่ (P2P, เครือข่ายทางสังคมและอื่น ๆ ) อัลกอริทึมแบบกระจายจะถือว่ามีประสิทธิภาพหากเวลาทำงานของมันคือ$O(\log^c n)$ สำหรับบางค่าคงที่ $c>0$ และอัลกอริทึมใช้ข้อความของ$O(\log n)$เกร็ด โปรดทราบว่าข้อกำหนดเกี่ยวกับขนาดข้อความมักจะให้ความสำคัญมากกว่าเวลาทำงานโดยเฉพาะอย่างยิ่งสำหรับปัญหา "ทั่วโลก" ที่มีขอบเขตล่างที่ใหญ่กว่าในเวลาทำงานเช่น MST แบบกระจาย

เหตุผลที่อยู่เบื้องหลังก็คือจากมุมมองพฤติกรรมเชิงซีโมติกอัตราการเติบโตของพหุนามนั้นน้อยกว่าอัตราการเติบโตของพหุนามเล็กน้อย ในทางปฏิบัติอัลกอริธึมเวลาแบบพหุนามวิ่งเร็วกว่าอัลกอริธึมแบบพหุนามแบบเร็วมากเมื่อขนาดอินพุตเพิ่มขึ้น

แน่นอนว่าไม่มีใครจะพูดได้ว่าอัลกอริทึมที่มีความซับซ้อนของพหุนามยกตัวอย่างเช่น $O(n^{2000})$ คือ "มีประสิทธิภาพ" แต่อัลกอริธึมส่วนใหญ่แทบจะไม่ซับซ้อนเกินกว่าความซับซ้อนของ $O(n^5)$.

การพิจารณาในทางปฏิบัติอาจทำให้คุณพูดอย่างนั้นได้ $O(n^2)$ไม่มีประสิทธิภาพในการประมวลผลอินพุตที่มีขนาดใหญ่มากและนี่คือเหตุผลที่เราพยายามพิสูจน์ขอบเขตที่ต่ำกว่าและออกแบบอัลกอริธึมตามลำดับที่ตรงกับขอบเขตล่างเหล่านี้ในด้านหนึ่งและใช้อัลกอริทึมแบบขนานในอีกด้านหนึ่ง สำหรับปัญหาบางอย่างหากคุณยินดีที่จะรับการรับประกันความน่าจะเป็นคุณอาจได้รับประโยชน์จากอัลกอริธึมย่อยเชิงเส้น (เร็วมาก แต่อาจล้มเหลวในการให้คำตอบที่ถูกต้องพร้อมความน่าจะเป็นเล็กน้อย)

ในทางทฤษฎีแล้วอัลกอริทึมได้รับการกล่าวขานว่ามีประสิทธิภาพหากเวลาที่เลวร้ายที่สุดในกรณีที่ถูก จำกัด ขอบเขตโดยพหุนามในความยาวของอินพุต เหตุผลที่เป็นพหุนามมีคุณสมบัติการปิดที่ดี การเพิ่มการทวีคูณการเขียนชื่อพหุนามเป็นการดำเนินการที่ให้ผลเป็นพหุนามและสิ่งเหล่านี้เป็นสิ่งที่ดีหากคุณกำลังลดปัญหาซึ่งกันและกัน

แน่นอนว่าช่องว่างระหว่างพหุนามและเลขชี้กำลังนั้นใหญ่มากเมื่อความยาวอินพุตเพิ่มขึ้นดังนั้นอัลกอริธึมเวลาพหุนามจึงดีขึ้น ในทางปฏิบัติอัลกอริทึมเวลาพหุนามอาจใช้เวลานานก่อนที่จะสิ้นสุด แต่อาจเป็นกรณีที่มันเป็นอัลกอริทึมที่ดีที่สุด (ดีที่สุดที่เป็นไปได้) ซึ่งในกรณีนี้ฉันจะบอกว่ามันมีประสิทธิภาพ

ปัญหาบางอย่างง่ายบางปัญหา การอัลกอริทึมนั้น "มีประสิทธิภาพ" หรือไม่นั้นขึ้นอยู่กับว่ามันถูกเปรียบเทียบกับความซับซ้อนของปัญหาหรือไม่ หากคุณพบอัลกอริทึมที่คำนึงถึงตัวเลข n หลักใด ๆ ใน O ($n^3$) การดำเนินการและฉันพบอัลกอริทึมที่เรียงลำดับหมายเลข n ใน O ($n^2$) การดำเนินการแล้วอัลกอริทึมของคุณจะมีประสิทธิภาพมากขึ้น (เพราะมันเป็นอะไรที่มนุษย์รู้จากปัจจัยขนาดใหญ่ในขณะที่ของฉันช้าเท่าที่คุณคาดหวังจากมือใหม่)