มีอัลกอริธึมในโลกแห่งความเป็นจริงที่มีประสิทธิภาพสูงกว่าในชั้นเรียนด้านล่างหรือไม่? [ปิด]

เมื่อคืนฉันพูดคุยกับโปรแกรมเมอร์คนอื่นว่าถึงแม้บางอย่างอาจเป็น O (1) การดำเนินการที่เป็น O (n) อาจเหนือกว่าถ้ามีค่าคงที่ขนาดใหญ่ในอัลกอริทึม O (1) เขาไม่เห็นด้วยดังนั้นฉันจึงนำมันมาที่นี่

มีตัวอย่างของอัลกอริทึมที่มีประสิทธิภาพสูงกว่าในคลาสด้านล่างหรือไม่? ตัวอย่างเช่น O (n) เร็วกว่า O (1) หรือ O (n ² ) เร็วกว่า O (n)

ศาสตร์นี้สามารถแสดงให้เห็นถึงฟังก์ชั่นที่มีขอบเขตบนซีมโทติคเมื่อคุณมองข้ามปัจจัยคงที่ แต่อัลกอริทึมดังกล่าวมีอยู่ในป่าหรือไม่? และฉันจะหาตัวอย่างของพวกเขาได้ที่ไหน พวกเขาใช้สถานการณ์ประเภทใด

การค้นหาในตารางข้อมูลคงที่น้อยมาก ตารางแฮชที่ได้รับการปรับให้เหมาะสมอาจเป็น O (1) และยังช้ากว่าการค้นหาแบบไบนารีหรือแม้แต่การค้นหาแบบเชิงเส้นเนื่องจากค่าใช้จ่ายในการคำนวณแฮช

การคูณเมทริกซ์ อัลกอริทึมnaïve O (n ^ 3) มักใช้ในทางปฏิบัติเร็วกว่าของ O Strassen O (n ^ 2.8) สำหรับเมทริกซ์ขนาดเล็ก ish; และ Strassen's ถูกใช้แทน O (n ^ 2.3) Coppersmith – Winograd อัลกอริทึมสำหรับเมทริกซ์ขนาดใหญ่

ตัวอย่างง่ายๆคือความแตกต่างระหว่างอัลกอริทึมการเรียงลำดับ mergesort, heapsort และอื่น ๆ บางคนเป็นO (n log n) Quicksort เป็นกรณีที่แย่ที่สุดO (n ^ 2) แต่บ่อยครั้งที่ Quicksort เป็นเร็วขึ้นและในความเป็นจริงจะดำเนินการโดยเฉลี่ยเช่นO (n log n) ข้อมูลเพิ่มเติม

อีกตัวอย่างหนึ่งคือการสร้างหมายเลขฟีโบนัชชีเดียว อัลกอริทึมซ้ำเป็นO (n)ในขณะที่ขั้นตอนวิธีเมทริกซ์ที่ใช้เป็นO (log n) อย่างไรก็ตามสำหรับคู่แรกของตัวเลขฟีโบนักชีจำนวนหนึ่งอัลกอรึทึมซ้ำอาจเร็วกว่า นี้ยังขึ้นอยู่กับการใช้งานของหลักสูตร!

อัลกอริธึมที่มีประสิทธิภาพของซีมโทติคที่ดีกว่าอาจมีการดำเนินการที่มีค่าใช้จ่ายสูงซึ่งไม่จำเป็นสำหรับอัลกอริทึมที่มีประสิทธิภาพที่แย่กว่า ในท้ายที่สุดO-หมายเหตุจะบอกเราบางอย่างเกี่ยวกับประสิทธิภาพเมื่ออาร์กิวเมนต์นั้นทำงานเพิ่มขึ้นอย่างมาก (ใกล้ถึงอนันต์)

หมายเหตุ: โปรดอ่านความคิดเห็นโดย @ back2dos ด้านล่างและกูรูอื่น ๆ เนื่องจากพวกเขามีประโยชน์มากกว่าที่ฉันเขียน - ขอบคุณสำหรับผู้มีส่วนร่วมทุกคน

ผมคิดว่าจากแผนภูมิด้านล่าง (นำมาจาก: สัญกรณ์ Big Oค้นหา "ธรรมชาติในแง่ร้ายของอัลกอริทึม:") คุณจะเห็นว่า O (log n) ไม่ได้มักจะดีกว่าการพูด, O (n) ดังนั้นฉันคิดว่าข้อโต้แย้งของคุณถูกต้อง

สำหรับค่าจริงของnใช่ สิ่งนี้เกิดขึ้นมากมายในทฤษฎี CS บ่อยครั้งที่มีอัลกอริทึมที่ซับซ้อนซึ่งมีประสิทธิภาพการทำงานที่ดีกว่าโอ้ แต่ปัจจัยคงที่มีขนาดใหญ่มากจนทำให้ไม่สามารถทำได้

ครั้งหนึ่งฉันเคยใช้รูปทรงเรขาคณิตคำนวณศาสตราจารย์อธิบายถึงอัลกอริธึมสำหรับการคำนวณรูปหลายเหลี่ยมในเวลาเชิงเส้น แต่เขาก็จบด้วย "ซับซ้อนมากฉันไม่คิดว่าจะมีใครนำไปใช้จริง" (!!)

นอกจากนี้กอง fibonacci มีลักษณะดีกว่ากองปกติ แต่ไม่เป็นที่นิยมมากเพราะพวกเขาไม่ได้ดำเนินการเช่นเดียวกับในทางปฏิบัติเป็นประจำกอง สิ่งนี้สามารถเรียงซ้อนกับอัลกอริธึมอื่น ๆ ที่ใช้ฮีป - ตัวอย่างเช่นเส้นทางที่สั้นที่สุดของ Dijkstra นั้นเร็วกว่าในทางคณิตศาสตร์ด้วยฟีโบนัชชีฮีป แต่โดยทั่วไปแล้วไม่ใช่ในทางปฏิบัติ

เปรียบเทียบการแทรกลงในรายการที่เชื่อมโยงและแทรกลงในอาร์เรย์ที่ปรับขนาดได้

จำนวนของข้อมูลจะต้องมีขนาดใหญ่พอสมควรสำหรับการแทรกรายการ O (1) ที่เชื่อมโยงให้คุ้มค่า

รายการที่เชื่อมโยงมีค่าใช้จ่ายเพิ่มเติมสำหรับตัวชี้และการลงทะเบียนถัดไป อาร์เรย์ที่ปรับขนาดได้จะต้องคัดลอกข้อมูลไปรอบ ๆ การคัดลอกนั้นคือ O (n) แต่ในทางปฏิบัติเร็วมาก

สัญกรณ์ Big-Oh ใช้เพื่ออธิบายอัตราการเติบโตของฟังก์ชั่นดังนั้นจึงเป็นไปได้ว่าอัลกอริทึม O (1) จะเร็วขึ้น แต่ขึ้นอยู่กับบางจุดเท่านั้น (ปัจจัยคงที่)

สัญลักษณ์ทั่วไป:

O (1) - จำนวนการวนซ้ำ (บางครั้งคุณสามารถอ้างถึงสิ่งนี้ว่าเวลาที่ผู้ใช้ใช้โดยฟังก์ชั่น) ไม่ได้ขึ้นอยู่กับขนาดของอินพุตและเป็นค่าคงที่ในความเป็นจริง

O (n) - จำนวนการวนซ้ำเพิ่มขึ้นในสัดส่วนเชิงเส้นตามขนาดของอินพุต ความหมาย - หากอัลกอริทึมวนซ้ำผ่านอินพุต N, 2 * N เท่าใดก็จะถือว่าเป็น O (n)

O (n ^ 2) (กำลังสอง) - จำนวนการวนซ้ำคือขนาดอินพุตกำลังสอง

ห้องสมุด regex มักจะมีการดำเนินการที่จะทำย้อนรอยซึ่งมีกรณีที่เลวร้ายเวลาชี้แจงมากกว่ารุ่น DFA O(nm)ซึ่งมีความซับซ้อนของ

การย้อนรอยแบบไร้เดียงสาสามารถเป็นนักแสดงที่ดีกว่าเมื่ออินพุตอยู่บนเส้นทางที่เร็วหรือล้มเหลวโดยไม่จำเป็นต้องย้อนรอยมากเกินไป

(แม้ว่าการตัดสินใจครั้งนี้ไม่ได้ขึ้นอยู่กับประสิทธิภาพเท่านั้น แต่ยังอนุญาตให้มีการอ้างอิงย้อนหลัง)

O(1)ขั้นตอนวิธีการ:

def constant_time_algorithm
  one_million = 1000 * 1000
  sleep(one_million) # seconds
end

O(n)ขั้นตอนวิธีการ:

def linear_time_algorithm(n)
  sleep(n) # seconds
end

เห็นได้ชัดว่าสำหรับค่าใด ๆnที่n < one_millionในO(n)ขั้นตอนวิธีการที่กำหนดในตัวอย่างจะได้เร็วขึ้นกว่าO(1)อัลกอริทึม

ในขณะที่ตัวอย่างนี้ค่อนข้างน่ากลัว แต่ก็เทียบเท่ากับวิญญาณต่อไปนี้เป็นตัวอย่าง:

def constant_time_algorithm
  do_a_truckload_of_work_that_takes_forever_and_a_day
end

def linear_time_algorithm(n)
  i = 0
  while i < n
    i += 1
    do_a_minute_amount_of_work_that_takes_nanoseconds
  end
end

คุณต้องรู้จักค่าคงที่และค่าสัมประสิทธิ์ในOนิพจน์ของคุณและคุณต้องรู้ช่วงที่คาดหวังไว้nเพื่อกำหนดนิรนัยที่อัลกอริทึมจะจบลงด้วยการเร็วขึ้น

มิฉะนั้นคุณจะต้องเกณฑ์มาตรฐานทั้งสองขั้นตอนวิธีการที่มีค่าของnในช่วงที่คาดหวังเพื่อที่จะกำหนดposterioriขั้นตอนวิธีจบลงด้วยการได้เร็วขึ้น

เรียงลำดับ:

การเรียงลำดับการแทรกคือ O (n ^ 2) แต่มีประสิทธิภาพสูงกว่าอัลกอริทึมการเรียงลำดับ O (n * log (n)) อื่น ๆ สำหรับองค์ประกอบจำนวนน้อย

นี่คือเหตุผลที่การใช้งานการเรียงลำดับส่วนใหญ่ใช้การรวมกันของสองอัลกอริทึม เช่นใช้การผสานการเรียงเพื่อแยกอาร์เรย์ขนาดใหญ่จนกว่าจะถึงอาร์เรย์ขนาดที่กำหนดจากนั้นใช้การเรียงลำดับการเรียงเพื่อเรียงลำดับหน่วยที่เล็กลงและผสานอีกครั้งด้วยการเรียงลำดับการผสาน

ดูTimsortการใช้งานเริ่มต้นปัจจุบันของการเรียงลำดับ Python และ Java 7 ที่ใช้เทคนิคนี้

ผสมผสานขั้นตอนวิธีการใช้ในการปฏิบัติคือการชี้แจงในกรณีที่เลวร้ายที่สุดสำหรับปัจจัยการผลิตทางพยาธิวิทยาบาง

มีอัลกอริทึมการรวมพหุนามแต่มันช้าเกินไปในทางปฏิบัติ

Bubblesort ในหน่วยความจำสามารถทำได้ดีกว่า quicksort เมื่อโปรแกรมถูกสลับไปยังดิสก์หรือจำเป็นต้องอ่านทุกรายการจากดิสก์เมื่อเปรียบเทียบ

นี่ควรเป็นตัวอย่างที่เขาสามารถเกี่ยวข้องได้

บ่อยครั้งที่อัลกอริธึมขั้นสูงจะถือว่ามีการตั้งค่า (แพง) จำนวนหนึ่ง หากคุณจำเป็นต้องเรียกใช้เพียงครั้งเดียวคุณอาจทำได้ดีกว่าด้วยวิธีการบังคับแบบเดรัจฉาน

ตัวอย่างเช่น: การค้นหาแบบไบนารีและการค้นหาตารางแฮชจะเร็วกว่ามากต่อการค้นหาจากนั้นเป็นการค้นหาแบบเชิงเส้น แต่ต้องการให้คุณเรียงลำดับรายการหรือสร้างตารางแฮชตามลำดับ

การเรียงลำดับจะทำให้คุณเสียค่าใช้จ่าย N log (N) และตารางแฮชจะมีค่าใช้จ่ายอย่างน้อย N ตอนนี้ถ้าคุณกำลังทำการค้นหาหลายร้อยหรือหลายพันการค้นหา แต่ถ้าคุณต้องการค้นหาเพียงหนึ่งหรือสองครั้งมันอาจสมเหตุสมผลที่จะทำการค้นหาเชิงเส้นและประหยัดต้นทุนเริ่มต้น

การถอดรหัสมักจะเป็น 0 (1) ตัวอย่างเช่นพื้นที่ที่สำคัญสำหรับ DES คือ 2 ^ 56 ดังนั้นการถอดรหัสข้อความใด ๆ เป็นการดำเนินการเวลาคงที่ เป็นเพียงว่าคุณมีปัจจัย 2 ^ 56 อยู่ในนั้นดังนั้นมันคงที่ใหญ่มาก

การใช้งานที่แตกต่างกันของชุดฤดูใบไม้ผลิในใจของฉัน หนึ่งในความไร้เดียงสาที่สุดคือการนำมันไปใช้กับเวกเตอร์ซึ่งมีความหมายremoveเช่นกันcontainsและดังนั้นจึงaddใช้ O (N) ด้วย
อีกทางเลือกหนึ่งคือนำไปใช้กับแฮชของวัตถุประสงค์ทั่วไปซึ่งจะแมปแฮชอินพุตกับค่าอินพุต ดังกล่าวดำเนินการการดำเนินงานชุดกับ O (1) สำหรับadd, และcontainsremove

หากเราสมมติว่า N มีค่าประมาณ 10 หรือมากกว่านั้นการปรับใช้ครั้งแรกอาจจะเร็วกว่า สิ่งที่ต้องทำเพื่อค้นหาองค์ประกอบคือการเปรียบเทียบ 10 ค่ากับหนึ่ง
การใช้งานอื่น ๆ จะต้องเริ่มต้นการเปลี่ยนแปลงที่ชาญฉลาดทุกประเภทซึ่งอาจมีราคาแพงกว่าการเปรียบเทียบ 10 รายการ ด้วยค่าใช้จ่ายทั้งหมดคุณอาจพลาดแคชและจริงๆแล้วมันไม่สำคัญว่าวิธีแก้ปัญหาของคุณเร็วแค่ไหนในทางทฤษฎี

นี่ไม่ได้หมายความว่าการใช้งานที่เลวร้ายที่สุดที่คุณสามารถนึกได้จะมีประสิทธิภาพสูงกว่าการใช้งานที่ดีถ้า N มีขนาดเล็กพอ มันมีความหมายเพียงอย่างเดียวสำหรับ N ที่มีขนาดเล็กอย่างเพียงพอซึ่งการใช้งานแบบไร้เดียงสาที่มีขนาดเล็กและค่าใช้จ่ายต่ำอาจต้องการคำแนะนำน้อยกว่า

คุณไม่สามารถรู้ได้อย่างรวดเร็วว่ามีอะไรอยู่ในสถานการณ์โลกแห่งความเป็นจริงจนกว่าคุณจะนำมันมาเป็นหนึ่งเดียว บ่อยครั้งที่ผลลัพธ์เป็นสิ่งที่น่าประหลาดใจ (อย่างน้อยสำหรับฉัน)

ใช่สำหรับขนาดเล็กที่เหมาะสม N จะมี N ด้านบนซึ่งคุณจะมีลำดับ O (1) <O (lg N) <O (N) <O (N log N) <O (N ^ c ) <O (c ^ N) (โดยที่ O (1) <O (lg N) หมายความว่าที่อัลกอริทึม O (1) จะทำงานน้อยลงเมื่อ N มีขนาดใหญ่พอสมควรและ c เป็นค่าคงที่คงที่ที่มากกว่า 1 )

สมมติว่าอัลกอริทึมเฉพาะ O (1) ใช้การดำเนินงาน f (N) = 10 ^ 100 (a googol) อย่างแน่นอนและอัลกอริทึม O (N) ใช้ g (N) = 2 N + 5 การดำเนินการทุกประการ อัลกอริทึม O (N) จะให้ประสิทธิภาพที่ดีกว่าจนกว่าคุณ N จะเป็น googol (โดยทั่วไปเมื่อ N> (10 ^ 100 - 5) / 2) ดังนั้นหากคุณคาดหวังว่า N จะอยู่ในช่วง 1,000 ถึงพันล้านคุณ จะได้รับโทษอย่างรุนแรงโดยใช้อัลกอริทึม O (1)

หรือสำหรับการเปรียบเทียบที่เหมือนจริงสมมติว่าคุณกำลังคูณตัวเลข n หลักด้วยกัน Karatsuba อัลกอริทึมที่มากที่สุด 3 n ^ (LG 3) การดำเนินงาน (นั่นคือประมาณ O (n ^ 1.585)) ในขณะที่ขั้นตอนวิธี schonhage-strassenเป็น O (n log n log log n) ซึ่งเป็นคำสั่งซื้อได้เร็วขึ้นแต่จะอ้าง วิกิพีเดีย:

ในทางปฏิบัติอัลกอริธึมSchönhage – Strassen เริ่มมีประสิทธิภาพสูงกว่าวิธีเก่าเช่น Karatsuba และ Toom – Cook การคูณสำหรับตัวเลขที่เกิน 2 ^ 2 ^ 15 ถึง 2 ^ 2 ^ 17 (10,000 ถึง 40,000 ทศนิยม) [4] [5] [6] ]

ดังนั้นหากคุณคูณตัวเลข 500 หลักด้วยกันมันไม่สมเหตุสมผลเลยที่จะใช้อัลกอริธึมที่ "เร็วขึ้น" โดยอาร์กิวเมนต์ O ขนาดใหญ่

แก้ไข: คุณสามารถค้นหา f (N) เปรียบเทียบ g (N), โดยการ จำกัด N-> อนันต์ของ f (N) / g (N) หากขีด จำกัด คือ 0 ดังนั้น f (N) <g (N), ถ้าขีด จำกัด นั้นไม่มีที่สิ้นสุดดังนั้น f (N)> g (N), และถ้าขีด จำกัด เป็นค่าคงที่อื่นแล้ว f (N) ~ g (N) ในแง่ของสัญกรณ์ O ใหญ่

วิธีซิมเพล็กสำหรับการเขียนโปรแกรมเชิงเส้นสามารถชี้แจงในกรณีที่เลวร้ายที่สุดในขณะที่อัลกอริธึมจุดภายในค่อนข้างใหม่สามารถเป็นพหุนาม

อย่างไรก็ตามในทางปฏิบัติกรณีเลวร้ายที่สุดแบบเอ็กซ์โปเนนเชียลสำหรับวิธี simplex ไม่ได้เกิดขึ้น - วิธี simplex นั้นรวดเร็วและเชื่อถือได้ในขณะที่อัลกอริธึมภายในจุดเริ่มต้นช้าเกินไปที่จะแข่งขัน (ขณะนี้มีอัลกอริธึมจุดตกแต่งภายในที่ทันสมัยกว่าซึ่งสามารถแข่งขันได้ - แต่วิธี simplex ก็เช่นกัน ... )

อัลกอริทึมของการสร้างส่วนต่อท้ายของ Ukkonen คือ O (n log n) มันมีข้อดีของการเป็น "ออนไลน์" - นั่นคือคุณสามารถเพิ่มข้อความเพิ่มเติม

เมื่อเร็ว ๆ นี้อัลกอริธึมที่ซับซ้อนกว่านี้อ้างได้ว่าเร็วกว่าในทางปฏิบัติส่วนใหญ่เป็นเพราะการเข้าถึงหน่วยความจำของพวกเขามีตำแหน่งที่สูงกว่า ดูเช่นการสำรวจนี้ซึ่งอ้างว่า 70-80% ของเวลาการประมวลผลใช้เวลารอหน่วยความจำและกระดาษนี้อธิบายอัลกอริทึม "wotd"

คำต่อท้ายพยายามมีความสำคัญในพันธุศาสตร์ (สำหรับการจับคู่ลำดับของยีน) และที่สำคัญน้อยกว่าในการดำเนินการตามพจนานุกรม Scrabble

มีอัลกอริทึมที่เร็วที่สุดและสั้นที่สุดเสมอสำหรับปัญหาที่กำหนดไว้อย่างดี มันเป็นเพียงแค่อัลกอริทึมที่เร็วที่สุด

ได้รับรายละเอียดใด ๆ ของปัญหาPและอินสแตนซ์สำหรับปัญหาที่ผมก็ระบุขั้นตอนวิธีการที่เป็นไปได้ทั้งหมดและพิสูจน์Pr , การตรวจสอบแต่ละคู่ดังกล่าวไม่ว่าจะเป็นพีอาร์เป็นหลักฐานที่ถูกต้องที่เป็นอัลกอริทึม asymptotically ที่เร็วที่สุดสำหรับP หากพบหลักฐานดังกล่าวมันก็รันบนผม

การค้นหาคู่ที่มีปัญหานี้มีความซับซ้อน O (1) (สำหรับปัญหาที่คงที่P ) ดังนั้นคุณจึงใช้อัลกอริทึมที่เร็วที่สุดในการแก้ปัญหา asymptotically เสมอ อย่างไรก็ตามเนื่องจากค่าคงที่นี้มีขนาดใหญ่มากจนแทบไม่น่าเชื่อในเกือบทุกกรณีวิธีนี้จึงไร้ประโยชน์อย่างสมบูรณ์ในทางปฏิบัติ

หลายภาษา / กรอบใช้การจับคู่แบบไร้เดียงสาที่จะตรงกับสตริงแทนเคเอ็มพี เรามองหาสตริงเช่น Tom, New York แทนที่จะเป็น ababaabababababababababababab