ความซับซ้อนของการหา Eigendecomposition ของเมทริกซ์

คำถามของฉันง่าย:

ที่เลวร้ายที่สุดกรณีที่เวลาการทำงานของอัลกอริทึมที่รู้จักกันดีที่สุดสำหรับการคำนวณคืออะไรeigendecompositionของ$n \times n$เมทริกซ์?

eigendecomposition ลดการคูณเมทริกซ์หรือเป็นอัลกอริทึมที่รู้จักกันดี$O(n^3)$ (ผ่านSVD ) ในกรณีที่เลวร้ายที่สุด?

โปรดทราบว่าฉันขอการวิเคราะห์กรณีที่เลวร้ายที่สุด (เฉพาะในแง่ของ$n$ ) ไม่ใช่ขอบเขตที่มีค่าคงที่ที่ขึ้นกับปัญหาเช่นหมายเลขเงื่อนไข

แก้ไข : ให้บางส่วนของคำตอบดังต่อไปนี้ให้ฉันปรับคำถาม: ฉันมีความสุขกับ -approximation การประมาณนั้นอาจเป็นแบบหลายแบบเพิ่มแบบเข้าทางหรือแบบใดก็ตามที่คุณต้องการ ฉันสนใจถ้ามีอัลกอริธึมที่รู้จักซึ่งพึ่งพาnได้ดีกว่าO ( p o l y ( 1 / ϵ ) n 3 ) ?$\epsilon$$n$$O(\mathrm{poly}(1/\epsilon)n^3)$

แก้ไข 2 : ดูคำถามที่เกี่ยวข้องนี้บนเมทริกซ์สมมาตร

Ryan ตอบคำถามคล้ายกันใน mathoverflow นี่คือลิงค์: mathoverflow-answer

โดยทั่วไปคุณสามารถลดการคำนวณค่าลักษณะเฉพาะเพื่อการคูณเมทริกซ์โดยการคำนวณตัวกำหนดเชิงสัญลักษณ์ นี่จะทำให้เวลาทำงานของ O ( ) เพื่อรับค่าบิตของค่าลักษณะเฉพาะ ที่ดีที่สุดรันไทม์ที่รู้จักกันในปัจจุบันคือ O ( ) สำหรับการประมาณภายในข}$n^{\omega+1}m$$m$$n^3+n^2\log^2 n\log b$$2^{-b}$

การอ้างอิงของ Ryan คือ `` Victor Y. Pan, Zhao Q. Chen: ความซับซ้อนของ Matrix Eigenproblem STOC 1999: 507-516 ''

(ฉันเชื่อว่ายังมีการอภิปรายเกี่ยวกับความสัมพันธ์ระหว่างความซับซ้อนของค่าลักษณะเฉพาะและการคูณเมทริกซ์ใน Aho, Hopcroft และหนังสือ Ullman รุ่นเก่า `` การออกแบบและวิเคราะห์อัลกอริทึมคอมพิวเตอร์ '' อย่างไรก็ตามฉันไม่มีหนังสือใน ข้างหน้าฉันและฉันไม่สามารถให้หมายเลขหน้าที่แน่นอนแก่คุณ)

การค้นหาค่าลักษณะเฉพาะนั้นเป็นกระบวนการวนซ้ำ: การค้นหาค่าลักษณะเฉพาะนั้นเทียบเท่ากับการค้นหารากของพหุนาม ยิ่งไปกว่านั้นทฤษฎีของ Abel – Ruffini กล่าวว่าโดยทั่วไปแล้วคุณไม่สามารถแสดงรากของพหุนามโดยพลการในรูปแบบปิดแบบง่าย ๆ (เช่นกับอนุมูลเช่นสูตรสมการกำลังสอง) ดังนั้นคุณจึงไม่สามารถคาดหวังในการคำนวณค่าลักษณะเฉพาะ "อย่างแน่นอน"

ซึ่งหมายความว่าอัลกอริทึมการสลายตัวทางสเปกตรัมจะต้องประมาณ เวลาทำงานของอัลกอริทึมทั่วไปจะต้องขึ้นอยู่กับความถูกต้องที่ต้องการ มันไม่สามารถพึ่งพามิตินี้ได้

ฉันไม่ใช่ผู้เชี่ยวชาญในเรื่องนี้ ฉันเดาว่าการพึ่งพาลูกบาศก์กับ n นั้นค่อนข้างดี อัลกอริทึมที่ฉันเห็นทั้งหมดใช้การคูณเมทริกซ์เวกเตอร์แทนที่จะเป็นการคูณเมทริกซ์เมทริกซ์ ดังนั้นฉันจะแปลกใจถ้ามันเพิ่มการคูณเมทริกซ์

ดูที่ http://en.wikipedia.org/wiki/List_of_numerical_analysis_topics#Eigenvalue_algorithms

ฉันจะให้คำตอบเพียงบางส่วนที่เกี่ยวข้องกับค่าลักษณะเฉพาะของเมทริกซ์

ดังที่ได้กล่าวไปแล้วก่อนหน้านี้มีวิธีการวนซ้ำหลายวิธีในการค้นหาค่าลักษณะเฉพาะของเมทริกซ์ (เช่นการทำซ้ำพลัง) แต่โดยทั่วไปการหาค่าลักษณะเฉพาะลดการค้นพบรากของพหุนามลักษณะ การค้นหาพหุนามลักษณะสามารถทำได้ในโดยที่เป็นค่าใช้จ่ายของการคูณบิตและคือขนาดบิตของรายการสูงสุดโดย a สัญลักษณ์การคำนวณโดยใช้ปัจจัยBAREISS ของอัลกอริทึม ดูหนังสือของ Yap เกี่ยวกับ"ความรู้พื้นฐานของพีชคณิตขั้นตอนวิธี"โดยเฉพาะChap 10 "ระบบเชิงเส้น"$O(n^3 M_B[n(log n + L)] )$$M_B(s)$$s$$L$

เมื่อพบพหุนามลักษณะแล้วเราสามารถหารากได้ในระดับความแม่นยำที่ต้องการโดยใช้การแยกช่วงเวลา ดูหนังสือของ Yap, Chap 6 "Roots of Polynomials"สำหรับรายละเอียด ฉันลืมเวลาทำงานที่แน่นอน แต่พหุนามในระดับพหุนามลักษณะและตัวเลขของความแม่นยำที่ต้องการ

ฉันสงสัยว่าการคำนวณ eigenvector ถึงความแม่นยำระดับใดก็เป็นพหุนาม แต่ฉันไม่เห็นอัลกอริธึมตรงไปตรงมา แน่นอนว่ามีกระเป๋ามาตรฐานของกลอุบายที่ได้กล่าวถึงก่อนหน้านี้ แต่เท่าที่ฉันรู้ว่าไม่มีใครรับประกันเวลาวิ่งพหุนามเพื่อความแม่นยำที่ต้องการ

คุณสามารถตรวจสอบกระดาษใหม่โดย Commandur และ Kale ซึ่งให้อัลกอริทึม combinatorial สำหรับ Max-Cut ดูเหมือนว่า (จากการอ่านคร่าวๆ) ว่าอัลกอริทึมของพวกเขาอยู่บนพื้นฐานของการหาค่าไอเกนนิคเตอร์เชิง combinatorially ที่สอดคล้องกับค่าสูงสุดของค่าเฉพาะแล้วใช้อัลกอรึทึมของ Luca Trevisan เมื่อพวกมันมีค่าไอคิว

ดูเหมือนว่าพวกเขากำลังใช้วิธีทางเลือกกับอัลกอริธึมของ Lanczos ในการค้นหาไอเกนิคเตอร์ดังนั้นมันจึงน่าสนใจ ฉันไม่แน่ใจว่าความซับซ้อนของวิธีการของพวกเขาในการค้นหา eigenvector คืออะไร แต่มันอาจคุ้มค่าที่จะดู นอกจากนี้เนื่องจากเป็นอัตราส่วนโดยประมาณและไม่ใช่เวลาต่อสิ่งที่พวกเขาสนใจสิ่งที่ขอบเขตเวลาที่พวกเขาให้อาจไม่เหมาะสม

นี่เป็นคำถามเก่า แต่วรรณกรรมที่สำคัญบางอย่างดูเหมือนจะไม่ได้รับ

มีอัลกอริทึมที่เรามีการสนับสนุนทางทฤษฎีที่แข็งแกร่งขึ้น ตัวอย่างเช่นมีการทำซ้ำขึ้นอยู่กับฟังก์ชั่นการเข้าสู่ระบบเมทริกซ์ดูตัวอย่าง"Fast พีชคณิตเชิงเส้นมีเสถียรภาพ" โดย Demmel, Dumitriu และโฮลต์ซ ในกระดาษนั้นมันก็แสดงให้เห็นว่าปัญหา eigenvalue จะสามารถแก้ไขได้ในเวลาที่เป็นสัญลักษณ์ของการคูณเมทริกซ์และเป็นจำนวนใด ๆ 0$(O^{\omega+\eta})$$\omega$$\eta$$>0$

ใช่มีกระดาษ Pan + Chen + Zheng ที่แนะนำการประกอบพหุนามลักษณะและการคำนวณใน BigFloat เพราะคุณสูญเสียบิตของความแม่นยำในตอนท้าย แต่ไม่มีคนจำนวนมากที่คิดว่านี่เป็นแนวทางปฏิบัติ

ฉันยังพูดถึงว่าอัลกอริทึมที่ใช้กันอย่างแพร่หลายการทำซ้ำฟรานซิส QR ไม่มีหลักฐานของการบรรจบกันสำหรับเมทริกซ์ทั่วไป หนังสือโดย Kressner กล่าวถึงตัวอย่างหลาย ๆ อย่าง

ใช่แล้วพีชคณิตเชิงเส้นที่เป็นตัวเลขทั้งหมดนั้นสามารถลดลงเป็นการคูณเมทริกซ์ได้แม้ว่าเช่นเคยความมั่นคงเชิงตัวเลขเป็นปัญหาเสมอ นอกจากนี้สำหรับปัญหาเช่น eigendecomposition คุณควรมีเนื้อหาที่มีการประมาณค่าเนื่องจากวิธีแก้ปัญหาอาจไม่ลงตัว ตรวจสอบการคำนวณพหุนามและเมทริกซ์โดย Bini และ Pan

นี่เป็นอีกข้อมูลอ้างอิง - พีชคณิตเชิงเส้นเร็วมีเสถียรภาพ http://www.netlib.org/lapack/lawnspdf/lawn186.pdf