ทำความเข้าใจว่า Numpy ทำ SVD อย่างไร

ฉันใช้วิธีที่ต่างกันในการคำนวณทั้งอันดับของเมทริกซ์และคำตอบของระบบเมทริกซ์ของสมการ ฉันเจอฟังก์ชัน linalg.svd เมื่อเปรียบเทียบกับความพยายามของฉันในการแก้ไขระบบด้วยการกำจัดแบบเกาส์เซียนดูเหมือนว่าจะเร็วขึ้นและแม่นยำยิ่งขึ้น ฉันพยายามเข้าใจว่ามันเป็นไปได้อย่างไร

เท่าที่ฉันรู้ฟังก์ชั่น linalg.svd ใช้อัลกอริทึม QR เพื่อคำนวณค่าลักษณะเฉพาะของเมทริกซ์ของฉัน ฉันรู้ว่ามันใช้งานได้อย่างไรในทางคณิตศาสตร์ แต่ฉันไม่รู้ว่า Numpy สามารถจัดการได้อย่างรวดเร็วและไม่สูญเสียความแม่นยำมากนัก

ดังนั้นคำถามของฉัน: ฟังก์ชั่น numpy.svd ทำงานอย่างไรและโดยเฉพาะเจาะจงมากขึ้นมันทำงานได้อย่างรวดเร็วและแม่นยำอย่างไร (เทียบกับการกำจัดแบบเกาส์เซียน)

คำถามของคุณมีปัญหามากมาย

อย่าใช้การกำจัดแบบเกาส์ (การแยกตัวประกอบแบบ LU) เพื่อคำนวณอันดับตัวเลขของเมทริกซ์ การแยกตัวประกอบ LU ไม่น่าเชื่อถือสำหรับจุดประสงค์นี้ในการคำนวณเลขทศนิยม ให้ใช้การย่อยสลาย QR ที่มีอันดับ (เช่นxGEQPXหรือxGEPQYใน LAPACK โดยที่ x คือ C, D, S หรือ Z แม้ว่ากิจวัตรเหล่านั้นจะยากต่อการติดตามดูที่คำตอบของ JedBrown สำหรับคำถามที่เกี่ยวข้อง ) หรือใช้ SVD (การสลายตัวของค่าเอกฐานเช่นxGESDDหรือxGESVDโดยที่ x คือ C, D, S หรือ Z อีกครั้ง) SVD เป็นอัลกอริทึมที่แม่นยำและเชื่อถือได้มากขึ้นสำหรับการกำหนดตำแหน่งตัวเลข แต่ต้องใช้การดำเนินการจุดลอยตัวมากขึ้น

อย่างไรก็ตามสำหรับการแก้ระบบเชิงเส้นนั้นการแยกตัวประกอบ LU (ด้วยการหมุนบางส่วนซึ่งเป็นการนำมาตรฐานไปใช้ใน LAPACK) มีความน่าเชื่อถืออย่างมากในทางปฏิบัติ มีบางกรณีทางพยาธิวิทยาที่ LU แยกตัวประกอบด้วยการหมุนบางส่วนไม่เสถียร (ดูการบรรยายที่ 22 ในพีชคณิตเชิงเส้นเชิงตัวเลขโดย Trefethen และ Bau ​​สำหรับรายละเอียด) การแยกตัวประกอบ QR เป็นอัลกอริธึมเชิงตัวเลขที่มีเสถียรภาพมากขึ้นสำหรับการแก้ระบบเชิงเส้นซึ่งอาจเป็นสาเหตุที่ทำให้คุณได้ผลลัพธ์ที่แม่นยำเช่นนั้น อย่างไรก็ตามมันต้องใช้การดำเนินการจุดลอยตัวมากกว่าตัวประกอบ LU โดยปัจจัย 2 สำหรับเมทริกซ์จตุรัส (ฉันเชื่อว่า JackPoulson อาจแก้ไขตัวฉันได้) สำหรับระบบสี่เหลี่ยมผืนผ้านั้นการแยกตัวประกอบ QR เป็นทางเลือกที่ดีกว่าเพราะมันจะให้ผลเฉลยน้อยที่สุดกับระบบเชิงเส้นที่บั่นทอน SVD ยังสามารถใช้ในการแก้ปัญหาระบบเชิงเส้น แต่จะมีราคาแพงกว่าตัวประกอบแบบ QR

janneb ถูกต้องที่ numpy.linalg.svd เป็น wrapper รอบ ๆxGESDDใน LAPACK การย่อยสลายค่าเอกพจน์ดำเนินการในสองขั้นตอน อันดับแรกเมทริกซ์ที่จะย่อยสลายจะลดลงเป็นรูปแบบสองเหลี่ยม อัลกอริทึมที่ใช้ในการลดรูปแบบสองเหลี่ยมใน LAPACK อาจเป็นอัลกอริทึม Lawson-Hanson-Chan และใช้การแยกตัวประกอบ QR ในจุดเดียว การบรรยายครั้งที่ 31 ในพีชคณิตเชิงเส้นเชิงตัวเลขโดย Trefethen และ Bau ​​ให้ภาพรวมของกระบวนการนี้ จากนั้นxGESDDใช้อัลกอริทึมหารและพิชิตในการคำนวณค่าเอกพจน์และเวกเตอร์เอกพจน์ซ้ายและขวาจากเมทริกซ์ bidiagonal ในการรับพื้นหลังในขั้นตอนนี้คุณจะต้องปรึกษาการคำนวณเมทริกซ์โดย Golub และ Van Loan หรือพีชคณิตเชิงเส้นเชิงตัวเลขประยุกต์โดย Jim Demmel

สุดท้ายคุณไม่ควรสร้างความสับสนให้ค่าเอกพจน์กับค่าลักษณะเฉพาะ ปริมาณสองชุดนี้ไม่เหมือนกัน SVD คำนวณค่าเอกพจน์ของเมทริกซ์ คลีฟโมเลอร์ของตัวเลข Computing กับ MATLABให้ภาพรวมที่ดีของความแตกต่างระหว่างค่าเอกพจน์และค่าลักษณะเฉพาะ โดยทั่วไปไม่มีความสัมพันธ์ที่ชัดเจนระหว่างค่าเอกพจน์ของเมทริกซ์ที่กำหนดและค่าลักษณะเฉพาะยกเว้นในกรณีของเมทริกซ์ปกติที่ค่าเอกพจน์เป็นค่าสัมบูรณ์ของค่าลักษณะเฉพาะ

เนื่องจากถ้อยคำของคำถามของคุณฉันสมมติว่าเมทริกซ์ของคุณเป็นรูปสี่เหลี่ยมจัตุรัส LAPACK ของ SVD ประจำเช่นzgesvdดำเนินการเป็นหลักในสามขั้นตอนสำหรับเมทริกซ์สี่เหลี่ยม:

1. $U_A$$V_A$$A$$B := U_A^H A V_A$$U_A$$V_A$$B$$O(n^3)$
2. $\{U_B,V_B,\Sigma\}$$B = U_B \Sigma V_B^H$$O(n^2)$$O(n^3)$
3. $U_A B V_A^H = A$$A = (U_A U_B) \Sigma (V_A V_B)^H$$U_A$$V_A$$U_B$$V_B$$O(n^3)$

numpy.linalg.svd เป็น wrapper รอบ {Z, D} GESDD จาก LAPACK ในทางกลับกัน LAPACK นั้นถูกเขียนขึ้นอย่างพิถีพิถันโดยผู้เชี่ยวชาญชั้นนำของโลกบางคนเกี่ยวกับพีชคณิตเชิงเส้นเชิงตัวเลข แน่นอนว่ามันน่าประหลาดใจมากถ้ามีคนที่ไม่คุ้นเคยกับสนามจะประสบความสำเร็จในการเอาชนะ LAPACK (ไม่ว่าจะด้วยความเร็วหรือความแม่นยำ)

สำหรับเหตุผลที่ QR นั้นดีกว่าการกำจัดแบบเกาส์เซียนนั่นน่าจะเหมาะสมกว่าสำหรับ/scicomp//