NumPy แก้ปัญหากำลังสองน้อยที่สุดสำหรับระบบที่บ่อนทำลายได้อย่างไร

สมมุติว่าเรามีรูปร่าง X (2, 5)
และรูปร่าง y (2,)

งานนี้: np.linalg.lstsq(X, y)

เราคาดหวังว่าสิ่งนี้จะทำงานได้ก็ต่อเมื่อ X มีรูปร่าง (N, 5) โดยที่ N> = 5 แต่ทำไมและอย่างไร

เราได้รับน้ำหนักกลับมา 5 เท่าตามที่คาดไว้ แต่วิธีนี้แก้ไขได้อย่างไร

มันไม่เหมือนเรามี 2 สมการและ 5 ไม่รู้จักใช่ไหม
วิธีแก้ปัญหาแบบนี้ได้ดีแค่ไหน?
มันต้องทำอะไรซักอย่างเพื่อการสร้างสมการประดิษฐ์ขึ้นมาอีก ..

ความเข้าใจของฉันอยู่ที่numpy.linalg.lstsqอาศัยLAPACKประจำdgelsd

ปัญหาคือการแก้ปัญหา:

$$\text{minimize} (\text{over} \; \mathbf{x}) \quad \| A\mathbf{x} - \mathbf{b} \|_2$$

ของหลักสูตรนี้ไม่ได้มีที่ไม่ซ้ำกันโซลูชั่นสำหรับเมทริกซ์ที่มียศน้อยกว่าความยาวของเวกเตอร์{ข} ในกรณีของระบบที่ไม่ได้ระบุให้จัดเตรียมโซลูชันเช่นนั้น:$\mathbf{b}$dgelsd$\mathbf{z}$

• $A\mathbf{z} = \mathbf{b}$
• $\| \mathbf{z} \|_2 \leq \|\mathbf{x} \|_2$สำหรับทุกที่ตอบสนอง{ข} (ieเป็นวิธีแก้ปัญหาบรรทัดฐานขั้นต่ำสำหรับระบบที่ไม่ได้ระบุ$\mathbf{x}$$A\mathbf{x} = \mathbf{b}$$\mathbf{z}$

ตัวอย่างเช่นถ้าระบบเป็น , numpy.linalg.lstsq จะกลับมา0.5$x + y = 1$$x = .5, y = .5$

dgelsd ทำงานอย่างไร

รูทีนdgelsdคำนวณการแยกค่าเอกเทศ (SVD) ของ A

ฉันจะวาดภาพความคิดเบื้องหลังการใช้ SVD เพื่อแก้ปัญหาระบบเชิงเส้น การสลายตัวของค่าเอกพจน์คือการแยกตัวประกอบโดยที่และเป็นเมทริกซ์มุมฉากและเป็นเมทริกซ์แนวทแยงมุม$U \Sigma V' = A$$U$$V$$\Sigma$

ยศที่มีประสิทธิภาพของเมทริกซ์จะเป็นจำนวนค่าเอกพจน์ที่มีประสิทธิภาพไม่เป็นศูนย์ (เช่นมีความแตกต่างจากศูนย์ที่สัมพันธ์กับความแม่นยำของเครื่องจักร ฯลฯ ... ) ให้เป็นเมทริกซ์แนวทแยงของค่าเอกพจน์ที่ไม่เป็นศูนย์ SVD จึงเป็น:$A$$S$

$$A = U \begin{bmatrix} S & 0 \\ 0 & 0 \end{bmatrix} V'$$

หลอกผกผันของจะได้รับโดย:$A$

$$A^\dagger = V \begin{bmatrix} S^{-1} & 0 \\ 0 & 0 \end{bmatrix} U'$$

พิจารณาแก้ปัญหา{ข} แล้ว:$\mathbf{x} = A^\dagger \mathbf{b}$

$$\begin{align*} A\mathbf{x} - \mathbf{b} &= U \begin{bmatrix} S & 0 \\ 0 & 0 \end{bmatrix} V' V \begin{bmatrix} S^{-1} & 0 \\ 0 & 0 \end{bmatrix} U' \mathbf{b} - \mathbf{b} \\ &= U \begin{bmatrix} I & 0 \\ 0 & 0 \end{bmatrix} U' \mathbf{b} - \mathbf{b}\\ \end{align*}$$

โดยทั่วไปมีสองกรณีที่นี่:

1. จำนวนไม่ใช่ศูนย์ค่าเอกพจน์ (เช่นขนาดของเมทริกซ์ ) น้อยกว่าความยาวของ{ข} ทางออกที่นี่จะไม่แน่นอน เราจะแก้ระบบเชิงเส้นอย่างน้อยกำลังสอง$I$$\mathbf{b}$
2. $A\mathbf{x} - \mathbf{b} = \mathbf{0}$

ส่วนสุดท้ายนี้ค่อนข้างยุ่งยาก ... จำเป็นต้องติดตามมิติของเมทริกซ์และใช้นั้นเป็นเมทริกซ์มุมฉาก$U$

ความเท่าเทียมของหลอกผกผัน

เมื่อมีแถวที่เป็นเส้นตรงอิสระ (เช่นเรามีเมทริกซ์แบบไขมัน) ดังนั้น: $A$

$$A^\dagger = A'\left(AA' \right)^{-1}$$

สำหรับระบบที่ไม่บึกบึนคุณสามารถแสดงให้เห็นว่าระบบหลอกหลอกจะให้วิธีแก้ปัญหาเชิงบรรทัดฐานขั้นต่ำแก่คุณ

เมื่อมีคอลัมน์อิสระเชิงเส้นตรง (เช่นเรามีเมทริกซ์ผอม) ดังนั้น: $A$

$$A^\dagger = \left(A'A \right)^{-1}A'$$