การเพิ่มมาตรฐานเพื่อทำให้ SVD มีความเสถียรเท่าไร

ฉันใช้ SVD ของ Intel MKL ( dgesvdผ่าน SciPy) และสังเกตว่าผลลัพธ์จะแตกต่างกันอย่างมากเมื่อฉันเปลี่ยนความแม่นยำระหว่างfloat32และfloat64เมื่อเมทริกซ์ของฉันมีเงื่อนไขไม่ดี / ไม่เต็มอันดับ มีแนวทางเกี่ยวกับจำนวนขั้นต่ำของการทำให้เป็นมาตรฐานที่ฉันควรเพิ่มเพื่อให้ผลลัพธ์ที่ไม่ไวต่อการเปลี่ยนแปลงfloat32-> float64หรือไม่?

โดยเฉพาะการทำ $A=UDV^{T}$ฉันเห็นว่า $L_\infty$ บรรทัดฐานของ $V^{T}X$ย้ายประมาณ 1 เมื่อฉันเปลี่ยนความแม่นยำของระหว่างและfloat32float64$L_2$ บรรทัดฐานของ $A$ คือ $10^5$ และมีค่าลักษณะเฉพาะประมาณ 200 ศูนย์จากทั้งหมด 784

กำลังทำ SVD $\lambda I + A$ กับ $\lambda=10^{-3}$ ทำให้ความแตกต่างหายไป

แม้ว่าคำถามจะมีคำตอบที่ดี แต่นี่เป็นกฎง่ายๆสำหรับค่าเอกพจน์ขนาดเล็กที่มีพล็อต

หากค่าเอกพจน์เป็นค่าที่ไม่ใช่ศูนย์ แต่มีขนาดเล็กมากคุณควรกำหนดค่าส่วนกลับให้เป็นศูนย์เนื่องจากค่าที่ชัดเจนอาจเป็นสิ่งประดิษฐ์ของข้อผิดพลาดของ roundoff ไม่ใช่จำนวนที่มีความหมาย คำตอบที่เป็นไปได้สำหรับคำถาม "มีขนาดเล็กแค่ไหน" คือการแก้ไขในลักษณะนี้ทุกค่าเอกพจน์ที่มีอัตราส่วนต่อใหญ่ที่สุดน้อยกว่า$N$ คูณความแม่นยำของเครื่อง $\epsilon$ .

$\qquad$- สูตรอาหารหน้าตัวเลข 795

เพิ่ม: คู่ของบรรทัดต่อไปนี้คำนวณกฎของหัวแม่มือ

#!/usr/bin/env python2

from __future__ import division
import numpy as np
from scipy.sparse.linalg import svds  # sparse, dense or LinOp

#...............................................................................
def howsmall( A, singmax=None ):
    """ singular values < N float_eps sing_max  may be iffy, questionable
        "How small is small ?"
        [Numerical Recipes p. 795](http://apps.nrbook.com/empanel/index.html?pg=795)
    """
        # print "%d singular values are small, iffy" % (sing < howsmall(A)).sum()
        # small |eigenvalues| too ?
    if singmax is None:
        singmax = svds( A, 1, return_singular_vectors=False )[0]  # v0=random

    return max( A.shape ) * np.finfo( A.dtype ).eps * singmax

---

ดูเหมือนว่าเมทริกซ์ของ Hilbert จะถูกใช้อย่างกว้างขวางเป็นกรณีทดสอบสำหรับข้อผิดพลาด roundoff:

นี่บิตต่ำลำดับใน mantissas ของเมทริกซ์ฮิลแบร์ตจะกลายเป็นศูนย์, A.astype(np.float__).astype(np.float64)จากนั้นจะดำเนินการในnp.linalg.svd float64(ผลลัพธ์ที่มีsvdทั้งหมดfloat32เหมือนกัน)

การตัดทอนfloat32อาจเป็นประโยชน์สำหรับการแยกข้อมูลมิติสูงเช่นการจำแนกรถไฟ / การทดสอบ

กรณีทดสอบจริงจะได้รับการต้อนรับ

การสลายตัวของค่าเอกฐานสำหรับเมทริกซ์สมมาตร $A=A^{T}$ เป็นหนึ่งเดียวกับ eigendecomposition บัญญัติของมัน (เช่นกับเมทริกซ์ orthonormal-of-eigenvectors) ในขณะที่สิ่งเดียวกันสำหรับเมทริกซ์สมมาตรไม่สมมาตร $M=U \Sigma V^T$ เป็นเพียงค่า eigenvalue ที่ได้รับการยอมรับสำหรับเมทริกซ์สมมาตร

$$H=\begin{bmatrix}0 & M\\ M^{T} & 0 \end{bmatrix}=\begin{bmatrix}U & 0\\ 0 & V \end{bmatrix}\begin{bmatrix}0 & \Sigma\\ \Sigma & 0 \end{bmatrix}\begin{bmatrix}U & 0\\ 0 & V \end{bmatrix}^{T}$$ ดังนั้นโดยไม่สูญเสียความเป็นสามัญให้เราพิจารณาคำถามที่เกี่ยวข้องอย่างใกล้ชิด: หากเมทริกซ์สมมาตรสองตัวมีค่าเท่ากันเราควรคาดหวังว่า eigendecompositions ซึ่งเป็นที่ยอมรับของพวกเขาจะเหมือนกันหรือไม่

คำตอบคือไม่น่าแปลกใจ ปล่อย$\epsilon>0$ มีขนาดเล็กและพิจารณาเมทริกซ์สองตัว

$$A_{\epsilon}=\begin{bmatrix}1 & \epsilon\\ \epsilon & 1 \end{bmatrix}=V\Lambda_{\epsilon}V^{T},\qquad B_{\epsilon}=\begin{bmatrix}1+\epsilon & 0\\ 0 & 1-\epsilon \end{bmatrix}=U\Lambda_{\epsilon}U^{T}$$ ทั้งคู่มีค่าลักษณะเฉพาะ $\Lambda_{\epsilon}=\mathrm{diag}(1+\epsilon,1-\epsilon)$แต่มี eigenvector อยู่ $$V=\frac{1}{\sqrt{2}}\begin{bmatrix}1 & 1\\ 1 & -1 \end{bmatrix},\qquad U=\begin{bmatrix}1 & 0\\ 0 & 1 \end{bmatrix}.$$ ในขณะที่เมทริกซ์ $A_{\epsilon} \approx B_{\epsilon}$ มีค่าเท่ากันเมทริกซ์ของผู้ใช้ไอคิว $V$ และ $U$แตกต่างกันมาก แท้จริงแล้วเนื่องจาก eigendecompositions นั้นมีลักษณะเฉพาะสำหรับ$\epsilon>0$ไม่มีทางเลือกจริงๆ $U,V$ ดังนั้น $U\approx V$

ตอนนี้ใช้ความเข้าใจด้านนี้กลับไปที่แผนกบริการภายใต้ความแม่นยำแน่นอนขอให้เราเขียน $M_{0}=U_{0}\Sigma_{0}V_{0}^{T}$เป็นเมทริกซ์ของคุณในfloat64 ความแม่นยำและ$M_{\epsilon}=U_{\epsilon}\Sigma_{\epsilon}V_{\epsilon}^{T}$ เป็นเมทริกซ์เดียวกันในfloat32ความแม่นยำ หากเราสมมติว่าแผนกบริการตนเองนั้นแน่นอนแล้วค่าเอกพจน์$\Sigma_{0},\Sigma_{\epsilon}$ จะต้องแตกต่างกันไม่มากไปกว่าปัจจัยคงที่ขนาดเล็ก $\epsilon\approx10^{-7}$แต่เป็นเวกเตอร์เอกพจน์ $U_{0},U_{\epsilon}$ และ $V_{0},V_{\epsilon}$ สามารถแตกต่างกันตามปริมาณมากโดยพล ดังนั้นดังที่แสดงไม่มีวิธีที่จะทำให้ SVD "เสถียร" ในความหมายของเวกเตอร์เอกพจน์