ทำไมระบบเชิงเส้นที่ไม่มีเงื่อนไขสามารถแก้ไขได้อย่างแม่นยำ?

ตามคำตอบที่นี่หมายเลขเงื่อนไขขนาดใหญ่ (สำหรับการแก้ปัญหาระบบเชิงเส้น) ลดจำนวนรับประกันของตัวเลขที่ถูกต้องในการแก้ปัญหาจุดลอยตัว เมทริกซ์ความแตกต่างของการสั่งซื้อที่สูงขึ้นในวิธี pseudospectral มักจะมีเงื่อนไขที่ไม่ดีมาก ทำไมเป็นเช่นนั้นพวกเขายังคงวิธีการที่แม่นยำมาก?

ฉันเข้าใจว่าความแม่นยำต่ำที่มาจากเมทริกซ์ที่ไม่มีเงื่อนไขนั้นเป็นเพียงค่ารับประกันแต่ก็ยังทำให้ฉันสงสัยว่าทำไมเมทริกซ์ที่ไม่ดีนั้นถูกแก้ไขอย่างแม่นยำโดยวิธีการโดยตรงในทางปฏิบัติเช่นLCOLคอลัมน์ของตาราง 3.1 ในหน้า 11 ของWang et al. วิธีการจัดเก็บภาษีแบบมีเงื่อนไขโดยใช้การบูรณาการ PSEUDOSPECTRAL MATRIX , SIAM J. Sci คอมพิวเต. 36 (3)

เพิ่มหลังจากคำตอบเริ่มต้นของฉัน:

ตอนนี้ฉันปรากฏว่าผู้เขียนบทความที่อ้างถึงกำลังให้หมายเลขเงื่อนไข (เห็นได้ชัดว่ามีเลขเงื่อนไข 2 แบบบรรทัดฐาน แต่อาจเป็นหมายเลขเงื่อนไขแบบอนันต์) ในตารางในขณะที่ให้ข้อผิดพลาดสัมบูรณ์สูงสุดมากกว่าข้อผิดพลาดสัมพัทธ์ปกติ สิ่งเหล่านี้เป็นมาตรการที่แตกต่างกันทั้งหมด) โปรดทราบว่าข้อผิดพลาดสัมพัทธ์สูงสุดของ elementwise นั้นไม่เหมือนกับสิ่งที่เกิดขึ้นกับข้อผิดพลาดสัมพัทธ์ของอนันต์ นอกจากนี้ข้อผิดพลาดในตารางจะสัมพันธ์กับการแก้ปัญหาที่แน่นอนของปัญหาค่าขอบเขตสมการเชิงอนุพันธ์ดั้งเดิมแทนที่จะเป็นระบบเชิงเส้นแบบแยกส่วนของสมการ ดังนั้นข้อมูลที่ให้ไว้ในกระดาษจึงไม่เหมาะสมที่จะใช้กับข้อผิดพลาดที่ถูกผูกไว้ตามหมายเลขเงื่อนไข

อย่างไรก็ตามในการจำลองแบบของการคำนวณของฉันฉันจะเห็นสถานการณ์ที่ข้อผิดพลาดของอนันต์สัมพัทธ์ (หรือข้อผิดพลาดที่เกี่ยวข้องสองบรรทัดฐาน) มีขนาดเล็กกว่าขอบเขตที่กำหนดโดยหมายเลขเงื่อนไขอินฟินิตี้นอร์ม (ตามลำดับหมายเลขเงื่อนไขนอร์ม 2) บางครั้งคุณก็โชคดี

ฉันใช้แพคเกจ DMSUITE MATLAB และแก้ปัญหาตัวอย่างจากบทความนี้โดยใช้วิธี pseudospectral กับ Chebyshev polynomials หมายเลขเงื่อนไขของฉันและข้อผิดพลาดสัมบูรณ์สูงสุดคล้ายกับที่รายงานไว้ในกระดาษ

ฉันยังเห็นข้อผิดพลาดที่เกี่ยวข้องกับบรรทัดฐานที่ค่อนข้างดีกว่าอาจคาดหวังตามจำนวนเงื่อนไข ตัวอย่างเช่นในปัญหาตัวอย่างของโดยใช้N = 1024ฉันได้รับ$\epsilon=0.01$$N=1024$

cond (A, 2) = 7.9e + 8

cond (A, INF) = 7.8e + 8

บรรทัดฐาน (U-uexact 2) / บรรทัดฐาน (uexact 2) = 3.1e-12

บรรทัดฐาน (U-uexact, INF) / บรรทัดฐาน (uexact, INF) = 2.7e-12

ดูเหมือนว่าคำตอบจะดีประมาณ 11-12 หลักในขณะที่หมายเลขเงื่อนไขอยู่ในลำดับที่ 1e8

อย่างไรก็ตามสถานการณ์ที่มีข้อผิดพลาดแบบชาญฉลาดนั้นน่าสนใจกว่า

max (เอบีเอส (U-uexact)) = 2.7e-12

ที่ยังคงดูดี

max (เอบีเอส ((U-uexact) ./ uexact) = 6.1e + 9

ว้าว - มีข้อผิดพลาดสัมพัทธ์ขนาดใหญ่มากในส่วนประกอบของโซลูชันอย่างน้อยหนึ่งรายการ

เกิดอะไรขึ้น? คำตอบที่ถูกต้องของสมการนี้มีส่วนประกอบที่มีขนาดเล็ก (เช่น 1.9e-22) ในขณะที่วิธีแก้ปัญหาโดยประมาณมีค่ามากกว่า 9e-14 สิ่งนี้ถูกซ่อนไว้โดยการวัดค่าความผิดพลาดแบบสัมพัทธ์แบบบรรทัดฐาน (ไม่ว่าจะเป็นแบบ 2 แบบหรือแบบไม่มีขอบ) และจะปรากฏให้เห็นก็ต่อเมื่อคุณดูข้อผิดพลาดแบบสัมพัทธ์แบบองค์ประกอบและใช้ค่าสูงสุด

คำตอบเดิมของฉันด้านล่างอธิบายว่าทำไมคุณถึงได้รับข้อผิดพลาดสัมพัทธ์ปกติในการแก้ปัญหาที่น้อยกว่าขอบเขตที่กำหนดโดยหมายเลขเงื่อนไข

---

$\kappa(A)$$A(x+\Delta x)=b+\Delta b$$Ax=b$

$\frac{\| \Delta x \|}{\| x \|} \leq \kappa(A) \frac{\| \Delta b \|}{\| b \|}$

หมายเลขเงื่อนไขสามารถคำนวณได้โดยคำนึงถึงความหลากหลายของบรรทัดฐาน แต่มักจะใช้หมายเลขเงื่อนไขสองเกณฑ์และนั่นคือหมายเลขเงื่อนไขที่ใช้ในเอกสารที่คุณอ้างถึง

ข้อผิดพลาดกรณีที่เลวร้ายเกิดขึ้นเมื่อเป็นเวกเตอร์เอกพจน์ซ้ายของสอดคล้องกับค่าเอกพจน์ที่เล็กที่สุดของ กรณีที่ดีที่สุดเกิดขึ้นเมื่อเป็นเวกเตอร์เอกพจน์ซ้ายของสอดคล้องกับค่าเอกพจน์ที่ใหญ่ที่สุดของ เมื่อสุ่มคุณต้องดูการคาดการณ์ของไปยังเวกเตอร์เอกพจน์ด้านซ้ายทั้งหมดของและค่าเอกพจน์ที่เกี่ยวข้อง สิ่งต่าง ๆ อาจไปได้ไม่ดีหรือดีมาก ขึ้นอยู่กับสเปกตรัมของ$\Delta b$$A$$A$$\Delta b$$A$$A$$\Delta b$$\Delta b$$A$$A$

พิจารณาสองเมทริกซ์ทั้งที่มี 2 บรรทัดฐานจำนวนสภาพ{10} เมทริกซ์ครั้งแรกที่มีค่าเอกพจน์ , , ,10} เมทริกซ์ที่สองมีค่าเอกพจน์ , , , ,10} $A$$1.0 \times 10^{10}$$1$$1 \times 10^{-10}$$\ldots$$1 \times 10^{-10}$$1$$1$$\ldots$$1$$1 \times 10^{-10}$

ในกรณีแรกที่มีการก่อกวนสุ่มไม่น่าจะเป็นไปในทิศทางของเวกเตอร์เอกพจน์ซ้ายแรกและมีแนวโน้มที่จะได้อยู่ใกล้กับหนึ่งในเวกเตอร์เอกพจน์มีมูลค่าเอกพจน์10} ดังนั้นการเปลี่ยนแปลงสัมพัทธ์ในการแก้ปัญหาน่าจะมีขนาดใหญ่มาก ในกรณีที่สองการก่อกวนเกือบทั้งหมดจะใกล้เคียงกับเวกเตอร์เอกพจน์ที่มีค่าเอกพจน์และการเปลี่ยนแปลงสัมพัทธ์ในการแก้ปัญหาจะมีขนาดเล็ก $1 \times 10^{-10}$$1$

ป.ล. (เพิ่มเติมภายหลังหลังจากฉันกลับมาจากชั้นเรียนโยคะ ... )

สูตรสำหรับการแก้ปัญหาคือ$A\Delta x = \Delta b$

$\Delta x = V \Sigma^{-1} U^{T} \Delta b=\sum_{i=1}^{n} \frac{U_{i}^{T}\Delta b}{\sigma_{i}} V_{i}$

โดยทฤษฎีบทพีทาโกรัส

$\| \Delta x \|_{2}^{2}= \sum_{i=1}^{n} \left( \frac{U_{i}^{T}\Delta b}{\sigma_{i}} \right)^{2}$

ถ้าเราเก็บแล้วจำนวนนี้เป็น maximized เมื่อและลดลงเมื่อ{1}$\| \Delta b \|_{2}=1$$\Delta b=U_{n}$$\Delta b=U_{1}$

ในสถานการณ์ที่พิจารณาที่นี่เป็นผลมาจากข้อผิดพลาดในการปัดเศษแบบสุ่มดังนั้นค่าควรทั้งหมดมีขนาดเท่ากัน คำที่มีค่าน้อยกว่าของจะมีส่วนทำให้เกิดข้อผิดพลาดได้มากในขณะที่คำที่มีค่าที่มากกว่าจะไม่ได้มีส่วนร่วมมากนัก ขึ้นอยู่กับสเปกตรัมสิ่งนี้อาจเล็กกว่ากรณีที่เลวร้ายที่สุดได้อย่างง่ายดาย $\Delta b$$U_{i}^{T}\Delta b$$\sigma_{i}$$\sigma_{i}$

TL; DRพวกเขาได้รายงานจำนวนสภาพไม่จำเป็นต้องขวาจำนวนเงื่อนไขสำหรับเมทริกซ์เพราะมีความแตกต่าง

นี่คือเมทริกซ์และเวกเตอร์ด้านขวามือโดยเฉพาะ ถ้าคุณดูเอกสารประกอบ*getrsมันบอกว่าข้อผิดพลาดที่ส่งต่อคือ ที่นี่ไม่ใช่เงื่อนไขหมายเลขปกติแต่แทนที่จะ (ที่นี่ภายในบรรทัดฐานเหล่านี้คือค่าสัมบูรณ์ที่ชาญฉลาดขององค์ประกอบ) ดูตัวอย่างเช่นการปรับแต่งซ้ำสำหรับระบบเชิงเส้นและ LAPACKโดย Highamหรือความแม่นยำและความเสถียรของอัลกอริธึมตัวเลข (7.2)

$$\frac{\|x-x_0\|_\infty}{\|x\|_\infty} \lesssim \mathrm{cond}(A,x)u \leq \mathrm{cond}(A)u.$$ $\mathrm{cond}(A,x)$$\kappa_\infty(A)$ $$\mathrm{cond}(A,x) = \frac{\||A^{-1}||A||x|\|_\infty}{\|x\|_\infty},\\ \mathrm{cond}(A) = \||A^{-1}||A|\|.$$

สำหรับตัวอย่างของคุณฉันใช้โอเปอเรเตอร์ pseudospectral สำหรับปัญหาที่คล้ายกันกับและที่จริงแล้วมีความแตกต่างอย่างมากระหว่างและฉันคำนวณและซึ่งเพียงพอที่จะอธิบายการสังเกตว่าสิ่งนี้เกิดขึ้นสำหรับทุกด้านขวาเพราะคำสั่งของขนาดตรงกับสิ่งที่เป็น เห็นได้ในตารางที่ 3.1 (ข้อผิดพลาดดีกว่าสั่งซื้อ 3-4) นี้ไม่ได้ทำงานเมื่อฉันพยายามเดียวกันเพียงสุ่มเมทริกซ์ป่วยปรับอากาศดังนั้นมันจะต้องมีคุณสมบัติของ$n=128$$\||A^{-1}||A|\|$$\kappa_\infty(A)$$7\times 10^3$$2.6\times 10^7$$A$

ตัวอย่างที่ชัดเจนซึ่งตัวเลขเงื่อนไขสองหมายเลขไม่ตรงกันซึ่งฉันได้จาก Higham (7.17, p.124) เนื่องจาก Kahan คือ ตัวอย่างที่ผมพบก็คือเพียงแค่เมทริกซ์ Vandermonde ธรรมดาบนกับสุ่มขฉันเดินผ่านและบางเมทริกซ์ป่วยปรับอากาศอื่น ๆ ยังผลิตชนิดของผลนี้เช่นและ

$$\begin{pmatrix}2&-1&1\\-1&\epsilon&\epsilon\\1&\epsilon&\epsilon\end{pmatrix}, \qquad \begin{pmatrix}2+2\epsilon\\-\epsilon\\\epsilon\end{pmatrix}.$$ [1:10]$b$MatrixDepot.jltriwmoler

โดยพื้นฐานแล้วสิ่งที่เกิดขึ้นคือเมื่อคุณวิเคราะห์ความเสถียรของการแก้ปัญหาระบบเชิงเส้นด้วยความเคารพต่อการก่อกวนคุณต้องระบุว่าการก่อกวนใดที่คุณกำลังพิจารณาอยู่ เมื่อการแก้ระบบเชิงเส้นที่มี LAPACK ข้อผิดพลาดนี้ถูกผูกไว้พิจารณาเยี่ยงอย่างองค์ประกอบที่ชาญฉลาดในแต่การก่อกวนในไม่มีขดังนั้นสิ่งนี้จึงแตกต่างจากปกติที่จะพิจารณาเยี่ยงอย่าง normwise ทั้งในและข$A$$b$$\kappa(A) = \|A^{-1}\|\|A\|$$A$$b$

ลองพิจารณา (เป็นตัวอย่าง) ว่าจะเกิดอะไรขึ้นถ้าคุณไม่แยกความแตกต่าง เรารู้ว่าการใช้การปรับแต่งที่มีความแม่นยำซ้ำสองครั้ง (ดูลิงค์ด้านบน) เราจะได้รับเป็นไปได้ความผิดพลาดที่ดีที่สุดไปข้างหน้าของสำหรับการฝึกอบรมผู้ที่มี u ดังนั้นหากเราพิจารณาความคิดที่ว่าระบบเชิงเส้นไม่สามารถแก้ไขได้เพื่อความแม่นยำที่ดีกว่าวิธีการกลั่นจะทำงานอย่างไร$O(u)$$\kappa(A)\ll 1/u$$\kappa(A)u$

PSมันเรื่องที่?getrsกล่าวว่าการแก้ปัญหาการคำนวณเป็นทางออกที่แท้จริงของการ(A + E)x = bมีการก่อกวนในแต่ไม่มีการก่อกวนในขสิ่งต่าง ๆ จะแตกต่างกันถ้าการก่อกวนได้รับอนุญาตใน .$E$$A$$b$$b$

แก้ไขเพื่อแสดงให้เห็นว่าการทำงานนี้โดยตรงยิ่งขึ้นในรหัสว่านี่ไม่ใช่ความบังเอิญหรือโชคดี แต่ผลลัพธ์ (ผิดปกติ) ซึ่งเป็นผลมาจากตัวเลขสองเงื่อนไขที่แตกต่างกันมากสำหรับการฝึกอบรมเฉพาะเช่น

$$\mathrm{cond}(A,x) \approx \mathrm{cond}(A) \ll \kappa(A).$$

function main2(m=128)
    A = matrixdepot("chebspec", m)^2
    A[1,:] = A[end,:] = 0
    A[1,1] = A[end,end] = 1
    best, worst = Inf, -Inf
    for k=1:2^5
        b = randn(m)
        x = A \ b
        x_exact = Float64.(big.(A) \ big.(b))
        err = norm(x - x_exact, Inf) / norm(x_exact, Inf)
        best, worst = min(best, err), max(worst, err)
    end
    @printf "Best relative error:       %.3e\n" best
    @printf "Worst relative error:      %.3e\n" worst
    @printf "Predicted error κ(A)*ε:    %.3e\n" cond(A, Inf)*eps()
    @printf "Predicted error cond(A)*ε: %.3e\n" norm(abs.(inv(A))*abs.(A), Inf)*eps()
end

julia> main2()
Best relative error:       2.156e-14
Worst relative error:      2.414e-12
Predicted error κ(A)*ε:    8.780e-09
Predicted error cond(A)*ε: 2.482e-12

แก้ไข 2นี่คืออีกตัวอย่างหนึ่งของปรากฏการณ์เดียวกันที่จำนวนเงื่อนไขที่แตกต่างกันแตกต่างกันมากโดยไม่คาดคิด เวลานี้ นี่เป็น 10 × 10 Vandermonde เมทริกซ์ในและเมื่อมีการสุ่มเลือกเป็น noticably ขนาดเล็กกว่าและกรณีที่เลวร้ายที่สุดจะได้รับโดยบาง

$$\mathrm{cond}(A, x) \ll \mathrm{cond}(A) \approx \kappa(A).$$ $A$$1:10$$x$$\mathrm{cond}(A,x)$$\kappa(A)$$x$$x_i = i^a$$a$

function main4(m=10)
    A = matrixdepot("vand", m)
    lu = lufact(A)
    lu_big = lufact(big.(A))
    AA = abs.(inv(A))*abs.(A)
    for k=1:12
        # b = randn(m) # good case
        b = (1:m).^(k-1) # worst case
        x, x_exact = lu \ b, lu_big \ big.(b)
        err = norm(x - x_exact, Inf) / norm(x_exact, Inf)
        predicted = norm(AA*abs.(x), Inf)/norm(x, Inf)*eps()
        @printf "relative error[%2d]    = %.3e (predicted cond(A,x)*ε = %.3e)\n" k err predicted
    end
    @printf "predicted κ(A)*ε      = %.3e\n" cond(A)*eps()
    @printf "predicted cond(A)*ε   = %.3e\n" norm(AA, Inf)*eps()
end

กรณีเฉลี่ย (เกือบ 9 คำสั่งของข้อผิดพลาดที่ดีกว่าขนาด):

julia> T.main4()
relative error[1]     = 6.690e-11 (predicted cond(A,x)*ε = 2.213e-10)
relative error[2]     = 6.202e-11 (predicted cond(A,x)*ε = 2.081e-10)
relative error[3]     = 2.975e-11 (predicted cond(A,x)*ε = 1.113e-10)
relative error[4]     = 1.245e-11 (predicted cond(A,x)*ε = 6.126e-11)
relative error[5]     = 4.820e-12 (predicted cond(A,x)*ε = 3.489e-11)
relative error[6]     = 1.537e-12 (predicted cond(A,x)*ε = 1.729e-11)
relative error[7]     = 4.885e-13 (predicted cond(A,x)*ε = 8.696e-12)
relative error[8]     = 1.565e-13 (predicted cond(A,x)*ε = 4.446e-12)
predicted κ(A)*ε      = 4.677e-04
predicted cond(A)*ε   = 1.483e-05

กรณีที่เลวร้ายที่สุด ( ):$a=1,\ldots,12$

julia> T.main4()
relative error[ 1]    = 0.000e+00 (predicted cond(A,x)*ε = 6.608e-13)
relative error[ 2]    = 1.265e-13 (predicted cond(A,x)*ε = 3.382e-12)
relative error[ 3]    = 5.647e-13 (predicted cond(A,x)*ε = 1.887e-11)
relative error[ 4]    = 8.895e-74 (predicted cond(A,x)*ε = 1.127e-10)
relative error[ 5]    = 4.199e-10 (predicted cond(A,x)*ε = 7.111e-10)
relative error[ 6]    = 7.815e-10 (predicted cond(A,x)*ε = 4.703e-09)
relative error[ 7]    = 8.358e-09 (predicted cond(A,x)*ε = 3.239e-08)
relative error[ 8]    = 1.174e-07 (predicted cond(A,x)*ε = 2.310e-07)
relative error[ 9]    = 3.083e-06 (predicted cond(A,x)*ε = 1.700e-06)
relative error[10]    = 1.287e-05 (predicted cond(A,x)*ε = 1.286e-05)
relative error[11]    = 3.760e-10 (predicted cond(A,x)*ε = 1.580e-09)
relative error[12]    = 3.903e-10 (predicted cond(A,x)*ε = 1.406e-09)
predicted κ(A)*ε      = 4.677e-04
predicted cond(A)*ε   = 1.483e-05

แก้ไข 3อีกตัวอย่างหนึ่งคือ Forsythe matrix ซึ่งเป็นบล็อก Jordan ที่ถูกรบกวนทุกขนาดของรูปแบบ นี่คือ ,ดังนั้นแต่ดังนั้น1 และในขณะที่สามารถตรวจสอบได้ด้วยมือแก้ระบบสมการเชิงเส้นเช่นกับระบบมีความถูกต้องมากแม้จะมีที่อาจเกิดขึ้นมากมาย(A) เมทริกซ์นี้ก็จะให้ผลลัพธ์ที่แม่นยำอย่างไม่คาดคิดเช่นกัน

$$A = \begin{pmatrix} 0&1&0&0\\ 0&0&1&0\\ 0&0&0&1 \\ \epsilon&0&0&0 \end{pmatrix}.$$ $\|A\|=1$$\|A^{-1}\|=\epsilon^{-1}$$\kappa_\infty(A) = \epsilon^{-1}$$|A^{-1}| = A^{-1} = |A|^{-1}$$\mathrm{cond}(A) = 1$$Ax=b$$\kappa_\infty(A)$

แก้ไข 4 Kahan เมทริกซ์ก็เป็นแบบนี้ด้วย :$\mathrm{cond}(A)\ll \kappa(A)$

A = matrixdepot("kahan", 48)
κ, c = cond(A, Inf), norm(abs.(inv(A))*abs.(A), Inf)
@printf "κ=%.3e c=%.3e ratio=%g\n" κ c (c/κ)

κ=8.504e+08 c=4.099e+06 ratio=0.00482027