มีกฎง่ายๆที่จะบอกว่ามันคุ้มค่าที่จะทำ SOR แทน Gauss-Seidel หรือไม่? (และวิธีที่เป็นไปได้วิธีการประเมินพารามิเตอร์ realxation$\omega$)

ฉันหมายถึงแค่มองดูเมทริกซ์หรือความรู้เกี่ยวกับปัญหาเฉพาะเมทริกซ์แทน?

ฉันกำลังอ่านคำตอบสำหรับคำถามนี้: มีฮิวริสติกใดบ้างสำหรับการปรับวิธีการผ่อนคลายแบบต่อเนื่อง (SOR) ให้เหมาะสมหรือไม่? แต่มันซับซ้อนเกินไป ฉันไม่เห็นฮิวริสติกแบบง่าย ๆ ว่าจะประมาณรัศมีสเปกตรัมแค่มองที่เมทริกซ์ (หรือปัญหาที่มันแทน)

ฉันต้องการสิ่งที่ง่ายกว่ามาก - เพียงไม่กี่ตัวอย่างของเมทริกซ์ (ปัญหา) ที่ SOR มาบรรจบกันเร็วขึ้น

---

ฉันกำลังทดลองกับ SOR สำหรับเมทริกซ์ของกษัตริย์องค์นี้: $A = I + C + R$ ที่ไหน $I$ เมทริกซ์เอกลักษณ์คือ $C_{ij}=c$ $\forall i,j$ และ $R_{ij}$s เป็นตัวเลขสุ่มจากการแจกแจงแบบ Unifrom เช่นนั้น $|R_{ij}|<r$. ฉันคิดว่าจะมีการพึ่งพาที่ดีที่สุด$\omega$ เกี่ยวกับพารามิเตอร์ $c,r$.

แก้ไข: ฉันใช้น้อยมาก $c,r$ เพื่อให้แน่ใจว่าท่า $A$มีความโดดเด่นในแนวทแยงมุมอย่างยิ่ง ($|c|<0.1$, $r<2|c|$สำหรับเมทริกซ์ของมิติ 5-10) ฉันควรจะบอกว่าสิ่งเหล่านี้$A$ เป็นจริงและสมมาตร

อย่างไรก็ตามฉันพบว่า Gauss-Seidel ($\omega=1$) อยู่เกือบตลอดเวลาที่ดีที่สุด (?) นี่หมายความว่าจะต้องมีความสัมพันธ์ระหว่างกันมากขึ้น$A_{ij}$ได้รับประโยชน์จาก SOR? หรือฉันทำอะไรผิดพลาด?

---

ฉันรู้ว่า SOR ไม่ใช่นักแก้ปัญหาที่มีประสิทธิภาพมากที่สุด (เทียบกับ CG, GMRES ... ) แต่มันง่ายที่จะติดตั้งและแยกส่วนและแก้ไขสำหรับปัญหาเฉพาะ ดีแน่นอนสำหรับการสร้างต้นแบบ

การบรรจบกันของตัวแก้แบบวนซ้ำคลาสสิกสำหรับระบบเชิงเส้นถูกกำหนดโดยรัศมีสเปกตรัมของเมทริกซ์การวนซ้ำ $\rho(\mathbf{G})$. สำหรับระบบเชิงเส้นทั่วไปมันเป็นเรื่องยากที่จะกำหนดพารามิเตอร์ SOR ที่ดีที่สุด (หรือดีกว่า) เนื่องจากความยากลำบากในการกำหนดรัศมีสเปกตรัมของเมทริกซ์การวนซ้ำ ด้านล่างฉันได้รวมรายละเอียดเพิ่มเติมมากมายรวมถึงตัวอย่างของปัญหาจริงที่ทราบน้ำหนัก SOR ที่เหมาะสม

รัศมีสเปกตรัมและการลู่เข้า

รัศมีสเปกตรัมถูกกำหนดให้เป็นค่าสัมบูรณ์ของค่าลักษณะเฉพาะขนาดใหญ่ที่สุด วิธีการจะบรรจบกันถ้า$\rho<1$และรัศมีสเปกตรัมที่เล็กลงหมายถึงการลู่เข้าที่เร็วขึ้น SOR ทำงานโดยการแก้ไขการแยกเมทริกซ์ที่ใช้ในการรับเมทริกซ์การวนซ้ำตามทางเลือกของพารามิเตอร์การถ่วงน้ำหนัก$\omega$หวังว่าจะลดรัศมีสเปกตรัมของเมทริกซ์การวนซ้ำที่เกิดขึ้น

การแยกเมทริกซ์

สำหรับการอภิปรายด้านล่างฉันจะสมมติว่าระบบได้รับการแก้ไขโดย

$$\mathbf{A}x=b,$$

ด้วยการซ้ำของแบบฟอร์ม

$$x^{(k+1)}=v+\mathbf{G}x^{(k)},$$

ที่ไหน $v$ เป็นเวกเตอร์และหมายเลขซ้ำ $k$ ถูกเขียนแทน $x^{(k)}$.

SOR ใช้ค่าเฉลี่ยถ่วงน้ำหนักของการทำซ้ำเก่าและการทำซ้ำ Gauss-Seidel วิธี Gauss-Seidel อาศัยการแยกเมทริกซ์ของแบบฟอร์ม

$$\mathbf{A} = \mathbf{D} + \mathbf{L} + \mathbf{U}$$

ที่ไหน $\mathbf{D}$ เป็นเส้นทแยงมุมของ $\mathbf{A}$, $\mathbf{L}$ เป็นเมทริกซ์สามเหลี่ยมด้านล่างที่มีองค์ประกอบทั้งหมดของ $\mathbf{A}$ อย่างเคร่งครัดด้านล่างเส้นทแยงมุมและ $\mathbf{R}$ เป็นเมทริกซ์สามเหลี่ยมด้านบนที่มีองค์ประกอบทั้งหมดของ $\mathbf{A}$เหนือแนวทแยงอย่างเคร่งครัด Gauss-Seidel ซ้ำแล้วซ้ำอีกโดย

$$x^{(k+1)}=(\mathbf{D}+\mathbf{L})^{-1}b+\mathbf{G}_{\rm G-S}x^{(k)}$$

และเมทริกซ์การวนซ้ำคือ

$$\mathbf{G}_{\rm G-S}=-(\mathbf{D}+\mathbf{L})^{-1}\mathbf{U}.$$

SOR สามารถเขียนเป็น

$$x^{(k+1)}=\omega(\mathbf{D}+\omega\mathbf{L})^{-1}b+\mathbf{G}_{\rm SOR}x^{(k)}$$

ที่ไหน

$$\mathbf{G}_{\rm SOR} = (\mathbf{D}+\omega\mathbf{L})^{-1}((1-\omega)\mathbf{D}-\omega\mathbf{U}).$$

การกำหนดอัตราการบรรจบกันของรูปแบบการวนซ้ำนั้นจริง ๆ แล้วลดต่ำลงเพื่อกำหนดรัศมีสเปกตรัมของเมทริกซ์การทำซ้ำเหล่านี้ โดยทั่วไปแล้วนี่เป็นปัญหาที่ยากยกเว้นว่าคุณจะรู้อะไรที่เฉพาะเจาะจงเกี่ยวกับโครงสร้างของเมทริกซ์ มีตัวอย่างน้อยมากที่ฉันรู้ว่าการคำนวณสัมประสิทธิ์การถ่วงน้ำหนักที่เหมาะสมที่สุดนั้นเป็นอย่างไร ในทางปฏิบัติ$\omega$จะต้องพิจารณาจากการบินบนพื้นฐานของการลู่เข้าหา (สันนิษฐาน) ของอัลกอริทึมที่ใช้งาน วิธีนี้ใช้ได้ผลในบางกรณี แต่ล้มเหลวในบางกรณี

SOR ที่ดีที่สุด

ตัวอย่างจริงหนึ่งตัวอย่างที่ทราบว่าสัมประสิทธิ์การถ่วงน้ำหนักที่เหมาะสมเกิดขึ้นในบริบทของการแก้สมการปัวซอง:

$$\nabla^2 u = f~{\rm in}~\Omega\\ u = g~{\rm on}~\partial\Omega$$

การแยกระบบนี้ในโดเมนสแควร์ใน 2D โดยใช้ความแตกต่างอัน จำกัด ลำดับที่สองกับการเว้นวรรคกริดแบบสม่ำเสมอทำให้เกิดเมทริกซ์แบนด์แบบสมมาตรที่มี 4 บนเส้นทแยงมุม, -1 เหนือและใต้เส้นทแยงมุมทันที เส้นทแยงมุม มีความแตกต่างเนื่องจากเงื่อนไขขอบเขต แต่นั่นคือโครงสร้างพื้นฐาน กำหนดให้เมทริกซ์นี้เป็นทางเลือกที่ดีที่สุดที่พิสูจน์ได้สำหรับสัมประสิทธิ์ SOR

$$\omega = \dfrac{2}{1+\sin(\pi \Delta x/L)}$$

ที่ไหน $\Delta x$ เป็นระยะห่างกริดและ $L$คือขนาดโดเมน การทำเช่นนั้นสำหรับกรณีง่าย ๆ ที่มีวิธีแก้ปัญหาที่ทราบจะให้ข้อผิดพลาดต่อไปนี้กับหมายเลขการวนซ้ำสำหรับสองวิธีนี้

อย่างที่คุณเห็น SOR เข้าถึงความแม่นยำของเครื่องจักรในรอบ 100 รอบที่จุด Gauss-Seidel มีขนาดที่แย่กว่า 25 อันดับ หากคุณต้องการที่จะเล่นกับตัวอย่างนี้ฉันได้รวมรหัส MATLAB ที่ฉันใช้ด้านล่าง

clear all
close all

%number of iterations:
niter = 150;

%number of grid points in each direction
N = 16;
% [x y] = ndgrid(linspace(0,1,N),linspace(0,1,N));
[x y] = ndgrid(linspace(-pi,pi,N),linspace(-pi,pi,N));
dx = x(2,1)-x(1,1);
L = x(N,1)-x(1,1);

%desired solution:
U = sin(x/2).*cos(y);

% Right hand side for the Poisson equation (computed from U to produce the
% desired known solution)
Ix = 2:N-1;
Iy = 2:N-1;
f = zeros(size(U));
f(Ix,Iy) = (-4*U(Ix,Iy)+U(Ix-1,Iy)+U(Ix+1,Iy)+U(Ix,Iy-1)+U(Ix,Iy+1));

figure(1)
clf
contourf(x,y,U,50,'linestyle','none')
title('True solution')

%initial guess (must match boundary conditions)
U0 = U;
U0(Ix,Iy) = rand(N-2);

%Gauss-Seidel iteration:
UGS = U0; EGS = zeros(1,niter);
for iter=1:niter
    for iy=2:N-1
        for ix=2:N-1
            UGS(ix,iy) = -1/4*(f(ix,iy)-UGS(ix-1,iy)-UGS(ix+1,iy)-UGS(ix,iy-1)-UGS(ix,iy+1));
        end
    end

    %error:
    EGS(iter) = sum(sum((U-UGS).^2))/sum(sum(U.^2));
end

figure(2)
clf
contourf(x,y,UGS,50,'linestyle','none')
title(sprintf('Gauss-Seidel approximate solution, iteration %d', iter))
drawnow

%SOR iteration:
USOR = U0; ESOR = zeros(1,niter);
w = 2/(1+sin(pi*dx/L));
for iter=1:niter
    for iy=2:N-1
        for ix=2:N-1
            USOR(ix,iy) = (1-w)*USOR(ix,iy)-w/4*(f(ix,iy)-USOR(ix-1,iy)-USOR(ix+1,iy)-USOR(ix,iy-1)-USOR(ix,iy+1));
        end
    end

    %error:
    ESOR(iter) = sum(sum((U-USOR).^2))/sum(sum(U.^2));
end

figure(4)
clf
contourf(x,y,USOR,50,'linestyle','none')
title(sprintf('Gauss-Seidel approximate solution, iteration %d', iter))
drawnow


figure(5)
clf
semilogy(EGS,'b')
hold on
semilogy(ESOR,'r')
title('L2 relative error')
xlabel('Iteration number')
legend('Gauss-Seidel','SOR','location','southwest')

ด้านนี้ไม่ใช่สิ่งที่พิเศษของฉัน แต่ฉันไม่คิดว่านี่เป็นการทดสอบที่ยอดเยี่ยมสำหรับการใช้งานจริง ๆ

ฉันไม่แน่ใจว่าคุณใช้ค่าอะไรสำหรับcและrแต่ฉันคิดว่าคุณกำลังทำงานกับเมทริกซ์ที่มีสภาพแย่มาก (ด้านล่างคือโค้ด Python บางอันที่แสดงว่าสิ่งเหล่านี้อาจไม่ใช่เมทริกซ์ที่กลับด้านได้)

>>> import numpy
>>> for n in [100, 1000]:
...     for c in [.1, 1, 10]:
...         for r in [.1, 1, 10]:
...             print numpy.linalg.cond(
...                 numpy.eye(n) + 
...                 c * numpy.ones((n, n)) + 
...                 r * numpy.random.random((n, n))
...             )
... 
25.491634739
2034.47889101
2016.33059429
168.220149133
27340.0090644
5532.81258852
1617.33518781
42490.4410689
5326.3865534
6212.01580004
91910.8386417
50543.9269739
24737.6648458
271579.469212
208913.592289
275153.967337
17021788.5576
117365.924601

หากคุณจำเป็นต้องสลับเมทริกซ์นี้แบบไม่เป็นธรรมคุณ a) ใช้วิธีพิเศษและ b) น่าจะเป็นเพียงแค่ไปหาฟิลด์ใหม่😉

สำหรับเมทริกซ์ที่มีขนาดพอดี SOR น่าจะเร็วกว่า สำหรับปัญหาจริงที่เรื่องความเร็วนั้นคงยากที่จะใช้ SOR - ในด้านที่มีความซับซ้อน ในด้านช้า แต่น่าเชื่อถือ SOR ไม่ใช่สิ่งที่ดีที่สุดที่คุณสามารถทำได้

ตกลงดังนั้นสำหรับเมทริกซ์เมทริกซ์ของกษัตริย์องค์นี้:

1 t 0 0 0 0 t t 0 0 
t 1 0 0 0 0 0 0 0 0 
0 0 1 0 0 0 0 t 0 t 
0 0 0 1 0 0 0 0 0 t 
0 0 0 0 1 t 0 0 0 0 
0 0 0 0 t 1 0 t 0 0 
t 0 0 0 0 0 1 0 0 0 
t 0 t 0 0 t 0 1 0 0 
0 0 0 0 0 0 0 0 1 t 
0 0 t t 0 0 0 0 t 1 

SOR ลู่เข้าหากันเร็วกว่า Gauss-Seidel ถ้าจำนวน $t$s ในแต่ละแถวมีขนาดเล็ก (เล็กกว่ามิติของ A มาก) และหากทั้งหมด $t$มีความคล้ายคลึงกัน ฉันกำลังใช้$t$สร้างแล้วเช่นนี้:

$t_i = c + random(-r,r)$

ถ้า $t$แตกต่างกันมากและเป็นศูนย์กลาง arround 0 ( $c=0,r=0.1$) กว่า Gauss-Seidel เร็วกว่า Gauss-Seidel ก็เร็วขึ้นเช่นกันถ้าแต่ละแถวเต็มไปกว่าครึ่ง$t$s นี่ก็หมายความว่า SOR นั้นดีกว่าสำหรับเมทริกซ์ที่ใหญ่และเบาบางมาก

(นี่เป็นเพียงการสังเกตอารมณ์ไม่มีอะไรเข้มงวด)