การทำให้เป็นมาตรฐานของ Tikhonov เหมือนกับการถดถอยของสันเขาหรือไม่?

การทำให้เป็นมาตรฐาน Tikhonov และการถดถอยสันเป็นคำที่มักใช้ราวกับว่าพวกเขาเหมือนกัน เป็นไปได้หรือไม่ที่จะระบุอย่างชัดเจนว่าความแตกต่างคืออะไร?

Tikhonov regularizarization เป็นชุดใหญ่กว่าสันเขาถดถอย นี่คือความพยายามของฉันที่จะสะกดความแตกต่างอย่างชัดเจน

สมมติว่าสำหรับเมทริกซ์และเวกเตอร์รู้จักกันเราต้องการหาเวกเตอร์นั้น:b $A$$b$$\mathbf{x}$

$A\mathbf{x}=\mathbf{b}${ข}

วิธีมาตรฐานเป็นวิธีการถดถอยเชิงเส้นกำลังสองน้อยที่สุด อย่างไรก็ตามถ้าไม่มีเป็นไปตามสมการหรือมากกว่าหนึ่ง - นั่นคือวิธีการแก้ปัญหานั้นไม่ซ้ำกัน - ปัญหาถูกกล่าวว่าไม่ถูกต้อง สี่เหลี่ยมจัตุรัสขั้นต่ำสุดสามัญพยายามที่จะลดผลรวมของส่วนที่เหลือกำลังสองซึ่งสามารถเขียนเป็นดาน:$x$$x$

$\|A\mathbf{x}-\mathbf{b}\|^2$

โดยที่$\left \| \cdot \right \|$เป็นบรรทัดฐานแบบยุคลิด ในสัญกรณ์เมทริกซ์การแก้ปัญหาแสดงโดย$\hat{x}$ได้รับจาก:

$\hat{x} = (A^{T}A)^{-1}A^{T}\mathbf{b}$

การทำให้เป็นมาตรฐาน Tikhonovลดลง

$\|A\mathbf{x}-\mathbf{b}\|^2+ \|\Gamma \mathbf{x}\|^2$

สำหรับบางคนได้รับการแต่งตั้งอย่างเหมาะสม Tikhonov เมทริกซ์\โซลูชันฟอร์มเมทริกซ์ที่ชัดเจนซึ่งแสดงโดยได้รับจาก:$\Gamma$$\hat{x}$

$\hat{x} = (A^{T}A+ \Gamma^{T} \Gamma )^{-1}A^{T}{b}$

ผลของกูอาจจะแตกต่างกันผ่านทางขนาดของเมทริกซ์\สำหรับสิ่งนี้จะลดการแก้ปัญหากำลังสองน้อยที่สุดที่ไม่สม่ำเสมอซึ่งมี(A ^T A) ⁻¹อยู่แกมมา= $\Gamma$$\Gamma = 0$

โดยทั่วไปแล้วสำหรับการถดถอยสันเขาสองขาออกจากการทำให้เป็นระเบียบ Tikhonov จะอธิบาย ก่อนอื่นเมทริกซ์ Tikhonov จะถูกแทนที่ด้วยเมทริกซ์เอกลักษณ์หลายตัว

$\Gamma= \alpha I$ ,

ให้ความพึงพอใจกับการแก้ปัญหาที่มีบรรทัดฐานที่มีขนาดเล็กเช่นมาตรฐานจากนั้น จะกลายเป็นนำไปสู่Γ T Γ อัลฟ่า2$L_2$$\Gamma^{T} \Gamma$$\alpha^2 I$

$\hat{x} = (A^{T}A+ \alpha^2 I )^{-1}A^{T}{b}$

ในที่สุดสำหรับการถดถอยสันมันมักจะสันนิษฐานว่าตัวแปรจะถูกปรับอัตราส่วนเพื่อให้มีรูปแบบของเมทริกซ์สหสัมพันธ์ และเป็นเวกเตอร์สหสัมพันธ์ระหว่างตัวแปรและนำไปสู่X T X X T b x $A$$X^{T}X$$X^{T}b$$x$$b$

$\hat{x} = (X^{T}X+ \alpha^2 I )^{-1}X^{T}{b}$

หมายเหตุในรูปแบบนี้ตัวคูณ Lagrangeมักจะถูกแทนที่ด้วย ,หรือสัญลักษณ์อื่น ๆ แต่ยังคงคุณสมบัติ k λ λ ≥ $\alpha^2$$k$$\lambda$$\lambda\geq0$

ในการกำหนดคำตอบนี้ฉันรับทราบการยืมอย่างเสรีจากWikipediaและจากการประมาณค่าน้ำหนักการถ่ายโอนของสันเขา

คาร์ลได้ให้คำตอบอย่างละเอียดซึ่งอธิบายความแตกต่างทางคณิตศาสตร์ระหว่างการทำให้เป็นมาตรฐาน Tikhonov กับการถดถอยของสันเขา แรงบันดาลใจจากการสนทนาทางประวัติศาสตร์ที่นี่ฉันคิดว่ามันอาจจะมีประโยชน์ในการเพิ่มตัวอย่างสั้น ๆ ที่แสดงให้เห็นว่ากรอบ Tikhonov ทั่วไปมากขึ้นจะมีประโยชน์

ก่อนอื่นทราบสั้น ๆ เกี่ยวกับบริบท การถดถอยของสันเขาเกิดขึ้นในสถิติและในขณะที่การทำให้เป็นระเบียบเป็นที่แพร่หลายในสถิติและการเรียนรู้ของเครื่องวิธีการของ Tikhonov นั้นได้รับแรงบันดาลใจมาจากปัญหาผกผันที่เกิดขึ้นในการดูดกลืนข้อมูลตามแบบจำลอง(โดยเฉพาะในธรณีฟิสิกส์ ) ตัวอย่างแบบง่ายด้านล่างนี้อยู่ในหมวดหมู่นี้ (มีการใช้เวอร์ชันที่ซับซ้อนมากขึ้นสำหรับการสร้างไทพาซิลิเมท )

---

ลองนึกภาพที่เราต้องการที่จะสร้างอุณหภูมิในอดีตที่ผ่านมาขึ้นอยู่กับการตรวจวัดวันปัจจุบันT] ในรูปแบบที่เรียบง่ายของเราที่เราจะสมมติว่าวิวัฒนาการอุณหภูมิตามสมการความร้อน ใน 1D กับเงื่อนไขขอบเขตระยะ ง่าย (อย่างชัดเจน) จำกัด แตกต่างวิธี นำไปสู่รูปแบบที่ไม่ต่อเนื่อง ทางคณิตศาสตร์วิวัฒนาการเมทริกซ์กลับด้านดังนั้นเราจึงมี อย่างไรก็ตามตัวเลขu [ x , t = T ] u t = u x x u [ x + L , t ] = u [ x , t ] Δ $u[x,t=0]$$u[x,t=T]$

$$u_t = u_{xx}$$ $$u[x+L,t] = u[x,t]$$ A u t = A - 1 u t + 1 $$\frac{\Delta\mathbf{u}}{\Delta{t}} = \frac{\mathbf{Lu}}{\Delta{x^2}} \implies \mathbf{u}_{t+1} = \mathbf{Au}_t$$ $\mathbf{A}$ $$\mathbf{u}_t = \mathbf{A^{-1}u}_{t+1}$$ ความยากลำบากจะเกิดขึ้นหากช่วงเวลายาวเกินไป$T$

การทำให้เป็นมาตรฐาน Tikhonov สามารถแก้ปัญหานี้ได้โดยการแก้ ซึ่งจะเพิ่มขนาดเล็กโทษบนความหยาบ{xx} ω2«1Ux

$$\begin{align} \mathbf{Au}_t &\approx \mathbf{u}_{t+1} \\ \omega\mathbf{Lu}_t &\approx \mathbf{0} \end{align}$$ $\omega^2\ll{1}$$u_{xx}$

ด้านล่างเป็นการเปรียบเทียบผลลัพธ์:

เราจะเห็นได้ว่าอุณหภูมิเดิมมีรายละเอียดเรียบซึ่งเป็นที่เรียบยังคงต่อไปโดยการแพร่เพื่อให้{} การผกผันโดยตรงไม่สามารถกู้คืนและโซลูชันแสดงสิ่งประดิษฐ์"หมากฮอส" ที่แข็งแกร่ง อย่างไรก็ตามโซลูชัน Tikhonovสามารถกู้คืนด้วยความแม่นยำที่ค่อนข้างดีu f w d u 0 u ฉันn v u r e g u $u_0$$u_\mathsf{fwd}$$u_0$$u_\mathsf{inv}$$u_\mathsf{reg}$$u_0$

โปรดทราบว่าในตัวอย่างนี้การถดถอยของสันเขาจะผลักดันโซลูชันของเราไปสู่ ​​"ยุคน้ำแข็ง" (เช่นอุณหภูมิที่เป็นศูนย์) Tikhonov ถดถอยช่วยให้เรามีความยืดหยุ่นมากขึ้นร่างกายจำกัด ก่อนชั่น: ที่นี่โทษของเราเป็นหลักว่าการฟื้นฟูควรจะค่อย ๆ พัฒนาคือ{0}ยูที ≈ $\mathbf{u}$$u_t\approx{0}$

---

ตัวอย่างรหัส Matlab ด้านล่าง (สามารถเรียกใช้ออนไลน์ได้ที่นี่ )

% Tikhonov Regularization Example: Inverse Heat Equation
n=15; t=2e1; w=1e-2; % grid size, # time steps, regularization
L=toeplitz(sparse([-2,1,zeros(1,n-3),1]/2)); % laplacian (periodic BCs)
A=(speye(n)+L)^t; % forward operator (diffusion)
x=(0:n-1)'; u0=sin(2*pi*x/n); % initial condition (periodic & smooth)
ufwd=A*u0; % forward model
uinv=A\ufwd; % inverse model
ureg=[A;w*L]\[ufwd;zeros(n,1)]; % regularized inverse
plot(x,u0,'k.-',x,ufwd,'k:',x,uinv,'r.:',x,ureg,'ro');
set(legend('u_0','u_{fwd}','u_{inv}','u_{reg}'),'box','off');