การคำนวณอย่างรวดเร็ว / การประมาณค่าของระบบเชิงเส้นระดับต่ำ

ระบบเชิงเส้นของสมการเป็นที่แพร่หลายในสถิติการคำนวณ ระบบพิเศษหนึ่งที่ฉันได้พบ (เช่นในการวิเคราะห์ปัจจัย) คือระบบ

A x = b

$Ax=b$

ที่ นี่คือเมทริกซ์แนวทแยงที่มีเส้นทแยงมุมบวกอย่างเคร่งครัดคือ (กับ ) สมมาตรเมทริกซ์กึ่งแน่นอนกึ่งบวกแน่นอนและเป็นเมทริกซ์โดยพลการ เราถูกขอให้แก้ไขระบบเส้นตรงในแนวทแยง (ง่าย) ที่ได้รับการรบกวนโดยเมทริกซ์ระดับต่ำ วิธีที่ไร้เดียงสาในการแก้ปัญหาดังกล่าวข้างต้นคือการกลับโดยใช้สูตรของฟอร์ด อย่างไรก็ตามนั่นไม่ถูกต้องเนื่องจาก Cholesky และ QR factorizations สามารถเร่งแก้ปัญหาของระบบเชิงเส้น (และสมการปกติ) ได้อย่างรวดเร็ว ฉันเพิ่งมาถึง

A = D + B Ω B^{T}

$A=D+ B \Omega B^T$

D

$D$

n \times n

$n\times n$

Ω

$\Omega$

m \times m

$m\times m$

m ≪ n

$m\ll n$

B

$B$

n \times m

$n\times m$

A

$A$ บทความต่อไปนี้ซึ่งดูเหมือนว่าจะใช้วิธี Cholesky และกล่าวถึงความไม่แน่นอนเชิงตัวเลขของการกลับตัวของ Woodbury อย่างไรก็ตามกระดาษดูเหมือนอยู่ในร่างแบบร่างและฉันไม่สามารถหาการทดลองเชิงตัวเลขหรือสนับสนุนการวิจัย ศิลปะในการแก้ไขปัญหาที่ฉันอธิบายคืออะไร

— Gappy
แหล่งที่มา

@gappy คุณคิดว่าจะใช้การสลายตัว QR (หรือ Cholesky) สำหรับเมทริกซ์

(เทอมกลางในสูตร Woodburry) หรือไม่? การดำเนินการที่เหลือคือการคูณเมทริกซ์อย่างง่าย แหล่งที่มาหลักของความไม่แน่นอนก็คือการคำนวณของ

ตั้งแต่

ฉันสงสัยว่าการประยุกต์ใช้ QR หรือ Cholesky นี้รวมกับฟอร์ดจะเร็วกว่า QR ในทุกแมทริกซ์ แน่นอนว่านี่ไม่ใช่สถานะของศิลปะเพียงการสังเกตทั่วไป

Ω^{- 1} + B D^{- 1} B^{T}

$\Omega^{-1}+BD^{-1}B^T$

Ω^{- 1}

$\Omega^{-1}$

m << n

$m<<n$

A

$A$

— mpiktas

ฉันสงสัยว่าสิ่งที่ผู้สนับสนุนของ Matthias Seeger อยู่ภายใน

ของสถานะของศิลปะเขาเป็นคนเจ้าเล่ห์ที่สดใสมากและปัญหาเหล่านี้เกิดขึ้นซ้ำ ๆ ในแบบจำลองที่เขาสำรวจ ฉันใช้วิธีการตาม Cholesky ด้วยเหตุผลเดียวกัน ฉันสงสัยว่ามีการอภิปรายใน "การคำนวณเมทริกซ์" โดย Golub และ Van Loan ซึ่งเป็นข้อมูลอ้างอิงมาตรฐานสำหรับสิ่งเหล่านี้ (แม้ว่าฉันจะไม่มีสำเนาของตัวเอง)

ϵ

$\epsilon$

— Dikran Marsupial

โปรดทราบว่าโดยการ

ปัญหาของคุณคือเทียบเท่ากับการแก้ระบบ

ที่

ข

ดังนั้นนั่นทำให้ปัญหาง่ายขึ้นเล็กน้อยตรงนั้น ตอนนี้ปล่อยให้

เรารู้ว่า

คือ semidefinite บวกกับที่มากที่สุด

\bar{B} = D^{- 1 / 2} B

$\bar{B} = D^{-1/2} B$

(I + \bar{B} Ω {\bar{B}}^{T}) x = \bar{b}

$(I + \bar{B}\Omega \bar{B}^T)x = \bar{b}$

\bar{b} = D^{- 1 / 2} b

$\bar{b} = D^{-1/2} b$

Σ = \bar{B} Ω {\bar{B}}^{T}

$\Sigma = \bar{B} \Omega \bar{B}^T$

Σ

$\Sigma$

ค่าลักษณะเฉพาะที่เป็นบวก ตั้งแต่

หา

ค่าลักษณะเฉพาะที่ใหญ่ที่สุดและ eigenvectors สอดคล้องกันสามารถทำได้ในรูปแบบต่างๆ การแก้ปัญหาคือแล้ว

ที่

ให้ eigendecomposition ของΣ

m

$m$

m ≪ n

$m \ll n$

m

$m$

x = Q (I + Λ)^{- 1} Q^{T} \bar{b}

$x = Q(I + \Lambda)^{-1} Q^T \bar{b}$

Σ = Q Λ Q^{T}

$\Sigma = Q \Lambda Q^T$

Σ

$\Sigma$

— พระคาร์ดินัล

การแก้ไขขนาดเล็ก: (1) ระบบที่เทียบเท่า

และ (2) การแก้ปัญหาสุดท้ายคือ

ข

(ผมเคยลดลง

ในด้านหน้าของ

(I + \bar{B} Ω {\bar{B}}^{T}) D^{1 / 2} x = \bar{b}

$(I + \bar{B} \Omega \bar{B}^T) D^{1/2} x = \bar{b}$

x = D^{- 1 / 2} Q (I + Λ)^{- 1} Q^{T} D^{- 1 / 2} b

$x = D^{-1/2} Q (I + \Lambda)^{-1} Q^T D^{-1/2} b$

D^{1 / 2}

$D^{1/2}$

x

$x$ ในทั้งสองกรณี) โปรดสังเกตว่าผู้ผกผันทั้งหมดเป็นเมทริกซ์แนวทแยงและอื่น ๆ

— พระคาร์ดินัล

@mpiktas: ฉันคิดว่าคุณหมายถึง

ตั้งแต่ในรุ่นที่คุณเขียนผลิตภัณฑ์เมทริกซ์ไม่ได้กำหนดไว้อย่างดีเนื่องจากมิติไม่ตรงกัน :)

Ω^{- 1} + B^{T} D^{- 1} B

$\Omega^{-1} + B^T D^{-1} B$

— สำคัญ

"การคำนวณเมทริกซ์" โดย Golub & van Loan มีรายละเอียดการสนทนาในบทที่ 12.5.1 เกี่ยวกับการอัปเดตข้อมูล QR และ Cholesky หลังจากอัปเดตตำแหน่ง p

— เฟเบียน Pedregosa
แหล่งที่มา

ฉันรู้และฟังก์ชั่น lapack ที่เกี่ยวข้องถูกกล่าวถึงทั้งในกระดาษที่ฉันเชื่อมโยงและในหนังสือ ฉันสงสัยว่าอะไรเป็นวิธีปฏิบัติที่ดีที่สุดสำหรับปัญหาที่เกิดขึ้นไม่ใช่สำหรับปัญหาการอัพเดททั่วไป

— Gappy