การสุ่มตัวอย่างจากหลายตัวแปร Gaussian ด้วยกราฟ Laplacian (ผกผัน) ความแปรปรวนร่วม

เรารู้จากเช่นKoutis-Miller-Peng (จากงานของ Spielman & Teng) ว่าเราสามารถแก้ระบบเชิงเส้นสำหรับเมทริกซ์อย่างรวดเร็วซึ่งเป็นเมทริกซ์ Laplacian สำหรับกราฟที่มีน้ำหนักเบาบางที่ไม่เป็นลบ . $A x = b$ $A$

ตอนนี้ (คำถามแรก) ลองใช้หนึ่งในกราฟ Laplacian เมทริกซ์เป็นความแปรปรวนร่วมหรือ (คำถามที่สอง) เมทริกซ์ความแปรปรวนร่วมผกผันของการแจกแจงปกติแบบศูนย์หลายค่าเฉลี่ยหรือ1}) สำหรับแต่ละกรณีฉันมีคำถามสองข้อ: $A$ $\mathcal{N}(\boldsymbol{0}, A)$ $\mathcal{N}(\boldsymbol{0}, A^{-1})$

A. เราสามารถดึงตัวอย่างจากการกระจายนี้ได้อย่างมีประสิทธิภาพแค่ไหน? (โดยทั่วไปการวาดตัวอย่างเราคำนวณการสลายตัวของ Cholesky , วาดมาตรฐานปกติจากนั้นคำนวณตัวอย่างเป็น ) $A = LL^T$ $y \sim \mathcal{N}(\boldsymbol{0}, I)$ $x = L^{-1} y$

B. เราสามารถคำนวณดีเทอร์มีแนนต์ของอย่างมีประสิทธิภาพแค่ $A$ ไหน?

โปรดทราบว่าทั้งสองสิ่งนี้สามารถแก้ไขได้อย่างง่ายดายเนื่องจากการสลายตัวของ Cholesky แต่ฉันไม่เห็นวิธีการแยก $L$ อย่างมีประสิทธิภาพมากกว่าเพียงแค่ใช้อัลกอริธึม Cholesky มาตรฐานแบบกระจัดกระจายซึ่งไม่ใช้เทคนิคที่นำเสนอในการอ้างอิงข้างต้น งานและซึ่งจะมีความซับซ้อนลูกบาศก์สำหรับกราฟกระจัดกระจาย แต่สูง treewidth

— dan_x
แหล่งที่มา

ฉันคิดว่ามันอาจช่วยให้เจาะจงมากขึ้นในสิ่งที่คุณพิจารณาว่า "มีประสิทธิภาพ" ในทั้งสองกรณี "ประสิทธิภาพ" เหมือนกับ "ไม่ขึ้นอยู่กับการสลายตัวของ Cholesky" หรือไม่?

— Suresh Venkat

ขอบคุณสำหรับคำแนะนำ เป็นไปได้ที่คำตอบสำหรับคำถามทั้งหมดคือ "คุณต้องคำนวณการสลายตัวของโคลเลสกี้และไม่มีโครงสร้างใดที่สามารถยกระดับให้เกินขอบเขตของเมทริกซ์ได้" ฉันสนใจที่จะรู้ว่านี่เป็นเรื่องจริงหรือไม่ (แต่ฉันหวังว่ามันจะไม่เป็นเช่นนั้น) ด้วยความเคารพ "มีประสิทธิภาพ" ในย่อหน้าสุดท้ายใช่ฉันส่วนใหญ่หมายถึงมีประสิทธิภาพมากกว่าอัลกอริทึม Cholesky มาตรฐานหร็อมแหร็ม แม้ว่าหากมีวิธีการใช้เทคนิคของงานที่อ้างถึงข้างต้นเพื่อคำนวณ Cholesky ให้เร็วที่สุดเท่าที่จะทำได้โดยใช้วิธีอื่นนั่นก็น่าสนใจเช่นกัน

— dan_x

หากคุณต้องการตัวอย่างจากคุณสามารถใช้โดยที่คือเมทริกซ์อุบัติการณ์ของกราฟ ดังนั้นคุณจะได้ลิ้มลองจากมาตรฐานเสียนใน (ขอบ) และใช้การแปลงเชิงเส้นBฉันไม่รู้ว่าสิ่งนี้เปรียบเทียบกับคำแนะนำด้านล่างได้อย่างไร แต่คุณไม่จำเป็นต้องคำนวณการสลายตัวของ Cholesky

N (0, A)

$N(0,A)$

A = B^{T} B

$A = B^T B$

B

$B$

R^{E}

$\mathbb{R}^E$

E

$E$

B

$B$

— Lorenzo Najt

มีสองประเด็นแยกกันที่นี่

วิธีการใช้งานที่มีประสิทธิภาพสำหรับแก้ในการสั่งซื้อเพื่อนำไปใช้ข $Ax=b$ $A^{1/2}b$
วิธีการคำนวณดีเทอร์มิแนนต์

คำตอบสั้น ๆ คือ 1) ใช้การประมาณฟังก์ชั่นเมทริกซ์เหตุผลและ 2) คุณไม่ แต่คุณไม่จำเป็นต้องทำอะไรเลย ฉันแก้ไขปัญหาเหล่านี้ทั้งสองด้านล่าง

การประมาณรากที่สองของเมทริกซ์

แนวคิดนี้คือการแปลงการประมาณฟังก์ชัน rational สำหรับฟังก์ชัน scalar เป็นการประมาณฟังก์ชัน rational สำหรับฟังก์ชัน matrix

เรารู้ว่ามีฟังก์ชั่นเหตุผลที่สามารถประมาณฟังก์ชันสแควร์รูทได้ดีมาก บวกb_iเพื่อให้ได้ความแม่นยำสูงในช่วงเวลาคุณจำเป็นต้องใช้ในซีรีส์ ในการรับน้ำหนักที่เหมาะสม ( ) และเสา ( ) เพียงแค่ค้นหาฟังก์ชั่นที่มีเหตุผลประมาณออนไลน์หรือในหนังสือ

\sqrt{x} \approx r (x) := \frac{a_{1}}{x + b_{1}} + \frac{a_{2}}{x + b_{2}} + \dots + \frac{a_{N}}{x + b_{N}},

$\sqrt{x} \approx r(x) := \frac{a_1}{x+b_1} + \frac{a_2}{x+b_2} + \dots + \frac{a_N}{x+b_N},$

b_{i}

$b_i$

[m, M]

$[m,M]$

O (\log \frac{M}{m})

$O(\log \frac{M}{m})$

a_{i}

$a_i$

- b_{i}

$-b_i$

ตอนนี้ลองใช้ฟังก์ชั่นเหตุผลนี้กับเมทริกซ์ของคุณ:

r (A) = a_{1} (A + b_{1} I)^{- 1} + a_{2} (A + b_{2} I)^{- 1} + \dots + a_{N} (A + b_{N} I)^{- 1} .

$r(A) = a_1(A + b_1 I)^{-1} + a_2(A + b_2 I)^{-1} + \dots + a_N(A + b_N I)^{-1}.$

เนื่องจากความสมดุลของเรามี ที่คือการสลายตัวมูลค่าเอกพจน์ (SVD) ของ ดังนั้นคุณภาพของการประมาณเมทริกซ์เหตุผลจะเทียบเท่ากับคุณภาพของการประมาณฟังก์ชั่นเหตุผลที่ตำแหน่งของค่าลักษณะเฉพาะ $A$

\begin{aligned} | | A^{1 / 2} - r (A) | |_{2} & = | | U (Σ^{1 / 2} - r (Σ)) U^{*} | |_{2}, \\ = max_{i} | \sqrt{σ_{i}} - r (σ_{i}) | \end{aligned}

$\begin{align} ||A^{1/2} - r(A)||_2 &= ||U\left(\Sigma^{1/2} - r(\Sigma)\right)U^*||_2, \\ &= \max_i |\sqrt{\sigma_i} - r(\sigma_i)| \end{align}$

A = U Σ U^{*}

$A = U \Sigma U^*$

A

$A$

แสดงถึงจำนวนเงื่อนไขของโดยเราสามารถนำไปใช้กับความอดทนที่ต้องการโดยดำเนินการกราฟที่ปรับเปลี่ยนในเชิงบวก Laplacian ของรูปแบบ $A$ $\kappa$ $A^{1/2}b$ $O(\log \kappa)$

(A + b I) x = b .

$(A + bI)x=b.$

วิธีแก้ปัญหาเหล่านี้สามารถทำได้ด้วยตัวทำละลาย Laplacian กราฟที่คุณชื่นชอบ - ฉันชอบเทคนิคหลายประเภท แต่หนึ่งในกระดาษที่คุณอ้างถึงควรจะใช้ได้เช่นกัน ค่าพิเศษเพียงช่วยให้การรวมกันของตัวแก้ $bI$

สำหรับบทความที่ดีเยี่ยมเกี่ยวกับเรื่องนี้รวมถึงเทคนิคการวิเคราะห์ที่ซับซ้อนทั่วไปที่ใช้กับเมทริกซ์แบบไม่สมมาตรดูการคำนวณ ,และฟังก์ชันเมทริกซ์ที่เกี่ยวข้องโดยอินทิกรัลรูปร่าง $A^α$ $\log(A)$ โดย Hale, Higham และ Trefethen (2008) )

กำหนด "การคำนวณ"

ตัวกำหนดนั้นยากต่อการคำนวณ เท่าที่ฉันรู้วิธีที่ดีที่สุดคือการคำนวณการสลายตัว Schur โดยใช้อัลกอริทึม QR จากนั้นอ่านค่าลักษณะเฉพาะจากเส้นทแยงมุมของเมทริกซ์รูปสามเหลี่ยมบน ใช้เวลาโดยที่คือจำนวนโหนดในกราฟ $A = Q U Q^*$ $U$ $O(n^3)$ $n$

อย่างไรก็ตามการคำนวณดีเทอร์มิแนนต์เป็นปัญหาที่ไม่สามารถควบคุมได้โดยธรรมชาติดังนั้นหากคุณเคยอ่านกระดาษที่อาศัยการคำนวณดีเทอร์มิแนนต์ของเมทริกซ์ขนาดใหญ่คุณควรจะสงสัยอย่างมากเกี่ยวกับวิธีนี้

โชคดีที่คุณอาจไม่ต้องการปัจจัย ตัวอย่างเช่น,

ในการดึงตัวอย่างจากการแจกแจงแบบเกาส์เดียวค่าคงที่การทำให้เป็นมาตรฐานมีค่าเท่ากันทุกจุดดังนั้นคุณไม่จำเป็นต้องคำนวณ $N(0,A^{-1})$
ถ้า Laplacian matrixแทนค่าความแปรปรวนร่วมของการประมาณแบบเกาส์เซียนท้องถิ่นที่จุดเป็นการกระจายแบบไม่แบบเกาส์นั้นตัวกำหนดจะเปลี่ยนแน่นอนจากจุดหนึ่งไปยังอีกจุดหนึ่ง อย่างไรก็ตามในโครงการการสุ่มตัวอย่างทุกฉันรู้ที่มีประสิทธิภาพ (รวมทั้งห่วงโซ่มาร์คอฟ Monte Carlo สุ่มตัวอย่างสำคัญอื่น ๆ ) สิ่งที่คุณต้องการจริงๆคืออัตราส่วนปัจจัย , ที่คือจุดปัจจุบันและเป็นตัวอย่างถัดไปที่เสนอ $A = A_x$ $x$ $det (A_{x_{0}}^{- 1} A_{x_{p}}),$ $\det(A_{x_0}^{-1}A_{x_p}),$ $x_0$ $x_p$

เราสามารถดูเป็นการอัปเดตข้อมูลประจำตัวระดับต่ำ ซึ่งเป็นตัวเลขที่มีประสิทธิภาพ rank, , ของการอัปเดตระดับต่ำคือการวัดในท้องถิ่นว่าการแจกแจงที่แท้จริงแบบไม่ Gaussian นั้นเป็นอย่างไร; โดยทั่วไปแล้วจะต่ำกว่าระดับเมทริกซ์ทั้งหมด อันที่จริงถ้ามีขนาดใหญ่การกระจายตัวที่แท้จริงนั้นไม่ใช่แบบเกาส์เซียนท้องถิ่นดังนั้นจึงควรตั้งคำถามกับกลยุทธ์ทั้งหมดของการพยายามลองตัวอย่างการกระจายตัวนี้โดยใช้การประมาณแบบเกาส์ท้องถิ่น $A_{x_0}^{-1}A_{x_p}$

A_{x_{0}}^{- 1} A_{x_{p}} = I + Q D Q^{*},

$A_{x_0}^{-1}A_{x_p} = I + Q D Q^*,$

r

$r$

r

$r$

ปัจจัยอันดับต่ำและสามารถพบได้ด้วยการสุ่ม SVDหรือ Lanczos โดยใช้เมทริกซ์ ถึงเวกเตอร์ที่ต่างกันแต่ละแอปพลิเคชันที่ต้องใช้หนึ่งกราฟ วิธีการแก้ปัญหา Laplacian ดังนั้นการทำงานโดยรวมสำหรับการได้รับปัจจัยอันดับต่ำเหล่านี้คือE)) $Q$ $D$

A_{x_{0}}^{- 1} A_{x_{p}} - I

$A_{x_0}^{-1}A_{x_p} -I$

O (r)

$O(r)$

O (r max (n, E))

$O(r \max(n,E))$

ทราบว่าอัตราส่วนดีเทอร์มิแนนต์คือ $D = \text{diag}(d_1,d_2,\dots,d_r)$

det (A_{x_{0}}^{- 1} A_{x_{p}}) = det (I + Q D Q^{*}) = \exp (\sum_{i = 1}^{r} \log d_{i}) .

$\det(A_{x_0}^{-1}A_{x_p}) = \det(I + Q D Q^*) = \exp\left(\sum_{i=1}^r \log d_i\right).$

เทคนิคการคำนวณการปันส่วนดีเทอร์มิแนนต์ต่ำเหล่านี้สามารถพบได้ในวิธี Stochastic Newton MCMC สำหรับปัญหาผกผันทางสถิติขนาดใหญ่ที่มีการประยุกต์ใช้กับการผกผันของแผ่นดินไหวโดย Martin, et al. (2012) ในบทความนี้นำไปใช้กับปัญหาต่อเนื่องดังนั้น "กราฟ" เป็นตารางในพื้นที่ 3 มิติและกราฟ Laplacian เป็นเมทริกซ์ Laplacian จริง อย่างไรก็ตามเทคนิคทั้งหมดนำไปใช้กับ Laplacians กราฟทั่วไป อาจมีกระดาษอื่น ๆ ที่ใช้เทคนิคนี้กับกราฟทั่วไปในตอนนี้ (ส่วนขยายนั้นเล็กน้อยและโดยทั่วไปคือสิ่งที่ฉันเพิ่งเขียน)

— นิคแอลจีเรีย
แหล่งที่มา