เทคนิคการติดตามแบบสุ่ม

ฉันได้พบกับเทคนิคการติดตามแบบสุ่มต่อไปนี้ใน M. Seeger“ การอัปเดตระดับต่ำสำหรับการสลายตัวของ Cholesky” University of California ที่ Berkeley, Tech ตัวแทน, 2007

$$\operatorname{tr}(\mathbf{A}) = {E[\mathbf{x}^T \mathbf{A} \mathbf{x}]}$$

ที่$\mathbf{x} \sim N(\mathbf{0},\mathbf{I})$ )

ในฐานะคนที่ไม่มีพื้นฐานคณิตศาสตร์ลึกฉันสงสัยว่าความสำเร็จนี้จะเกิดขึ้นได้อย่างไร ยิ่งกว่านั้นเราจะตีความ$\mathbf{x}^T \mathbf{A} \mathbf{x}$อย่างไรตัวอย่างเช่นในเชิงเรขาคณิต? ฉันควรดูเพื่อทำความเข้าใจความหมายของการนำผลิตภัณฑ์ภายในของเวกเตอร์และค่าของช่วงได้อย่างไร ทำไมค่าเฉลี่ยเท่ากับผลรวมของค่าลักษณะเฉพาะ นอกจากคุณสมบัติทางทฤษฎีแล้วความสำคัญของการปฏิบัติคืออะไร

ฉันได้เขียนโค้ด MATLAB เพื่อดูว่ามันใช้งานได้หรือไม่

#% tr(A) == E[x'Ax], x ~ N(0,I)

N = 100000;
n = 3;
x = randn([n N]); % samples
A = magic(n); % any n by n matrix A

y = zeros(1, N);
for i = 1:N
    y(i) = x(:,i)' * A * x(:,i);
end
mean(y)
trace(A)

การติดตามคือ 15 โดยที่การประมาณคือ 14.9696

NBระบุผลไม่ขึ้นอยู่กับข้อสันนิษฐานของปกติหรือแม้กระทั่งความเป็นอิสระของพิกัดของใด ๆxมันไม่ได้ขึ้นอยู่กับการเป็นบวกแน่นอนเช่นกัน อันที่จริงคิดเพียงว่าพิกัดของxมีศูนย์หมายถึงความแปรปรวนของหนึ่งและมีuncorrelated ( แต่ไม่จำเป็นต้องเป็นอิสระ); นั่นคือE x i = 0 , E x 2 i = 1 , และE x i x j = 0สำหรับi ≠ jทั้งหมด$\newcommand{\x}{\mathbf{x}}\newcommand{\e}{\mathbb{E}}\newcommand{\tr}{\mathbf{tr}}\newcommand{\A}{\mathbf{A}}\x$$\A$$\x$$\e \x_i = 0$$\e \x_i^2 = 1$$\e \x_i \x_j = 0$$i \neq j$

วิธีมือเปล่า

ให้เป็นเมทริกซ์n × nโดยพลการ ตามคำนิยามทีอาร์ ( ) = Σ n ฉัน= 1ฉันฉัน จากนั้น t r ( A ) = n ∑ i = 1 a i i = n ∑ i = 1 a i i e x 2 i = n $\A = (a_{ij})$$n \times n$$\tr(\A) = \sum_{i=1}^n a_{ii}$ และอื่น ๆ ที่เรากำลังทำ

$$\tr(\A) = \sum_{i=1}^n a_{ii} = \sum_{i=1}^n a_{ii} \e \x_i^2 = \sum_{i=1}^n a_{ii} \e \x_i^2 + \sum_{i\neq j} a_{ij} \e \x_i \x_j ,$$

ในกรณีที่ค่อนข้างไม่ชัดเจนโปรดสังเกตว่าด้านขวาโดยความเป็นเส้นตรงของความคาดหวังคือ

$$\sum_{i=1}^n a_{ii} \e \x_i^2 + \sum_{i\neq j} a_{ij} \e \x_i \x_j = \e\Big(\sum_{i=1}^n \sum_{j=1}^n a_{ij} \x_i \x_j \Big) = \e(\x^T \A \x)$$

พิสูจน์ผ่านคุณสมบัติการติดตาม

มีอีกวิธีในการเขียนสิ่งนี้ซึ่งมีการชี้นำ แต่อาศัยแนวคิดในเครื่องมือขั้นสูงเพิ่มเติมเล็กน้อย เราจำเป็นต้องมีความคาดหวังว่าทั้งสองและผู้ประกอบการที่มีร่องรอยการเชิงเส้นและว่าสำหรับสองเมทริกซ์และBขนาดที่เหมาะสมทีอาร์ ( B ) = T R ( B ) จากนั้นเนื่องจากx T A x = t r ( x T A x )เรามี E ( x T A x ) = E$\A$$\newcommand{\B}{\mathbf{B}}\B$$\tr(\A\B) = \tr(\B\A)$$\x^T \A \x = \tr(\x^T \A \x)$ ) และอื่น ๆ , E ( x T A x ) = t r ( A I =

$$\e(\x^T \A \x) = \e( \tr(\x^T \A \x) ) = \e( \tr(\A \x \x^T) ) = \tr( \e( \A \x \x^T ) ) = \tr( \A \e \x \x^T ),$$ $$\e(\x^T \A \x) = \tr(\A \mathbf{I}) = \tr(\A) .$$

รูปแบบกำลังสองผลิตภัณฑ์ภายในและรูปวงรี

หากเป็นบวกแน่นอนแล้วผลิตภัณฑ์ด้านบนR nสามารถกำหนดผ่าน⟨ x , y ที่⟩ = x$\A$$\mathbf{R}^n$และ E = { x : x T x = 1 }กำหนดรีใน R nศูนย์กลางที่ ต้นกำเนิด$\langle \x, \mathbf{y} \rangle_{\A} = \x^T \A \mathbf{y}$$\mathcal{E}_{\A} = \{\x: \x^T \A \x = 1\}$$\mathbf{R}^n$

$A$$A = U^tDU$$U$$D$$x$$U$$Ux$$y = Ux$$E[x^TAx] = E[y^tDy]$$\sum_{i=0}^n \lambda_i E[y_i^2]$$y_i$

$A$$x^TAx = 1$$1/\sqrt\lambda_i$$\lambda_i$

$A = C^{-1}$$C$

ให้ฉันพูดถึงส่วน "สิ่งที่มีความสำคัญในทางปฏิบัติ" ของคำถาม มีหลายสถานการณ์ที่เรามีความสามารถในการคำนวณเมทริกซ์เวกเตอร์ผลิตภัณฑ์$Ax$$A$$A$$A$

$A$$A$

การใช้งานบางส่วนของเทคนิคนี้กับปัญหาการผกผันทางธรณีฟิสิกส์ขนาดใหญ่ถูกกล่าวถึงใน

JK MacCarthy, B. Borchers และ RC Aster การประมาณค่า Stochastic อย่างมีประสิทธิภาพของเมทริกซ์ความละเอียดของโมเดลในแนวทแยงมุมและการตรวจสอบความถูกต้องไขว้แบบทั่วไปสำหรับปัญหาผกผันทางธรณีฟิสิกส์ขนาดใหญ่ วารสารวิจัยธรณีฟิสิกส์, 116, B10304, 2011 ลิงก์ไปยังบทความ