การประมาณความไม่แน่นอนในปัญหาการอนุมานมิติสูงโดยไม่มีการสุ่มตัวอย่าง?

ฉันกำลังทำงานกับปัญหาการอนุมานมิติสูง (ประมาณพารามิเตอร์โมเดลปี 2000) ซึ่งเราสามารถทำการประมาณค่า MAP ได้อย่างมีประสิทธิภาพโดยการหาค่าสูงสุดของผู้บันทึกล็อกระดับโลกโดยใช้การเพิ่มประสิทธิภาพการไล่ระดับสีและอัลกอริทึมทางพันธุกรรม

ฉันอยากจะประเมินความไม่แน่นอนเกี่ยวกับพารามิเตอร์ของแบบจำลองเพิ่มเติมนอกเหนือจากการค้นหาการประมาณค่า MAP

เราสามารถคำนวณการไล่ระดับสีของ log-posterior ได้อย่างมีประสิทธิภาพเกี่ยวกับพารามิเตอร์ดังนั้นในระยะยาวเรามีเป้าหมายที่จะใช้ Hamiltonian MCMC ทำการสุ่มตัวอย่าง แต่ตอนนี้ฉันสนใจการประมาณการแบบไม่สุ่มตัวอย่าง

วิธีเดียวที่ฉันรู้ก็คือการคำนวณค่าผกผันของ Hessian ในโหมดเพื่อประมาณหลังเป็นหลายตัวแปรปกติ แต่แม้มันจะดูเป็นไปไม่ได้สำหรับระบบขนาดใหญ่เช่นนี้เพราะแม้ว่าเราจะคำนวณ $\sim 4\times10^{6}$ องค์ประกอบของ Hessian ฉันแน่ใจว่าเราไม่พบสิ่งที่ตรงกันข้าม

ใครช่วยแนะนำวิธีการแบบใดที่มักใช้ในกรณีเช่นนี้?

ขอบคุณ!

แก้ไข - ข้อมูลเพิ่มเติมเกี่ยวกับปัญหา

ความเป็นมา
นี้เป็นปัญหาผกผันที่เกี่ยวข้องกับการทดลองฟิสิกส์ขนาดใหญ่ เรามีตาข่ายสามเหลี่ยมสองมิติซึ่งอธิบายถึงเขตข้อมูลทางกายภาพบางส่วนและพารามิเตอร์แบบจำลองของเราคือค่าทางกายภาพของเขตข้อมูลเหล่านั้นในแต่ละจุดยอดของตาข่าย ตาข่ายมีประมาณ 650 จุดยอดและเราสร้างแบบจำลอง 3 เขตข้อมูลดังนั้นนั่นคือที่มาของพารามิเตอร์แบบจำลอง 2000 ของเรา

ข้อมูลการทดลองของเรานั้นมาจากเครื่องมือที่ไม่ได้วัดเขตข้อมูลเหล่านี้โดยตรง แต่ปริมาณที่มีฟังก์ชั่นที่ไม่ใช่เชิงเส้นที่ซับซ้อนของเขตข้อมูล สำหรับเครื่องมือที่แตกต่างกันเรามีตัวแบบไปข้างหน้าซึ่งจะจับคู่พารามิเตอร์ของแบบจำลองกับการทำนายข้อมูลการทดลองและการเปรียบเทียบระหว่างการทำนายและการวัดทำให้เกิดความน่าจะเป็นบันทึก

จากนั้นเราจะสรุปความเป็นไปได้ของการบันทึกจากเครื่องมือที่แตกต่างกันเหล่านี้และยังเพิ่มค่าบางอย่างก่อนบันทึกซึ่งใช้ข้อ จำกัด ทางกายภาพบางอย่างกับเขตข้อมูล

ดังนั้นฉันจึงสงสัยว่า 'แบบจำลอง' นี้จัดอยู่ในหมวดหมู่อย่างเรียบร้อย - เราไม่มีทางเลือกว่าแบบจำลองคืออะไรมันถูกกำหนดโดยวิธีการใช้งานจริงของเครื่องมือที่รวบรวมข้อมูลการทดลองของเรา

ชุดข้อมูลชุด
ข้อมูลประกอบด้วยภาพ 500x500 และมีหนึ่งภาพสำหรับกล้องแต่ละตัวดังนั้นจุดข้อมูลทั้งหมดคือ 500x500x4 =$10^6$.

แบบจำลองข้อผิดพลาด
เรารับข้อผิดพลาดทั้งหมดในปัญหาเป็น Gaussian ในขณะนี้ ในบางจุดฉันอาจลองไปที่โมเดลข้อผิดพลาดของนักเรียนเพื่อความยืดหยุ่นที่เพิ่มขึ้น แต่สิ่งต่าง ๆ ยังคงทำงานได้ดีกับ Gaussians

ตัวอย่างความ
เป็นไปได้นี่คือการทดลองทางฟิสิกส์พลาสมาและข้อมูลส่วนใหญ่ของเรามาจากกล้องที่ชี้ไปที่พลาสมาพร้อมตัวกรองเฉพาะด้านหน้าเลนส์เพื่อดูเฉพาะบางส่วนของสเปกตรัมแสง

ในการทำซ้ำข้อมูลมีสองขั้นตอนคือ ก่อนอื่นเราต้องสร้างแบบจำลองแสงที่มาจากพลาสม่าบนตาข่ายจากนั้นเราต้องสร้างแบบจำลองแสงนั้นกลับไปที่ภาพจากกล้อง

การสร้างแบบจำลองแสงที่มาจากพลาสม่าน่าเสียดายขึ้นอยู่กับค่าสัมประสิทธิ์อัตราการได้อย่างมีประสิทธิภาพซึ่งบอกว่าแสงที่ปล่อยออกมาจากกระบวนการที่แตกต่างกันให้ฟิลด์ อัตราเหล่านี้ถูกคาดการณ์โดยแบบจำลองตัวเลขที่มีราคาแพงบางตัวดังนั้นเราจึงต้องเก็บผลลัพธ์ของพวกมันไว้บนกริดจากนั้นทำการแทรกเพื่อหาค่า ข้อมูลฟังก์ชั่นอัตราถูกคำนวณเพียงครั้งเดียว - เราเก็บไว้จากนั้นสร้างเส้นโค้งเมื่อรหัสเริ่มต้นขึ้นจากนั้นเส้นโค้งนั้นจะถูกใช้สำหรับการประเมินฟังก์ชั่นทั้งหมด

สมมติ $R_1$ และ $R_2$ คือฟังก์ชันอัตรา (ซึ่งเราประเมินโดยการแก้ไข) แล้วปล่อยที่ $i$จุดสุดยอดของตาข่าย $\mathcal{E}_i$ ได้รับจาก

$$\mathcal{E}_i = R_1(x_i, y_i) + z_i R_2(x_i, y_i)$$ ที่ไหน $(x,y,z)$เป็น 3 ฟิลด์ที่เราสร้างแบบจำลองบนตาข่าย การทำให้เวกเตอร์ของการปล่อยมลพิษไปยังภาพของกล้องนั้นเป็นเรื่องง่ายมันเป็นเพียงการคูณด้วยเมทริกซ์$\mathbf{G}$ ซึ่งเข้ารหัสส่วนของตาข่ายที่แต่ละพิกเซลของกล้องมองผ่าน

เนื่องจากข้อผิดพลาดคือเกาส์เซียนจึงมีความเป็นไปได้ที่จะบันทึกสำหรับกล้องนี้โดยเฉพาะ

$$\mathcal{L} = -\frac{1}{2} (\mathbf{G}\vec{\mathcal{E}} - \vec{d})^{\top}\mathbf{\Sigma}^{-1} (\mathbf{G}\vec{\mathcal{E}} - \vec{d})$$

ที่ไหน $\vec{d}$คือข้อมูลกล้อง โอกาสในการบันทึกรวมเป็นผลรวมของ 4 ของการแสดงออกข้างต้น แต่สำหรับกล้องที่แตกต่างกันซึ่งทุกคนมีฟังก์ชั่นอัตรารุ่นที่แตกต่างกัน$R_1, R_2$ เพราะพวกเขาดูที่ส่วนต่าง ๆ ของสเปกตรัมแสง

ตัวอย่างก่อนหน้า
นี้เรามีนักบวชหลายคนที่มีประสิทธิภาพเพียงแค่กำหนดขอบเขตบนและล่างบางอย่างในปริมาณที่หลากหลาย แต่สิ่งเหล่านี้มักจะไม่ทำปัญหารุนแรงเกินไป เรามีหนึ่งก่อนที่จะทำหน้าที่อย่างมากซึ่งนำไปใช้ปรับให้เรียบประเภท Laplacian กับเขตข้อมูล นอกจากนี้ยังใช้แบบฟอร์มเสียน:

$$\text{log-prior} = -\frac{1}{2}\vec{x}^{\top}\mathbf{S}\vec{x} -\frac{1}{2}\vec{y}^{\top}\mathbf{S}\vec{y} -\frac{1}{2}\vec{z}^{\top}\mathbf{S}\vec{z}$$

ก่อนอื่นฉันคิดว่าแบบจำลองทางสถิติของคุณผิด ฉันเปลี่ยนรูปแบบของคุณให้คุ้นเคยกับนักสถิติอีกคนหนึ่ง

$$\mathbf{d}=\mathbf{y}=(y_1,\dots,y_N),\ N=10^6$$

เป็นเวกเตอร์ของการสังเกต (ข้อมูล) และ

$$\begin{align} \mathbf{x}&=\boldsymbol{\theta}=(\theta_1,\dots,\theta_p) \\ \mathbf{y}&=\boldsymbol{\phi}=(\phi_1,\dots,\phi_p) \\ \mathbf{z}&=\boldsymbol{\rho}=(\rho_1,\dots,\rho_p), \ p \approx 650 \\ \end{align}$$

เวกเตอร์ของพารามิเตอร์, ขนาดทั้งหมด $d=3p \approx 2000$. จากนั้นถ้าฉันเข้าใจถูกต้องคุณถือว่าเป็นนายแบบ

$$\mathbf{y} = \mathbf{G}\mathbf{r_1}(\boldsymbol{\theta}, \boldsymbol{\phi})+\boldsymbol{\rho}\mathbf{G}\mathbf{r_2}(\boldsymbol{\theta}, \boldsymbol{\phi}))+\boldsymbol{\epsilon},\ \boldsymbol{\epsilon}\sim\mathcal{N}(0,I_N)$$

ที่ไหน $\mathbf{G}$ คือ $N\times d$ เมทริกซ์การแก้ไขเส้นโค้ง

นี่เป็นความผิดที่ชัดเจน ไม่มีทางที่ข้อผิดพลาดในจุดต่าง ๆ ในภาพจากกล้องเดียวกันและที่จุดเดียวกันในภาพจากกล้องต่าง ๆ เป็นอิสระ คุณควรตรวจสอบสถิติเชิงพื้นที่และแบบจำลองเช่นกำลังสองน้อยที่สุดทั่วไปการประมาณค่าเซมาริโอแกรม kriging กระบวนการแบบเกาส์เป็นต้น

---

ต้องบอกว่าเนื่องจากคำถามของคุณไม่ใช่ว่าตัวแบบนั้นดีประมาณของกระบวนการสร้างข้อมูลจริงหรือไม่ แต่จะประเมินตัวแบบได้อย่างไรฉันจะแสดงตัวเลือกให้คุณทำ

HMC

พารามิเตอร์ 2000 ไม่ใช่รุ่นที่มีขนาดใหญ่มากเว้นแต่คุณกำลังฝึกอบรมสิ่งนี้บนแล็ปท็อป ชุดข้อมูลมีขนาดใหญ่กว่า ($10^6$จุดข้อมูล) แต่ถึงกระนั้นหากคุณสามารถเข้าถึงอินสแตนซ์คลาวด์หรือเครื่องที่มี GPU กรอบงานเช่นPyroหรือTensorflow น่าจะเป็นทำให้เกิดปัญหาสั้น ๆ ดังนั้นคุณสามารถใช้ Hamiltonian Monte Carlo ที่ขับเคลื่อนด้วย GPU ได้

ข้อดี : การอนุมาน "ถูกต้อง" โดย จำกัด จำนวนตัวอย่างที่ไม่สิ้นสุดจากห่วงโซ่

ข้อด้อย : ไม่มีข้อ จำกัด ที่รัดกุมในข้อผิดพลาดในการประเมินตัวชี้วัดการวิเคราะห์คอนเวอร์เจนซ์อยู่หลายตัว แต่ก็ไม่เหมาะ

การประมาณตัวอย่างขนาดใหญ่

ด้วยการใช้สัญลักษณ์ที่ไม่เหมาะสม $\theta$เวกเตอร์ที่ได้จากการเชื่อมเวกเตอร์สามตัวของพารามิเตอร์ จากนั้นใช้ทฤษฎีบทขีด จำกัด กลางแบบเบย์ (Bernstein-von Mises) คุณสามารถประมาณได้$p(\theta\vert \mathbf{y})$ กับ $\mathcal{N}(\hat{\theta_0}_n,I_n^{-1}(\theta_0))$ที่ไหน $\theta_0$ คือค่าพารามิเตอร์ "จริง" $\hat{\theta_0}_n$ คือการประมาณ MLE ของ $\theta_0$ และ $I_n^{-1}(\theta_0)$ มีการประเมินเมทริกซ์ข้อมูลฟิชเชอร์ที่ $\theta_0$. แน่นอน,$\theta_0$ ไม่เป็นที่รู้จักเราจะใช้ $I_n^{-1}(\hat{\theta_0}_n)$แทน. ความถูกต้องของทฤษฎีบทของ Bernstein-von Mises นั้นขึ้นอยู่กับสมมติฐานบางประการที่คุณสามารถหาได้เช่นกรัมที่นี่ : ในกรณีของคุณสมมติว่า$R_1,R_2$มีความราบรื่นและมีความแตกต่างทฤษฎีบทนี้ใช้ได้เพราะการสนับสนุนแบบเกาส์ก่อนคือพื้นที่พารามิเตอร์ทั้งหมด หรือดีกว่ามันจะถูกต้องถ้าข้อมูลของคุณเป็นจริงตามที่คุณสมมติ แต่ฉันไม่เชื่อว่ามันเป็นอย่างที่ฉันอธิบายไว้ในตอนแรก

จุดเด่น : มีประโยชน์อย่างยิ่งในการ$p<<N$กรณี. รับประกันว่าจะมาบรรจบกับคำตอบที่ถูกต้องในการตั้งค่า iid เมื่อโอกาสราบรื่นและแตกต่างกันและก่อนหน้านี้ไม่ใช่ศูนย์ในย่าน$\theta_0$.

จุดด้อย : ข้อโต้แย้งที่ใหญ่ที่สุดตามที่คุณระบุไว้คือความต้องการที่จะกลับเมทริกซ์ข้อมูลฟิชเชอร์ อีกทั้งฉันก็ไม่รู้ว่าจะตัดสินความถูกต้องของการประมาณโดยประจักษ์ได้อย่างไรการขาดตัวอย่าง MCMC เพื่อดึงตัวอย่างจาก$p(\theta\vert \mathbf{y})$. แน่นอนว่าสิ่งนี้จะเอาชนะยูทิลิตี้การใช้ B-vM ตั้งแต่แรก

การอนุมานความแปรปรวน

ในกรณีนี้แทนที่จะค้นหาที่แน่นอน $p(\theta\vert \mathbf{y})$ (ซึ่งจะต้องมีการคำนวณของ $d-$อินทิกรัลที่เป็นมิติเดียว) เราเลือกที่จะประมาณ $p$ กับ $q_{\phi}(\theta)$ที่ไหน $q$ เป็นของครอบครัวพาราเมตริก $\mathcal{Q}_{\phi}$ จัดทำดัชนีโดยเวกเตอร์พารามิเตอร์ $\phi$. เรามองหา$\phi^*$ วัดความแตกต่างระหว่าง $q$ และ $p$ย่อเล็กสุด การเลือกการวัดนี้เป็นความแตกต่างของ KL เราได้รับวิธีการอนุมานการแปรผัน:

$$\DeclareMathOperator*{\argmin}{arg\,min} \phi^*=\argmin_{\phi\in\Phi}D_{KL}(q_{\phi}(\theta)||p(\theta\vert\mathbf{y}))$$

ข้อกำหนดเกี่ยวกับ $q_{\phi}(\theta)$:

• มันควรจะแตกต่างกันด้วยความเคารพ $\phi$เพื่อให้เราสามารถใช้วิธีการเพิ่มประสิทธิภาพขนาดใหญ่เช่น Stochastic Gradient Descent เพื่อแก้ปัญหาการย่อขนาด
• ควรยืดหยุ่นพอที่จะประมาณได้อย่างแม่นยำ $p(\theta\vert\mathbf{y})$ สำหรับค่าบางส่วนของ $\phi$แต่ก็ง่ายพอที่จะสุ่มตัวอย่างได้ง่าย นี่เป็นเพราะการประมาณค่าความแตกต่างของ KL (วัตถุประสงค์การเพิ่มประสิทธิภาพของเรา) จำเป็นต้องมีการประมาณความคาดหวัง wrt$q$.

คุณอาจเลือก $q_{\phi}(\theta)$ ที่จะแยกตัวประกอบอย่างเต็มที่เช่นผลิตภัณฑ์ของ $d$ การแจกแจงความน่าจะเป็นแบบไม่แปร:

$$q_{\phi}(\theta)=\prod_{i=1}^d q_{\phi_i}(\theta_i)$$

นี่คือสิ่งที่เรียกว่าค่าเฉลี่ยฟิลด์แปรผัน Bayesวิธี หนึ่งสามารถพิสูจน์ได้ (ดูเช่นบทที่ 10 ของหนังสือเล่มนี้ ) ว่าทางออกที่ดีที่สุดสำหรับแต่ละปัจจัย$q_{\phi_j}(\theta_j)$ คือ

$$\log{q_j^*(\theta_j)} = \mathbb{E}_{i\neq j}[\log{p(\mathbf{y},\theta)}] + \text{const.}$$

ที่ไหน $p(\mathbf{y},\theta)$ คือการกระจายตัวร่วมของพารามิเตอร์และข้อมูล (ในกรณีของคุณมันเป็นผลิตภัณฑ์ของความเป็นไปได้ของ Gaussian และ Priors แบบ Gaussian ของคุณเหนือพารามิเตอร์) และความคาดหวังนั้นเกี่ยวกับการแจกแจงแบบแปรผันแบบแปรปรวนอื่น ๆ $q_1^*(\theta_1),\dots,q_{j-1}^*(\theta_{j-1}),q_{j+1}^*(\theta_{j+1}),\dots,q_{d}^*(\theta_{d})$. แน่นอนเนื่องจากวิธีแก้ปัญหาสำหรับหนึ่งในปัจจัยขึ้นอยู่กับปัจจัยอื่น ๆ ทั้งหมดเราจะต้องใช้กระบวนการวนซ้ำเริ่มต้นการแจกแจงทั้งหมด$q_{i}(\theta_{i})$เพื่อการเดาเริ่มต้นและจากนั้นค่อยอัปเดตทีละครั้งด้วยสมการข้างต้น โปรดทราบว่าแทนที่จะคำนวณความคาดหวังข้างต้นเป็น$(d-1)-$อินทิกรัลมิติซึ่งจะเป็นสิ่งต้องห้ามในกรณีของคุณที่นักบวชและโอกาสไม่ผันกันคุณสามารถใช้การประมาณค่ามอนติคาร์โลเพื่อประมาณความคาดหวัง

อัลกอริธึมแปรปรวนเบย์หมายถึงฟิลด์ไม่ใช่อัลกอริธึม VI ที่เป็นไปได้เพียงอย่างเดียวที่คุณสามารถใช้ได้: Variational Autoencoder ที่นำเสนอในKingma & Welling, 2014, "การเข้ารหัสอัตโนมัติ Bay Variations"เป็นทางเลือกที่น่าสนใจมากกว่าที่จะสมมติว่า สำหรับ$q$แล้วรับนิพจน์แบบปิดสำหรับ $q_i$, $q$ สันนิษฐานว่าเป็นตัวแปรหลายตัวแบบเกาส์เซียน แต่อาจมีพารามิเตอร์ที่แตกต่างกันในแต่ละ $N$จุดข้อมูล. ในการลดทอนค่าใช้จ่ายของการอนุมานเครือข่ายประสาทเทียมจะใช้ในการแมปพื้นที่อินพุตกับพื้นที่พารามิเตอร์ผันแปร ดูกระดาษสำหรับคำอธิบายโดยละเอียดของอัลกอริทึม: การใช้งาน VAE นั้นมีอยู่ในกรอบการเรียนรู้ลึกที่สำคัญทั้งหมดอีกครั้ง

คุณอาจต้องการตรวจสอบซอฟต์แวร์ "bayesX" บางส่วนและอาจเป็นซอฟต์แวร์ "inla" ด้วย ทั้งสองอย่างมีแนวโน้มที่จะมีแนวคิดบางอย่างที่คุณสามารถลองได้ Google มัน

ทั้งสองพึ่งพาอย่างมากในการใช้ประโยชน์จาก sparsity ในพารามิเตอร์ของเมทริกซ์ที่มีความแม่นยำ (เช่นความเป็นอิสระตามเงื่อนไขแบบจำลองประเภทมาร์คอฟ) - และมีอัลกอริทึมผกผันที่ออกแบบมาสำหรับเรื่องนี้ ตัวอย่างส่วนใหญ่ขึ้นอยู่กับรุ่น guassian แบบหลายระดับหรือแบบถอยหลังอัตโนมัติ ควรจะค่อนข้างคล้ายกับตัวอย่างที่คุณโพสต์