คำถามติดแท็ก posterior

เมื่อได้รับตัวอย่าง MCMC เพื่อทำการอนุมานพารามิเตอร์ที่เฉพาะเจาะจงอะไรคือคำแนะนำที่ดีสำหรับจำนวนตัวอย่างที่มีประสิทธิภาพขั้นต่ำที่เราควรตั้งเป้าหมายไว้? และคำแนะนำนี้เปลี่ยนไปเมื่อแบบจำลองมีความซับซ้อนมากขึ้นหรือน้อยลงหรือไม่?

13 bayesian  sample-size  mcmc  posterior 

สมมติว่าเรามีชุดของจุด\} แต่ละจุดถูกสร้างขึ้นโดยใช้การกระจาย เพื่อให้ได้มาซึ่งหลังสำหรับเราเขียน ตามที่กระดาษ Minka ฯ เมื่อวันที่คาดว่าจะมีการขยายพันธุ์ที่เราต้องการคำนวณที่จะได้รับหลังและดังนั้นปัญหาจะกลายเป็นยากสำหรับตัวอย่างที่มีขนาดใหญ่ขนาดNอย่างไรก็ตามฉันไม่สามารถเข้าใจได้ว่าทำไมเราถึงต้องคำนวณจำนวนนี้ในกรณีนี้เพราะสำหรับเดี่ยวy ฉัน p ( y i | x ) = 1y={y1,y2,…,yN}y={y1,y2,…,yN}\mathbf{y} = \{y_1, y_2, \ldots, y_N \}yiyiy_ixP(x|Y)αP(Y|x)P(x)=P(x) N Πฉัน=1P(Yฉัน|x) 2Np(x|y)Nyip(yi|x)=12N(x,1)+12N(0,10).p(yi|x)=12N(x,1)+12N(0,10). p(y_i| x) = \frac12 \mathcal{N}(x, 1) + \frac12 \mathcal{N}(0, 10). xxxp(x|y)∝p(y|x)p(x)=p(x)∏i=1Np(yi|x).p(x|y)∝p(y|x)p(x)=p(x)∏i=1Np(yi|x). p(x| \mathbf{y}) \propto p(\mathbf{y}| x) p(x) = p(x) \prod_{i = 1}^N p(y_i | …

13 bayesian  mixture  posterior 

เมื่อ infering ความแม่นยำเมทริกซ์ของการกระจายปกติใช้ในการสร้างNเวกเตอร์ D-มิติx 1 , . , x N x iΛΛ\boldsymbol{\Lambda}ยังไม่มีข้อความNNx1, . . , xยังไม่มีข้อความx1,..,xN\mathbf{x_1},..,\mathbf{x_N} เรามักจะวาง Wishart ไว้ก่อนหน้าΛเนื่องจากการแจกแจง Wishart นั้นเป็นคอนจูเกตก่อนที่จะมีการตกตะกอนของการแจกแจงปกติแบบหลายตัวแปรที่มีค่าเฉลี่ยและตัวแปรที่ไม่รู้จัก: knownxi∼N(μ,Λ−1)xi∼N(μ,Λ−1)\begin{align} \mathbf{x_i} &\sim \mathcal{N}(\boldsymbol{\mu, \Lambda^{-1}}) \\ \end{align}ΛΛ\boldsymbol{\Lambda} ที่υเป็นองศาอิสระและΛ0เมทริกซ์ขนาด ในการเพิ่มความทนทานและความยืดหยุ่นให้กับโมเดลเราได้ใส่ไฮเปอร์ไพรส์ไว้เหนือพารามิเตอร์ของ Wishart ตัวอย่างเช่นGörürและ Rasmussenแนะนำ: Λ 0Λ∼W(υ,Λ0)Λ∼W(υ,Λ0)\begin{align} \mathbf{\Lambda} &\sim \mathcal{W}(\upsilon, \boldsymbol{\Lambda_0}) \\ \end{align}υυ\upsilonΛ0Λ0\boldsymbol{\Lambda_0} โดยที่Gคือ tha Gamma distributionΛ01υ−D+1∼W(D,1DΛx)∼G(1,1D)Λ0∼W(D,1DΛx)1υ−D+1∼G(1,1D)\begin{align} \mathbf{\Lambda_0} &\sim \mathcal{W}(D, \frac{1}{D}\boldsymbol{\Lambda_x}) \\ …

12 bayesian  posterior  hierarchical-bayesian  conjugate-prior  wishart 

นี่ก็ถามวิทยาศาสตร์การคำนวณ ฉันกำลังพยายามคำนวณค่าสัมประสิทธิ์แบบเบย์ของการหาค่าสัมประสิทธิ์แบบเบส์โดยมี 11 ตัวอย่างข้อมูล: โดยที่คือ Gaussian ที่มีค่าเฉลี่ย 0 และความแปรปรวน การแจกแจงก่อนหน้าบนเวกเตอร์คือ Gaussian ที่มีค่าเฉลี่ยและเมทริกซ์ความแปรปรวนร่วมแนวทแยง รายการแนวทแยงเท่ากับ{2}Yi=μ+α⋅Yi−1+ϵiYi=μ+α⋅Yi−1+ϵi Y_{i} = \mu + \alpha\cdot{}Y_{i-1} + \epsilon_{i} ϵiϵi\epsilon_{i}σ2eσe2\sigma_{e}^{2}(μ,α)t(μ,α)t(\mu, \alpha)^{t}(0,0)(0,0)(0,0)σ2pσp2\sigma_{p}^{2} จากสูตรการตอบโต้อัตโนมัติหมายความว่าการแจกแจงของจุดข้อมูล ( ) เป็นเรื่องปกติที่มีค่าเฉลี่ยและความแปรปรวน2} ดังนั้นความหนาแน่นสำหรับทุกจุดข้อมูลร่วมกัน (สมมติว่าเป็นอิสระซึ่งเป็นสิ่งที่ดีสำหรับโปรแกรมที่ฉันเขียน) จะเป็น:YiYiY_{i}μ+α⋅Yi−1μ+α⋅Yi−1\mu + \alpha\cdot{}Y_{i-1}σ2eσe2\sigma_{e}^{2}(Y)(Y)(Y)p(Y|(μ,α)t)=∏i=21112πσ2e−−−−√exp−(Yi−μ−α⋅Yi−1)22σ2e.p(Y|(μ,α)t)=∏i=21112πσe2exp⁡−(Yi−μ−α⋅Yi−1)22σe2. p(Y \quad | (\mu, \alpha)^{t}) = \prod_{i=2}^{11}\frac{1}{\sqrt{2\pi\sigma_{e}^{2}}}\exp{\frac{-(Y_{i} - \mu - \alpha\cdot{}Y_{i-1})^{2}}{2\sigma_{e}^{2}}}. ตามทฤษฎีบทของเบย์เราสามารถนำผลคูณของความหนาแน่นข้างต้นมาใช้กับความหนาแน่นก่อนหน้านี้จากนั้นเราก็แค่ต้องการค่าคงที่ปกติ ลางสังหรณ์ของฉันอยู่ที่นี้ควรจะทำงานออกมาเป็นเสียนกระจายเพื่อให้เราสามารถกังวลเกี่ยวกับค่าคงที่ normalizing ในตอนท้ายมากกว่าอย่างชัดเจนกับการคำนวณปริพันธ์กว่าและ\μμ\muαα\alpha นี่คือส่วนที่ฉันมีปัญหากับ ฉันจะคำนวณการคูณของความหนาแน่นก่อนหน้า (ซึ่งคือหลายตัวแปร) และผลิตภัณฑ์นี้ของความหนาแน่นของข้อมูลที่ไม่เปลี่ยนแปลงได้อย่างไร …

12 bayesian  mathematical-statistics  posterior 

ในการวิเคราะห์แบบผันคำกริยาแบบเบส์ของเควินเมอร์ฟี่ย์เรื่องการกระจายแบบเกาส์เซียนเขาเขียนว่า p(x∣D)=∫p(x∣θ)p(θ∣D)dθp(x∣D)=∫p(x∣θ)p(θ∣D)dθ p(x \mid D) = \int p(x \mid \theta) p(\theta \mid D) d \theta โดยที่เป็นข้อมูลที่โมเดลมีความเหมาะสมและเป็นข้อมูลที่มองไม่เห็น สิ่งที่ฉันไม่เข้าใจคือสาเหตุที่การพึ่งพาหายไปในเทอมแรกในอินทิกรัล การใช้กฎพื้นฐานความน่าจะเป็นฉันจะคาดหวัง:DDDxxxDDD p(a)p(a∣b)p(x∣D)=∫p(a∣c)p(c)dc=∫p(a∣c,b)p(c∣b)dc↓=∫p(x∣θ,D)⋆p(θ∣D)dθp(a)=∫p(a∣c)p(c)dcp(a∣b)=∫p(a∣c,b)p(c∣b)dc↓p(x∣D)=∫p(x∣θ,D)⏞⋆p(θ∣D)dθ \begin{align} p(a) &= \int p(a \mid c) p(c) dc \\ p(a \mid b) &= \int p(a \mid c, b) p(c \mid b) dc \\ &\downarrow \\ p(x \mid D) &= \int …

12 bayesian  predictive-models  inference  posterior 

(คำถามนี้ได้รับแรงบันดาลใจจากความคิดเห็นนี้จากซีอาน ) เป็นที่ทราบกันดีว่าถ้าการกระจายก่อนเป็นที่เหมาะสมและความน่าจะเป็นเป็นอย่างดีที่กำหนดไว้แล้วกระจายหลังมีความเหมาะสมเกือบแน่นอนπ(θ)π(θ)\pi(\theta)L(θ|x)L(θ|x)L(\theta | x)π(θ|x)∝π(θ)L(θ|x)π(θ|x)∝π(θ)L(θ|x)\pi(\theta|x)\propto \pi(\theta) L(\theta|x) ในบางกรณีเราใช้ความน่าจะเป็นแบบอารมณ์หรือแบบ exponentiated แทนซึ่งนำไปสู่การหลอกหลัง π~(θ|x)∝π(θ)L(θ|x)απ~(θ|x)∝π(θ)L(θ|x)α\tilde\pi(\theta|x)\propto \pi(\theta) L(\theta|x)^\alpha สำหรับ (ตัวอย่างเช่นนี้อาจมีข้อได้เปรียบในการคำนวณ)α>0α>0\alpha>0 ในการตั้งค่านี้เป็นไปได้หรือไม่ที่จะมีมาก่อน แต่มีหลอกหลอกที่ไม่เหมาะสม?

11 bayesian  prior  posterior 

ฉันทำงานเกี่ยวกับการสืบทอดของ Normal-Wishart หลัง แต่ฉันติดอยู่ที่หนึ่งในพารามิเตอร์ (ด้านหลังของเมทริกซ์ระดับดูที่ด้านล่าง) สำหรับบริบทและความสมบูรณ์นี่คือแบบจำลองและส่วนที่เหลือของการพิสูจน์: xiμΛ∼N(μ,Λ)∼N(μ0,(κ0Λ)−1)∼W(υ0,W0)xi∼N(μ,Λ)μ∼N(μ0,(κ0Λ)−1)Λ∼W(υ0,W0)\begin{align} x_i &\sim \mathcal{N}(\boldsymbol{\mu}, \boldsymbol{\Lambda})\\ \boldsymbol{\mu} &\sim \mathcal{N}(\boldsymbol{\mu_0}, (\kappa_0 \boldsymbol{\Lambda})^{-1})\\ \boldsymbol{\Lambda} &\sim \mathcal{W}(\upsilon_0, \mathbf{W}_0) \end{align} รูปแบบที่ขยายของแต่ละปัจจัยทั้งสามคือ (ขึ้นอยู่กับค่าคงที่สัดส่วน) คือ: โอกาส: N(xi|μ,Λ)∝|Λ|N/2exp(−12∑i=1N(xTiΛxi−2μTΛxi+μTΛμ))N(xi|μ,Λ)∝|Λ|N/2exp⁡(−12∑i=1N(xiTΛxi−2μTΛxi+μTΛμ))\begin{align} \mathcal{N}(\mathbf{x}_i &| \boldsymbol{\mu}, \boldsymbol{\Lambda}) \propto\notag\\ &|\boldsymbol{\Lambda}|^{N/2} \exp{\left(-\frac{1}{2}\sum_{i=1}^N \left( \mathbf{x}_i^T\boldsymbol{\Lambda}\mathbf{x}_i - 2 \boldsymbol{\mu}^T \boldsymbol{\Lambda}\mathbf{x}_i + \boldsymbol{\mu}^T\boldsymbol{\Lambda}\boldsymbol{\mu}\right) \right)} \end{align} ปกติก่อนหน้า: N(μ|(μ0,κ0Λ)−1)∝|Λ|1/2exp(−12(μTκ0Λμ−2μTκ0Λμ0+μT0κ0Λμ0))N(μ|(μ0,κ0Λ)−1)∝|Λ|1/2exp⁡(−12(μTκ0Λμ−2μTκ0Λμ0+μ0Tκ0Λμ0))\begin{align} \mathcal{N}(\boldsymbol{\mu} &| (\boldsymbol{\mu}_0, \kappa_0 \boldsymbol{\Lambda})^{-1}) …

11 bayesian  posterior 

ฉันได้อ่านเกี่ยวกับการประมาณความเป็นไปได้สูงสุดและการประมาณหลังสูงสุดและจนถึงตอนนี้ฉันได้พบตัวอย่างที่เป็นรูปธรรมเท่านั้นด้วยการประมาณความเป็นไปได้สูงสุด ฉันได้พบตัวอย่างนามธรรมของการประมาณค่าสูงสุดหลัง แต่ก็ยังไม่มีตัวเลขที่เป็นรูปธรรม: S มันสามารถครอบงำได้มากทำงานเฉพาะกับตัวแปรและฟังก์ชั่นที่เป็นนามธรรมและเพื่อไม่ให้จมน้ำตายในความเป็นนามธรรมนี้มันเป็นเรื่องดีที่จะเชื่อมโยงสิ่งต่าง ๆ เข้ากับโลกแห่งความจริงเป็นครั้งคราว แต่แน่นอนนี่เป็นเพียงการสังเกตของฉัน (และคนอื่น ๆ ) :) ดังนั้นทุกคนสามารถให้ฉันตัวอย่างง่ายๆ แต่เป็นรูปธรรมเกี่ยวกับการประมาณ Posteriori สูงสุดด้วยตัวเลขบน? นั่นจะช่วยได้มาก :) ขอบคุณ! ฉันได้โพสต์คำถามนี้ไว้ที่ MSE แต่ไม่สามารถหาคำตอบได้ที่นั่น: /math/449386/example-of-maximum-a-posteriori-estimation ฉันได้ทำตามคำแนะนำที่ให้ไว้ที่นี่ในการโพสต์ข้าม: http://meta.math.stackexchange.com/questions/5028/how-do-i-move-a-post-to-another-forum-like-cv-stats

11 bayesian  estimation  posterior 

คำถามจริงของฉันอยู่ในสองย่อหน้าสุดท้าย แต่จะกระตุ้นพวกเขา: ถ้าฉันพยายามที่จะประมาณค่าเฉลี่ยของตัวแปรสุ่มที่ตามหลังการแจกแจงปกติที่มีความแปรปรวนที่รู้จักกันฉันได้อ่านว่าการใส่เครื่องแบบก่อนหน้าค่าเฉลี่ยจะส่งผลให้มีการแจกแจงด้านหลังซึ่งเป็นสัดส่วนกับฟังก์ชันความน่าจะเป็น ในสถานการณ์เหล่านี้ช่วงเวลาที่น่าเชื่อถือแบบเบย์คาบเกี่ยวกันอย่างสมบูรณ์แบบกับช่วงความเชื่อมั่นที่พบบ่อยและค่าสูงสุดหลังเบย์ที่ประมาณการหลังเท่ากับความเป็นไปได้สูงสุดที่เกิดขึ้นบ่อยครั้ง ในการตั้งค่าการถดถอยเชิงเส้นอย่างง่าย Y= X β+ ϵ ,ϵ ∼ N( 0 , σ2)Y=Xβ+ϵ,ϵ∼N(0,σ2)Y = \textbf{X}\beta+\epsilon, \hspace{1cm} \epsilon\sim N(0,\sigma^2) ใส่เครื่องแบบไว้ก่อนหน้าและ inverse-gamma ก่อนหน้าด้วยค่าพารามิเตอร์เล็ก ๆ ส่งผลให้หลังที่จะคล้ายกันมากกับบ่อยครั้งและช่วงเวลาที่น่าเชื่อถือสำหรับการกระจายหลังของที่จะคล้ายกับช่วงความเชื่อมั่นมากที่สุดโดยประมาณค่าความน่าจะเป็นสูงสุด พวกเขาจะไม่เหมือนเดิมเพราะก่อนหน้านี้มีอิทธิพลเล็กน้อยและหากการประเมินหลังถูกดำเนินการผ่านการจำลอง MCMC ที่จะแนะนำแหล่งที่มาของความคลาดเคลื่อนอื่น แต่ช่วงเวลาที่น่าเชื่อถือของ Bayesian รอบσ 2 β M P β M L E β | X σ 2 β M Pββ\betaσ2σ2\sigma^2β^MA Pβ^MAP\hat\beta^{MAP}β^ML Eβ^MLE\hat\beta^{MLE}β| Xβ|X\beta|Xσ2σ2\sigma^2β^MA …

11 bayesian  maximum-likelihood  posterior  frequentist 

ฉันสับสนเกี่ยวกับวิธีการประเมินการกระจายการทำนายหลังสำหรับการถดถอยเชิงเส้นแบบเบย์ผ่านกรณีพื้นฐานที่อธิบายไว้ที่นี่ในหน้า 3 และคัดลอกด้านล่าง p(y~∣y)=∫p(y~∣β,σ2)p(β,σ2∣y)p(y~∣y)=∫p(y~∣β,σ2)p(β,σ2∣y) p(\tilde y \mid y) = \int p(\tilde y \mid \beta, \sigma^2) p(\beta, \sigma^2 \mid y) กรณีพื้นฐานคือตัวแบบการถดถอยเชิงเส้น: y=Xβ+ϵ,y∼N(Xβ,σ2)y=Xβ+ϵ,y∼N(Xβ,σ2) y = X \beta + \epsilon, \hspace{10mm} y \sim N(X \beta, \sigma^2) ถ้าเราใช้ทั้งเครื่องแบบก่อนหน้าโดยมีมาตราส่วน-Invก่อนหน้าบนหรือค่าผกผันแกมมาปกติก่อนหน้า (ดูที่นี่ ) การกระจายการทำนายหลังเป็นแบบวิเคราะห์และเป็นนักเรียน t ββ\betaχ2χ2\chi^2σ2σ2\sigma^2 แล้วรุ่นนี้ล่ะ? y=Xβ+ϵ,y∼N(Xβ,Σ)y=Xβ+ϵ,y∼N(Xβ,Σ) y = X \beta + \epsilon, \hspace{10mm} y \sim …

10 regression  bayesian  predictive-models  prediction  posterior 

สแตน (โดยเฉพาะอย่างยิ่ง rstan) มีสิ่งอำนวยความสะดวกในตัวเพื่อสร้างการกระจายหลังที่ทำนายได้หรือไม่? มันไม่ยากที่จะสร้างการกระจายจากสแตนพอดี แต่ฉันไม่อยากประดิษฐ์ล้อ

9 bayesian  posterior  stan