ด้านหลังแตกต่างจากก่อนและมีโอกาสมาก

21

หากก่อนหน้านี้และโอกาสที่แตกต่างกันมากจากนั้นบางครั้งสถานการณ์ที่เกิดขึ้นที่หลังหลังจะไม่เหมือนกัน ดูตัวอย่างภาพนี้ซึ่งใช้การแจกแจงแบบปกติ

พฤติกรรมหลัง

แม้ว่านี่จะถูกต้องในเชิงคณิตศาสตร์ แต่ดูเหมือนว่าจะไม่สอดคล้องกับสัญชาตญาณของฉัน - ถ้าข้อมูลไม่ตรงกับความเชื่อหรือข้อมูลที่จัดขึ้นอย่างรุนแรงของฉัน ทั้งช่วงหรือบางทีการกระจาย bimodal รอบก่อนและโอกาส (ฉันไม่แน่ใจซึ่งทำให้รู้สึกตรรกะเพิ่มเติม) แน่นอนว่าฉันจะไม่คาดหวังว่าคนหลังแน่นหนาในช่วงที่ไม่ตรงกับความเชื่อหรือข้อมูลของฉัน ฉันเข้าใจว่าเมื่อมีการรวบรวมข้อมูลมากขึ้นผู้หลังจะย้ายไปสู่ความเป็นไปได้ แต่ในสถานการณ์เช่นนี้ดูเหมือนว่าจะตอบโต้ได้ง่าย

คำถามของฉันคือ: ความเข้าใจของฉันเกี่ยวกับสถานการณ์นี้มีข้อบกพร่องอย่างไร (หรือมีข้อบกพร่อง) ด้านหลังเป็นฟังก์ชัน `ถูกต้อง 'สำหรับสถานการณ์นี้หรือไม่ และถ้าไม่ทำเช่นนั้น

เพื่อประโยชน์ครบถ้วนก่อนที่จะได้รับเป็นและความน่าจะเป็น0.4) $\mathcal{N}(\mu=1.5, \sigma=0.4)$ $\mathcal{N}(\mu=6.1, \sigma=0.4)$

แก้ไข: ดูคำตอบที่ได้รับฉันรู้สึกว่าฉันไม่ได้อธิบายสถานการณ์ได้ดีนัก ประเด็นของฉันคือการวิเคราะห์แบบเบย์ดูเหมือนจะให้ผลลัพธ์ที่ไม่เป็นไปตามสัญชาตญาณเนื่องจากข้อสมมติฐานในแบบจำลอง ความหวังของฉันคือการที่หลังผู้ใดจะ `บัญชี 'สำหรับการตัดสินใจการสร้างแบบจำลองที่ไม่ดีซึ่งเมื่อคิดเกี่ยวกับมันไม่ได้เป็นกรณีที่แน่นอน ฉันจะขยายออกไปในคำตอบของฉัน

— Rónán Daly
แหล่งที่มา

2

นั่นก็หมายความว่าคุณไม่สามารถคาดเดาเรื่องปกติของคนหลังได้ หากคุณคิดว่าด้านหลังเป็นเรื่องปกติสิ่งนี้จะถูกต้องอย่างแน่นอน

— PascalVKooten

ฉันไม่ได้ตั้งสมมติฐานใด ๆ กับคนหลัง แต่มีความเป็นไปได้มาก่อนและโอกาสเท่านั้น และไม่ว่าในกรณีใดรูปแบบของการแจกแจงดูเหมือนจะไม่เกี่ยวข้องที่นี่ - ฉันสามารถวาดมันด้วยตนเองและคนหลังเดียวกันจะตามมา

— Rónán Daly

ฉันแค่บอกว่าคุณจะทิ้งความเชื่อมั่นของคุณในเรื่องหลังนี้ถ้าคุณไม่คิดว่าคนหลังอาจเป็นเรื่องปกติ พิจารณาข้อมูลก่อนและปกติปกติหลังปกติจะเป็นเช่นนี้แน่นอน บางทีจินตนาการข้อมูลขนาดเล็กบางอย่างเช่นนี้อาจเกิดขึ้นจริงในความเป็นจริง

— PascalVKooten

1

ตัวเลขนี้ถูกต้องหรือไม่ ดูเหมือนว่าโอกาส

ก่อนหน้าควรใกล้เคียงกับ 0 มากเพราะไม่เคยทับซ้อนกัน ฉันมีปัญหาในการดูว่าหลังของคุณสามารถมองที่นั่นเป็นเพราะน้ำหนักของก่อนหน้านี้อยู่ใกล้กับ 0 มี ฉันพลาดอะไรไปรึเปล่า?

\times

$\times$

— Luca

1

@Luca คุณลืมเกี่ยวกับการทำให้ปกติอีกครั้ง ผลิตภัณฑ์ของความน่าจะเป็นก่อนหน้านี้และใกล้เคียงกับศูนย์ใช่ - แต่เมื่อคุณทำให้ปกติอีกครั้งเพื่อให้มันรวมเข้ากับ 1 อีกครั้งนี้จะกลายเป็นที่ไม่เกี่ยวข้อง

— Pat

5

ใช่สถานการณ์นี้สามารถเกิดขึ้นได้และเป็นคุณลักษณะหนึ่งของการสร้างแบบจำลองของคุณโดยเฉพาะภาวะปกติในรูปแบบก่อนหน้าและตัวอย่าง (โอกาส) ถ้าหากคุณเลือกการกระจาย Cauchy สำหรับคุณก่อนหน้านั้นผู้หลังจะดูแตกต่างกันมาก

prior = function(x) dcauchy(x, 1.5, 0.4)
like = function(x) dnorm(x,6.1,.4)

# Posterior
propto = function(x) prior(x)*like(x)
d = integrate(propto, -Inf, Inf)
post = function(x) propto(x)/d$value

# Plot
par(mar=c(0,0,0,0)+.1, lwd=2)
curve(like, 0, 8, col="red", axes=F, frame=T)
curve(prior, add=TRUE, col="blue")
curve(post, add=TRUE, col="seagreen")
legend("bottomleft", c("Prior","Likelihood","Posterior"), col=c("blue","red","seagreen"), lty=1, bg="white")

Cauchy รุ่นตัวอย่างก่อนหน้าปกติ

— jaradniemi
แหล่งที่มา

ขอบคุณสำหรับคำตอบของคุณ @jaradniemi คุณคิดว่า Cauchy ก่อนหน้านี้จะหลีกเลี่ยงสถานการณ์โดยเฉพาะในคำถามหรือไม่

— Rónán Daly

1

ใช่. โดยทั่วไปแล้วนักบวชเทลด์ที่หนักหน่วงจะยอมให้ข้อมูลครอบงำได้ง่ายกว่าเมื่อก่อน

— jaradniemi

2

jaradniemi นั่นอาจเป็นเช่นนั้น แต่ถ้าคุณบอกว่าคุณไม่ต้องการให้คุณมีอิทธิพลต่อคนหลังคุณทำไมคุณถึงเลือกข้อมูลมาก่อนในตอนแรก? ดูเหมือนว่าคุณกำลังจะแนะนำให้เลือก cauchy เพราะมันดูเป็นข้อมูล แต่จริงๆแล้วมันไม่ใช่

— Florian Hartig

1

หากก่อนหน้านี้และโอกาสที่จะตกลงกันคุณจะได้รับความแม่นยำที่เพิ่มขึ้นจากก่อนหน้าไปยังด้านหลัง แต่การเลือกรุ่นก่อนหนักช่วยให้โอกาสที่จะครอบงำก่อนเมื่อทั้งสองไม่เห็นด้วย

— jaradniemi

2

ฉันไม่เห็นด้วยกับคำตอบที่ให้มาจนถึงตอนนี้ - ไม่มีอะไรแปลกเกี่ยวกับสถานการณ์นี้ โอกาสที่เป็นปกติ asymptotically อยู่แล้วและก่อนหน้าปกติไม่แปลกเลย หากคุณรวมทั้งสองเข้าด้วยกันด้วยความจริงที่ว่าก่อนหน้าและโอกาสที่ไม่ได้ให้คำตอบเดียวกันเรามีสถานการณ์ที่เรากำลังพูดถึงที่นี่ ฉันอธิบายว่าด้านล่างด้วยรหัสโดย jaradniemi

เรากล่าวถึงใน1ว่าข้อสรุปปกติของการสังเกตดังกล่าวอาจเป็นได้ว่า a) แบบจำลองนั้นมีโครงสร้างที่ไม่ถูกต้อง b) ข้อมูลนั้นไม่ถูกต้อง แต่มีบางอย่างผิดปกติและคุณจะเห็นสิ่งนี้หากคุณทำการตรวจสอบแบบคาดการณ์ล่วงหน้าซึ่งคุณควรทำต่อไป

1 Hartig, F .; Dyke, J .; Hickler, T.; ฮิกกินส์ SI; โอฮาร่า RB; Scheiter, S. & Huth, A. (2012) การเชื่อมต่อโมเดลพืชพรรณแบบไดนามิกกับข้อมูล - มุมมองแบบผกผัน J. Biogeogr., 39, 2240-2252 http://onlinelibrary.wiley.com/doi/10.1111/j.1365-2699.2012.02745.x/abstract

prior = function(x) dnorm(x,1,.3)
like = function(x) dnorm(x,-1,.3)

# Posterior
propto = function(x) prior(x)*like(x)
d = integrate(propto, -Inf, Inf)
post = function(x) propto(x)/d$value

# Plot
par(mar=c(0,0,0,0)+.1, lwd=2)
curve(like, -2, 2, col="red", axes=F, frame=T, ylim = c(0,2))
curve(prior, add=TRUE, col="blue")
curve(post, add=TRUE, col="seagreen")
legend("bottomleft", c("Prior","Likelihood","Posterior"), col=c("blue","red","seagreen"), lty=1, bg="white")

— Florian Hartig
แหล่งที่มา

2

ฉันรู้สึกเหมือนคำตอบที่ฉันกำลังมองหาเมื่อมันมาถึงคำถามนี้สรุปได้ดีที่สุดโดย Lesaffre และ Lawson ในชีวสถิติ Bayesian

แม่นยำหลังคือผลรวมของก่อนและแม่นยำตัวอย่างเช่น:
$\frac{1}{σ^{2}} = w_{0} + w_{1}$ $\frac{1}{\sigma^2} = w_{0} + w_{1}$ $\mu$ $\sigma$

สิ่งนี้สรุปสำหรับฉันและสรุปคร่าว ๆ ในคำตอบอื่น ๆ คือกรณีของการสร้างแบบจำลองนักบวชปกติที่มีโอกาสปกติสามารถส่งผลให้สถานการณ์ที่หลังหลังมีความแม่นยำมากกว่าทั้ง นี่เป็นวิธีที่ใช้ง่าย แต่เป็นผลมาจากการสร้างแบบจำลององค์ประกอบเหล่านี้ด้วยวิธีนี้

— AWP
แหล่งที่มา

นี่เป็นการสรุปในมิติที่สูงกว่าด้วยเมทริกซ์ฟิชเชอร์ Hessian ของบันทึกความน่าจะเป็นของการกระจายหลังใกล้จุดสูงสุดของมันคือผลรวมของความแปรปรวนร่วมก่อนหน้านี้และโอกาสที่จะเกิดขึ้น การผกผันของผลรวมนี้คือความแปรปรวนร่วมของหลัง เนื่องจากมีการเพิ่มเมทริกซ์ที่แน่นอนบวก (กึ่ง) สองตัว (การแปรปรวนร่วมผกผัน) จึงรับประกันทางคณิตศาสตร์ว่าความแม่นยำของหลังจะเกินกว่าการแจกแจงความน่าจะเป็นก่อนหน้าหรือความน่าจะเป็น นี่คือผลลัพธ์สากลในกรอบ Bayesian

— T3am5hark

2

$X_1$ $X_0$ $\mu \sim N(1.6, 0.4^2)$ $X_1 \sim N(\mu, 0.4^2)$ $X_1$ $X_1$ $\sqrt{0.4^2 + 0.4^2}=0.56$ $2\phi(-(6.1-1.6)/0.56)=9.3\cdot 10^{-16}$ $\mu$

$X_0 \sim N(\mu,0.4^2)$ $X_0$ $X_0$ $X_1$ $|X_1-X_0|>6.1-1.6$

$X_0$ $X_1$

— Jarle Tufto
แหล่งที่มา

1

หลังจากคิดเกี่ยวกับเรื่องนี้ซักพักแล้วข้อสรุปของฉันก็คือด้วยสมมติฐานด้านโมเดลที่ไม่ดีผู้อยู่ด้านหลังอาจเป็นผลลัพธ์ที่สอดคล้องกับความเชื่อเดิมหรือความน่าจะเป็น จากนี้ผลธรรมชาติคือด้านหลังไม่ได้โดยทั่วไปการสิ้นสุดของการวิเคราะห์ หากเป็นกรณีที่หลังควรจะพอดีกับข้อมูลหรือว่าควรจะกระจายระหว่างก่อนและโอกาส (ในกรณีนี้) จากนั้นจะต้องมีการตรวจสอบหลังจากความจริงอาจมีการตรวจสอบหลังคาดการณ์หรือบางสิ่งบางอย่าง คล้ายคลึงกัน ในการรวมสิ่งนี้เข้ากับแบบจำลองดูเหมือนจะต้องการความสามารถในการใส่ความน่าจะเป็นในงบความน่าจะเป็นซึ่งฉันไม่คิดว่าเป็นไปได้

— Rónán Daly
แหล่งที่มา

ใช่ฉันเห็นด้วยโปรดดูคำตอบโดยละเอียดของฉัน

— Florian Hartig

0

ฉันคิดว่านี่เป็นคำถามที่น่าสนใจจริงๆ ฉันคิดว่าฉันมีคำตอบที่ถูกแทง ปัญหาสำคัญมีดังนี้:

คุณถือว่าโอกาสที่จะเป็น pdf แบบเกาส์เซียน แต่มันไม่ใช่การแจกแจงความน่าจะเป็น - เป็นไปได้! ยิ่งกว่านั้นคุณยังไม่ได้ระบุชื่อแกนของคุณอย่างชัดเจน สิ่งเหล่านี้รวมกันมีความสับสนทุกอย่างที่ตามมา

สมมติว่าคุณกำลังอนุมานค่าเฉลี่ยของการกระจายปกติμมันเป็นโครงเรื่องหนึ่งมิติดังนั้นฉันจะถือว่าเป็นที่รู้จัก ในกรณีนี้การกระจายก่อนหน้าของคุณจะต้องเป็น $\mu$ $\sigma$ $P(\mu|\mu', \sigma')$ $\mu'$ $\sigma'$ $P(X|\mu, \sigma)$ $X$ $P(\mu|X, \sigma, \mu', \sigma')$ $\mu$

$\mu$ $P(X|\mu)$

P (μ | μ^{'}, σ^{'}) = อี x พี (- \frac{(μ - μ^{'})^{2}}{2 σ^{' 2}}) \frac{1}{\sqrt{2 π σ^{' 2}}}

$P(\mu|\mu', \sigma') = exp(-\frac{(\mu-\mu')^2}{2 \sigma'^2})\frac{1}{\sqrt{2 \pi \sigma'^2}}$

P (X | μ, σ) = Π_{ผม = 1}^{ยังไม่มีข้อความ} อี x พี (- \frac{(x_{ผม} - μ)^{2}}{2 σ^{2}}) \frac{1}{\sqrt{2 π σ^{2}}}

$P(X|\mu,\sigma) = \prod_{i=1}^N exp(-\frac{(x_i-\mu)^2}{2 \sigma^2})\frac{1}{\sqrt{2 \pi \sigma^2}}$

$\sigma'^2 = \sigma^2/N$ $\sigma^2$ $N$ $X$

ดังนั้นความน่าจะเป็นก่อนและข้อมูลเท่ากัน ทำไม bimodal หลังไม่ได้หรือไม่ นี่เป็นเพราะสมมติฐานการสร้างแบบจำลองของคุณ คุณได้สมมติการกระจายตัวแบบปกติในลักษณะที่มีการตั้งค่าไว้ (ปกติก่อน, โอกาสปกติ), และ จำกัด ผู้หลังเพื่อให้คำตอบที่ไม่เปลี่ยนแปลง นั่นเป็นเพียงคุณสมบัติของการแจกแจงแบบปกติที่คุณอบเข้าไปในปัญหาด้วยการใช้มัน แบบจำลองที่แตกต่างกันไม่จำเป็นว่าจะต้องทำสิ่งนี้ ฉันมีความรู้สึก (แม้ว่าจะยังไม่มีข้อพิสูจน์อยู่ในตอนนี้) ว่าการกระจาย cauchy สามารถมีความเป็นไปได้หลายรูปแบบ

ดังนั้นเราจะต้องเป็นแบบ unimodal และก่อนหน้านี้เป็นข้อมูลที่เป็นโอกาส ภายใต้ข้อ จำกัด เหล่านี้การประเมินที่สมเหตุสมผลที่สุดเริ่มต้นให้เสียงเหมือนจุดระหว่างโอกาสและก่อนหน้านี้เนื่องจากเราไม่มีวิธีที่เหมาะสมที่จะบอกได้ว่าจะเชื่ออย่างไร แต่ทำไมคนหลังถึงได้เข้มงวดขึ้น?

$\sigma$ $\mu$ $\sigma$ $\sigma$ $\sigma$ $\mu$

(วิธีการมองเห็นมันอาจเป็นการจินตนาการถึงการประมาณค่าเฉลี่ยของ gaussian ด้วยความแปรปรวนที่รู้จักกันโดยใช้เพียงแค่สองตัวอย่างคะแนนเท่านั้นหากจุดตัวอย่างทั้งสองแยกจากกันมากเกินกว่าความกว้างของ gaussian (เช่นออกไป ในหาง) จากนั้นเป็นหลักฐานที่ชัดเจนว่าค่าเฉลี่ยอยู่ระหว่างพวกเขาจริง ๆ การขยับค่าเฉลี่ยเพียงเล็กน้อยจากตำแหน่งนี้จะทำให้เกิดการยกกำลังแบบเลขชี้กำลังในความน่าจะเป็นของตัวอย่างหนึ่งหรืออีกอัน)

โดยสรุปสถานการณ์ที่คุณได้อธิบายไปนั้นค่อนข้างแปลกและจากการใช้แบบจำลองที่คุณมีคุณได้รวมเอาข้อสันนิษฐานบางอย่าง (เช่น unimodality) เข้าไว้ในปัญหาที่คุณไม่เคยรู้มาก่อน แต่มิฉะนั้นข้อสรุปนั้นถูกต้อง

— ตบเบา ๆ
แหล่งที่มา

ขอบคุณสำหรับคำตอบของคุณ @Pat ฉันเห็นด้วยกับสิ่งที่คุณพูดมากที่สุดปัญหาในการตั้งค่าเป็นเรื่องที่ค่อนข้างเลอะเทอะ (แม้ว่าความน่าจะเป็นเพียงฟังก์ชั่นของพารามิเตอร์ดังนั้นจึงเป็นเรื่องที่ดีสำหรับความหนาแน่น ตัวอย่าง) ฉันควรทำการวิเคราะห์เพื่อ

μ

$\mu$

σ

$\sigma$

σ

$\sigma$

μ

$\mu$