ปัจจัยเบย์กับนักบวชที่ไม่เหมาะสม

ฉันมีคำถามเกี่ยวกับการเปรียบเทียบแบบจำลองโดยใช้ปัจจัยของเบย์ ในหลายกรณีนักสถิติมีความสนใจที่จะใช้วิธีการแบบเบย์ร่วมกับนักบวชที่ไม่เหมาะสม (ตัวอย่างเช่นนักบวชเจฟฟรีย์และนักบวชอ้างอิง)

คำถามของฉันคือในกรณีที่การกระจายตัวด้านหลังของพารามิเตอร์แบบจำลองมีการกำหนดไว้อย่างถูกต้องมันจะถูกต้องหรือไม่ที่จะเปรียบเทียบแบบจำลองที่ใช้ปัจจัย Bayes ภายใต้การใช้ของนักบวชที่ไม่เหมาะสม?

ตัวอย่างง่ายๆลองพิจารณาเปรียบเทียบโมเดลปกติกับโมเดลโลจิสติกกับ Jeffreys priors

bayesian model-selection prior

— เจฟฟรีย์
แหล่งที่มา

ที่ไม่เหมาะสมก่อนเล่นบทบาทของ "noninformative ก่อน" หากคุณอยู่ในมุมมอง "ไม่เชื่อก่อน" เห็นได้ชัดว่าคุณไม่สามารถกำหนดความน่าจะเป็นก่อนหน้านี้ให้กับโมเดลได้ อย่างไรก็ตามมีเอกสารบางส่วนจากเบอร์เกอร์และนักเขียนคนอื่น ๆ เกี่ยวกับแนวคิดเรื่อง "ปัจจัยภายใน Bayes"; ดูเหมือนว่าปัจจัยของ Bayes กับนักบวชที่ไม่ใช่คนธรรมดา แต่ฉันไม่สามารถพูดได้มากกว่านี้เพราะฉันไม่เคยอ่านบทความเหล่านี้ นอกจากนี้ยังอาจมีวิธีการ "เลือกแบบจำลองเบย์แบบมีวัตถุประสงค์" อื่น ๆ อีกด้วย (การพิมพ์คำเหล่านี้ใน Google ให้ผลงานกับ Berger หลายฉบับ)

— Stéphane Laurent

@ StéphaneLaurentการตีความพารามิเตอร์ก่อนหน้านั้นแตกต่างจากความน่าจะเป็นก่อนหน้าของโมเดล สามารถเห็นได้จากการแสดงออกทั่วไปสำหรับปัจจัยเบย์ นอกจากนี้คุณยังสามารถไพรเออร์เครื่องแบบกำหนดรูปแบบที่ไม่เหมาะสมก่อนที่จะมีพารามิเตอร์และดูสิ่งที่ข้อมูลที่จะบอกคุณposteriori

— เจฟฟรีย์

ฉันขอแนะนำให้อ่านเกณฑ์สำหรับการเลือกตัวแบบเบย์ด้วยแอปพลิเคชันในการเลือกตัวแปร (AoS, 2012) โดยเฉพาะอย่างยิ่งเล็มม่า 1 โดยทั่วไปแล้วไพรเออร์ที่ไม่เหมาะสมไม่สามารถใช้สำหรับพารามิเตอร์ที่ไม่ใช่แบบธรรมดา

เลขที่ในขณะที่ไพรเออร์ที่ไม่เหมาะสมสามารถจะโอเคสำหรับประมาณค่าพารามิเตอร์ในบางกรณี (เนื่องจากทฤษฎีบท Bernstein-von Mises ) พวกเขามีขนาดใหญ่ไม่มีไม่มีสำหรับการเปรียบเทียบรูปแบบเนื่องจากสิ่งที่เป็นที่รู้จักกันเป็นเส้นขนานชายขอบ

ปัญหาดังที่ชื่อแนะนำคือการกระจายส่วนที่ไม่เหมาะสมของการแจกแจงไม่ถูกต้อง เมื่อพิจารณาถึงความน่าจะเป็นและก่อนหน้า : ปัจจัยของเบย์ต้องการการคำนวณความน่าจะเป็นที่ขอบ : $p_1(x \mid \theta)$ $p_1(\theta)$

p_{1} (x) = \int_{Θ} p_{1} (x ∣ θ) p_{1} (θ) d θ .

$p_1(x) = \int_\Theta p_1(x \mid \theta) p_1(\theta) d \theta .$

หากคุณคิดว่าไม่เหมาะสมก่อนที่จะเป็นที่รู้จักเท่านั้นถึงสัดส่วน (เช่น ) แล้วปัญหาคือว่าจะถูกคูณด้วยค่าคงที่ที่ไม่รู้จัก ในปัจจัยแบบเบย์คุณจะคำนวณอัตราส่วนของบางสิ่งด้วยค่าคงที่ที่ไม่รู้จัก $p_1(\theta) \propto 1$ $p_1(x)$

ผู้แต่งบางคนโดยเฉพาะ ET Jaynes พยายามที่จะหลีกเลี่ยงสิ่งนี้โดยการกำหนด Priors ที่ไม่เหมาะสมเป็นข้อ จำกัด ของลำดับของ Priors ที่เหมาะสม: จากนั้นปัญหาคือว่าอาจมีลำดับที่แตกต่างกันสองข้อที่ให้คำตอบที่แตกต่างกัน

— Simon Byrne
แหล่งที่มา

ขอบคุณสำหรับคำตอบ. ปัญหาเกี่ยวกับค่าคงที่สัดส่วนสามารถหลีกเลี่ยงได้โดยใช้สิ่งที่ไม่เหมาะสมเหมือนกันก่อนหน้าพารามิเตอร์ทั่วไปเช่นพารามิเตอร์ตำแหน่งและสเกลตามที่กล่าวไว้ในThe Bayesian Choice pp. 349 ถ้าฉันเข้าใจอย่างถูกต้อง โครงสร้างบางอย่าง

— เจฟฟรีย์

ปัญหาคือกรณีที่ไม่สมจริงจะมีอิทธิพลต่อ: หากคุณมีเครื่องแบบก่อนหน้าพารามิเตอร์ตำแหน่งของคุณคุณจะวางน้ำหนัก 100x ตามช่วงเวลา [100,200] ตามที่คุณต้องการใน [0,1] (ซึ่งอาจดูไร้สาระใน บางสถานการณ์)

— Simon Byrne

แต่สิ่งที่สำคัญคือนักบวชที่ไม่เหมาะสมไม่สามารถตีความได้ในแง่ความน่าจะเป็น ไม่มีน้ำหนักดังกล่าวเนื่องจากการตีความความน่าจะเป็นของก่อนหน้านั้นหายไปเนื่องจากไม่เหมาะสม

— เจฟฟรีย์

มันไม่ใช่ความน่าจะเป็น แต่ก็ยังเป็นตัวชี้วัดดังนั้นคุณสามารถทำการเปรียบเทียบแบบสัมพัทธ์ได้ (เช่นมี "มวล" 100 เท่าในช่วง [100,200] เนื่องจากมี [0,1])

— Simon Byrne

ฉันคิดว่าการวิเคราะห์นี้จะต้องทำบนหลังมากกว่าที่ผ่านมา ตัวอย่างเช่นบางไพรเออร์จับคู่ไม่เหมาะสมเช่นอิสรภาพฟรีย์สำหรับกรณีปกติ1} คุณสามารถใช้การตีความนั้นกับสิ่งนี้ก่อนหน้านี้ แต่สิ่งนี้ก่อให้เกิดช่วงเวลาหลังที่มีคุณสมบัติที่ดีเยี่ยมเป็นประจำ ในกรณีนี้กรณีที่ไม่สมจริงไม่ได้ครอบงำ (ขอบคุณสำหรับการอภิปรายโดยวิธีการ)

π (μ, σ) \propto σ^{- 1}

$\pi(\mu,\sigma)\propto \sigma^{-1}$

— เจฟฟรีย์