โอกาสใดดีกว่าหรือโอกาสเกิดขึ้นเล็กน้อยและดีที่สุด

ขณะดำเนินการถดถอยหากเราดำเนินการตามคำจำกัดความจาก: ความแตกต่างระหว่างความน่าจะเป็นบางส่วน, ความน่าจะเป็นของโปรไฟล์และความเป็นไปได้ที่จะเกิดอะไรขึ้น

นั่นคือการ
ค้นหาความน่าจะเป็นสูงสุด βและθที่เพิ่ม L (β, θ | data) ให้สูงสุด

ในขณะที่ความ
เป็นไปได้ที่จะเกิดขึ้นเราได้รวมθจากสมการความน่าจะเป็นโดยการใช้ประโยชน์จากความจริงที่ว่าเราสามารถระบุการกระจายความน่าจะเป็นของθเงื่อนไขบน on

วิธีใดที่ดีที่สุดในการเพิ่มประสิทธิภาพและเพราะเหตุใด

แต่ละเหล่านี้จะให้ผลลัพธ์ที่แตกต่างกับการตีความที่แตกต่างกัน ครั้งแรกที่พบคู่$\beta$ ,ซึ่งเป็นไปได้มากที่สุดในขณะที่สองพบว่าซึ่งเป็น (เล็กน้อย) น่าจะเป็นมากที่สุด ลองนึกภาพว่าการกระจายของคุณมีลักษณะดังนี้:$\theta$$\beta$

    $\beta=1$$\beta=2$
$\theta=1$0.0 0.2 
$\theta=2$0.1 0.2 
$\theta=3$0.3 0.2 

จากนั้นคำตอบที่เป็นไปได้สูงสุดคือ ( ) ในขณะที่คำตอบของความเป็นไปได้สูงสุดที่จะเกิดคือ (เนื่องจากการลดความกว้างของ , )θ = 3 β = 2 θ P ( β = 2 ) = $\beta=1$$\theta=3$$\beta=2$$\theta$$P(\beta=2)=0.6$

ฉันมักจะบอกว่าโดยทั่วไปความเป็นไปได้ที่จะเกิดขึ้นมักจะเป็นสิ่งที่คุณต้องการ - ถ้าคุณไม่สนใจค่าของพารามิเตอร์คุณควรยุบมันลงไป แต่ในทางปฏิบัติวิธีการเหล่านี้อาจไม่ได้ผลลัพธ์ที่แตกต่างกันมาก - ถ้าเป็นเช่นนั้นมันอาจชี้ไปที่ความไม่แน่นอนพื้นฐานในการแก้ปัญหาของคุณเช่นโหมดหลายโหมดที่มีการรวม ,ที่แตกต่างกันทั้งหมดบีตา$\theta$$\beta$$\theta$

ฉันกำลังต่อสู้กับคำถามนี้เองตอนนี้ นี่คือผลลัพธ์ที่อาจเป็นประโยชน์ พิจารณาโมเดลเชิงเส้น

$$y = X\beta + \epsilon, \quad \epsilon \sim N(0,\sigma^2)$$

ที่และβและσ 2พารามิเตอร์ที่น่าสนใจ โอกาสร่วมกันคือ$y \in \mathbb{R}^n, \beta \in \mathbb{R}^p,$$\beta$$\sigma^2$

$$L(\beta,\sigma^2) = (2 \pi \sigma^2)^{-n/2} exp\left(-\frac{||y-X\beta||^2}{2\sigma^2}\right)$$

การเพิ่มความน่าจะเป็นของการมีส่วนร่วมให้เกิดประโยชน์สูงสุด

$$\hat{\beta} = X^+ y$$

$$\hat{\sigma}^2 = \frac{1}{n}||r||^2$$

ที่เป็น pseudoinverse ของXและR = Y - X βเป็นเวกเตอร์ที่เหลือพอดี ทราบว่าในσ 2เรามี1 / nแทนองศาของเสรีภาพคุ้นเคยแก้ไขอัตราส่วน1 / ( n - P ) ทราบว่าตัวประมาณนี้มีอคติในกรณีตัวอย่าง จำกัด$X^+$$X$$r=y-X\hat{\beta}$$\hat{\sigma}^2$$1/n$$1/(n-p)$

$\beta$$\sigma^2$$\beta$$\sigma^2$

$$\hat{\sigma}^2 = \text{max}_{\sigma^2} \int_{\mathbb{R}^p} L(\beta,\sigma^2) d\beta$$

การใช้พีชคณิตเชิงเส้นเบื้องต้นและสูตรอินทิกรัลเกาส์คุณสามารถแสดงได้

$$\hat{\sigma}^2 = \frac{1}{n-p} ||r||^2$$

สิ่งนี้มีการปรับแก้องศาอิสระซึ่งทำให้เป็นกลางและเป็นที่นิยมมากกว่าการประเมิน ML ร่วมกัน

จากผลลัพธ์นี้อาจถามว่ามีบางสิ่งที่เป็นประโยชน์โดยธรรมชาติเกี่ยวกับความน่าจะเป็นแบบบูรณาการ แต่ฉันไม่ทราบผลลัพธ์ทั่วไปใด ๆ ที่ตอบคำถามนั้น ฉันทามติดูเหมือนว่า ML ในตัวจะทำบัญชีได้ดีกว่าสำหรับความไม่แน่นอนในปัญหาการประมาณค่าส่วนใหญ่ โดยเฉพาะอย่างยิ่งหากคุณกำลังประเมินปริมาณที่ขึ้นอยู่กับการประมาณการพารามิเตอร์อื่น ๆ (แม้โดยปริยาย) การรวมพารามิเตอร์อื่น ๆ จะทำให้บัญชีมีความไม่แน่นอนได้ดีขึ้น

$\beta$$\beta$$\theta$$\theta$$\theta$$\theta$$\theta_i$$p(\theta_i)$$\theta$$data$$\beta$