การใช้เหตุผลอย่างชาญฉลาดหลังการประมาณค่าความน่าจะเป็นแบบอคติสูงสุด


25

ฉันมีความสับสนกับตัวประมาณความน่าจะเป็นแบบอคติสูงสุด (ML) คณิตศาสตร์ของแนวคิดทั้งหมดนั้นค่อนข้างชัดเจนสำหรับฉัน แต่ฉันไม่สามารถเข้าใจเหตุผลที่เข้าใจง่าย

เนื่องจากชุดข้อมูลบางอย่างที่มีตัวอย่างจากการแจกจ่ายซึ่งเป็นฟังก์ชันของพารามิเตอร์ที่เราต้องการประมาณค่าตัวประมาณค่า ML จะส่งผลให้มูลค่าของพารามิเตอร์ซึ่งมีแนวโน้มมากที่สุดที่จะสร้างชุดข้อมูล

ฉันไม่สามารถเข้าใจตัวประมาณค่า ML แบบเอนเอียงในแง่ที่ว่าค่าที่เป็นไปได้มากที่สุดสำหรับพารามิเตอร์สามารถทำนายมูลค่าที่แท้จริงของพารามิเตอร์ด้วยอคติต่อค่าที่ไม่ถูกต้องได้อย่างไร



ฉันคิดว่าการให้ความสำคัญกับอคติที่นี่อาจแยกความแตกต่างของคำถามนี้จากคำถามที่นำเสนอซ้ำ ๆ
Silverfish

คำตอบ:


14

ตัวประมาณค่า ML ส่งผลให้เกิดค่าสำหรับพารามิเตอร์ซึ่งมักจะเกิดขึ้นในชุดข้อมูล

จากสมมติฐานที่กำหนดตัวประมาณ ML คือค่าของพารามิเตอร์ที่มีโอกาสที่ดีที่สุดในการสร้างชุดข้อมูล

ฉันไม่สามารถเข้าใจค่าประมาณ ML ที่มีอคติอย่างลำเอียงในแง่ที่ว่า "ค่าที่เป็นไปได้มากที่สุดสำหรับพารามิเตอร์สามารถทำนายมูลค่าที่แท้จริงของพารามิเตอร์ด้วยอคติต่อค่าที่ไม่ถูกต้องได้อย่างไร"

อคติเกี่ยวกับความคาดหวังของการแจกแจงตัวอย่าง "ส่วนใหญ่มีแนวโน้มที่จะสร้างข้อมูล" ไม่ได้เกี่ยวกับความคาดหวังของการสุ่มตัวอย่างการแจกแจง ทำไมพวกเขาถึงถูกคาดหวังว่าจะไปด้วยกัน?

พื้นฐานที่น่าแปลกใจที่พวกเขาไม่จำเป็นต้องสอดคล้องกันคืออะไร?

ฉันขอแนะนำให้คุณพิจารณากรณีง่าย ๆ ของ MLE และไตร่ตรองว่าความแตกต่างเกิดขึ้นในกรณีเฉพาะเหล่านั้นอย่างไร

(0,θ)

θθθ

ป้อนคำอธิบายรูปภาพที่นี่

θθ

U(0,θ)nn+1θθ^=n+1nX(n)X(n)

สิ่งนี้อยู่ทางด้านขวาของ MLE และมีโอกาสต่ำกว่า


ขอบคุณสำหรับคำตอบ. เกี่ยวกับส่วนแรกฉันแสดงออกอย่างไม่ถูกต้อง โดยทั่วไปฉันหมายถึงสิ่งที่คุณพูด จากคำตอบของคุณในส่วนที่สองฉันสามารถสรุปได้ว่าชุดข้อมูลอื่นที่ดึงมาจากการแจกแจงแบบเดียวกันตัวประมาณค่า ML จะส่งผลให้มีอคติที่แตกต่างกันหรือไม่? เนื่องจากคุณบอกว่าตัวประมาณค่า ML นั้นเป็นค่าที่ "น่าจะเป็น" มากที่สุดในการสร้างข้อมูล หากเราเปลี่ยนข้อมูลตัวประมาณอื่น ๆ อาจสร้างได้ ถูกต้องไหม
ssah

เครื่องมือประมาณการจะไม่เปลี่ยนแปลงหากรูปแบบการกระจายประชากรไม่เปลี่ยนแปลง ประมาณอื่น ๆจะถูกสร้างขึ้นด้วยตัวอย่างที่แตกต่างกันและจำนวนที่มันลำเอียงโดยทั่วไปจะแตกต่างกัน - อคติมักจะเกี่ยวข้องกับขนาดตัวอย่างแม้ว่าประชากรจะเหมือนกัน ... (ctd)
Glen_b -Reinstate Monica

(CTD) ... mnθ

ใช้ตัวอย่างที่ยอมรับได้ดีเพื่อดูความแตกต่างระหว่างตัวประมาณค่าที่เป็นกลางและ ML
jwg

6

βMLEβββMLE

NN1


ขออภัยในความผิดพลาดในส่วนแรก ฉันแก้ไขและแก้ไข แต่เกี่ยวกับสิ่งที่คุณพูดเกี่ยวกับ MLE ทำไมมันถึงลำเอียงตั้งแต่แรกในกรณีที่ไม่ใช่ซีมโทติค?
ssah

2
"ดีกว่า" ขึ้นอยู่กับสิ่งที่คุณมอง การแก้ไขของ Bessel ทำให้มันไม่เอนเอียง แต่ความเป็นกลางไม่ได้เป็นของตัวเองโดยอัตโนมัติ "ดีกว่า" (MSE แย่กว่านั้นเช่นทำไมฉันจึงควรใช้ความเป็นกลางมากกว่า MSE ที่เล็กกว่า) Unbiasedness อาจจะมีการถกเถียงกันอยู่จะดีกว่า, ceteris paribusแต่โชคร้ายceterisจะไม่paribus
Glen_b -Reinstate Monica

ความเข้าใจของฉันคือการที่ตัวประมาณที่ไม่เอนเอียงสามารถแสดงให้เห็นว่าไม่มีความเป็นกลางที่ดีที่สุดผ่านความสัมพันธ์ระหว่าง MLE และขอบเขตล่างของ Cramer-Rao
Dimitriy V. Masterov

@ssah ฉันได้รับแจ้งว่าเป็นเพราะเราใช้ค่าเฉลี่ยตัวอย่างแทนที่จะเป็นค่าเฉลี่ยจริงในสูตร ตามจริงแล้วฉันไม่เคยพบคำอธิบายนี้อย่างแท้จริงโดยเฉพาะอย่างยิ่งเพราะถ้าตัวประมาณค่า MLE ของค่าเฉลี่ยไม่มีอคติทำไมจึงเป็นเช่นนั้นผิด ฉันมักจะทำให้ความสงสัยของฉันพักด้วยการจำลอง
Dimitriy V. Masterov

5

นี่คือสัญชาตญาณของฉัน

อคติเป็นตัวชี้วัดความถูกต้องแต่ยังมีความเชื่อในเรื่องของความแม่นยำ

ป้อนคำอธิบายรูปภาพที่นี่

ในโลกอุดมคติเราจะได้รับการประมาณซึ่งมีความแม่นยำและแม่นยำนั่นคือกระทบตาของวัวเสมอ น่าเสียดายที่ในโลกที่ไม่สมบูรณ์ของเรา บางครั้งเราอาจรู้สึกว่าเราสามารถให้ความแม่นยำเล็กน้อยเพื่อให้ได้ความแม่นยำมากขึ้น: เราทำการแลกเปลี่ยนตลอดเวลา ดังนั้นความจริงที่ว่าตัวประมาณลำเอียงไม่ได้หมายความว่ามันแย่: อาจเป็นไปได้ว่ามันแม่นยำมากขึ้น

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.