เหตุใดการประมาณการความเป็นไปได้สูงสุดจึงถือเป็นเทคนิคบ่อยครั้ง


19

สถิติสำหรับฉันมีความหมายเหมือนกันสำหรับความพยายามในการตัดสินใจที่ดีสำหรับตัวอย่างที่เป็นไปได้ทั้งหมด นั่นคือกฎการตัดสินใจที่ใช้บ่อยควรพยายามลดความเสี่ยงที่บ่อยครั้งซึ่งขึ้นอยู่กับฟังก์ชันการสูญเสียและสถานะที่แท้จริงของธรรมชาติ :δLθ0

RRอีQ=Eθ0(L(θ0,δ(Y))

การประมาณความน่าจะเป็นสูงสุดนั้นเชื่อมโยงกับความเสี่ยงบ่อยเพียงใด ระบุว่าเป็นเทคนิคการประมาณค่าที่ใช้มากที่สุดที่ผู้ใช้บ่อยต้องมีการเชื่อมต่อ เท่าที่ฉันทราบการประมาณความน่าจะเป็นสูงสุดนั้นเก่ากว่าแนวคิดเรื่องความเสี่ยงบ่อย แต่ก็ยังคงต้องมีการเชื่อมโยงกันทำไมคนจำนวนมากถึงอ้างว่ามันเป็นเทคนิคที่ใช้บ่อย?

การเชื่อมต่อที่ใกล้ที่สุดที่ฉันได้พบคือ

"สำหรับแบบจำลองพารามิเตอร์ที่ตอบสนองสภาวะความอ่อนแอทำให้ตัวประมาณความน่าจะเป็นสูงสุดคือประมาณขั้นต่ำสุด" Wassermann 2006, p. 201 "

คำตอบที่ได้รับการยอมรับจะเชื่อมโยงการประมาณค่าความน่าจะเป็นระดับสูงสุดกับความเสี่ยงของผู้ใช้บ่อยหรือให้คำจำกัดความทางเลือกอย่างเป็นทางการของการอนุมานของผู้ที่แสดงให้เห็นว่า MLE เป็นเทคนิคการอนุมานแบบบ่อยๆ


6
ML ไม่ใส่ใจกับความเสี่ยงเลย! อันที่จริงแล้วเป็นส่วนหนึ่งของการวิจารณ์เชิงทฤษฎีการตัดสินใจอย่างสม่ำเสมอของ ML ฉันสงสัยว่าคำถามนี้อาจตอบได้ยากเพราะมันใช้ "ผู้ใช้บ่อย" ในความรู้สึกสองอย่างที่ไม่สอดคล้องกัน - ข้อหนึ่งคือการตัดสินใจเชิงทฤษฎีหมายถึงฟังก์ชั่นการสูญเสีย
whuber

@whuber ML ให้ความสำคัญกับความเสี่ยง ในความเป็นจริงมันลดลงภายใต้การสูญเสียลอการิทึมภายใต้เครื่องแบบที่ไม่เหมาะสมมาก่อน
Cagdas Ozgenc

4
@Cagdas ฉันเชื่อว่าไม่ใช่ความเสี่ยงสำหรับผู้มีอำนาจตัดสินใจ: มันแสดงให้เห็นว่า ML เป็นเพียงการลดความเสี่ยงหากการสูญเสียลอการิทึมเป็นความเสี่ยงที่สำคัญสำหรับพวกเขา การดึงดูดให้มี "ชุดเครื่องแบบที่ไม่เหมาะสมมาก่อน" นั้นไม่ใช่ทางเลือก!
whuber

1
ขั้นตอนการประมาณ @whuber Bayesian ใช้การบันทึกการสูญเสียสะสมเช่นกัน หลังจากนั้นจะใช้ความเสี่ยงของผู้ตัดสินใจ หากเรากำลังพูดถึงการเพิ่มประสิทธิภาพความเสี่ยงของผู้มีอำนาจตัดสินใจโดยตรง (ไม่ใช่ผ่านขั้นตอนบันทึกการสูญเสีย) ดังนั้นขั้นตอนสำหรับผู้ใช้งานประจำจะมีชื่อเสียงมากขึ้นในเรื่องนั้นเช่น OLS
Cagdas Ozgenc

คำตอบ:


16

คุณใช้คำจำกัดความที่ค่อนข้างบ่อยของการใช้บ่อยและ MLE - หากเรามีความใจกว้างและความหมายมากกว่านี้

  • บ่อยครั้ง: เป้าหมายของความสอดคล้อง, การเพิ่มประสิทธิภาพ (asymptotic), ความเป็นกลางและอัตราความผิดพลาดที่ควบคุมภายใต้การสุ่มตัวอย่างซ้ำโดยไม่ขึ้นอยู่กับพารามิเตอร์ที่แท้จริง

  • MLE = การประมาณจุด + ช่วงความเชื่อมั่น (CIs)

ดูเหมือนว่า MLE จะตอบสนองทุกความคิดของนักนิยม โดยเฉพาะอย่างยิ่ง CIs ใน MLE ในฐานะ p-values ​​ควบคุมอัตราข้อผิดพลาดภายใต้การสุ่มตัวอย่างซ้ำและไม่ให้พื้นที่ความน่าจะเป็น 95% สำหรับค่าพารามิเตอร์จริงตามที่หลาย ๆ คนคิด - ดังนั้นพวกเขาจึงผ่านและบ่อยครั้ง

ไม่ใช่ความคิดเหล่านี้ทั้งหมดที่มีอยู่ในฐานรากของฟิชเชอร์ 1922 กระดาษ "บนรากฐานทางคณิตศาสตร์ของสถิติเชิงทฤษฎี"แต่ความคิดของการเพิ่มประสิทธิภาพและความเป็นกลางคือและ Neyman หลังเพิ่มความคิดของการสร้าง CIs ด้วยอัตราข้อผิดพลาดคงที่ Efron, 2013, "การทะเลาะกัน 250 ปี: ความเชื่อ, พฤติกรรม, และการบูต" , สรุปในประวัติศาสตร์ที่สามารถอ่านได้ของการถกเถียง Bayesian / Frequentist:

bandwagon ที่พบบ่อยได้เริ่มต้นขึ้นจริง ๆ ในต้นปี 1900 โรนัลด์ฟิชเชอร์พัฒนาทฤษฎีความน่าจะเป็นสูงสุดของการประมาณค่าที่ดีที่สุดแสดงพฤติกรรมที่ดีที่สุดเท่าที่จะเป็นไปได้สำหรับการประมาณค่าและ Jerzy Neyman ทำเช่นเดียวกันสำหรับช่วงความมั่นใจและการทดสอบ กระบวนการของฟิชเชอร์และเนย์แมนนั้นเหมาะสมอย่างยิ่งกับความต้องการทางวิทยาศาสตร์และข้อ จำกัด ในการคำนวณของวิทยาศาสตร์ในศตวรรษที่ยี่สิบทำให้เบส์กลายเป็นเงา

เกี่ยวกับคำจำกัดความที่แคบกว่าของคุณ - ฉันไม่เห็นด้วยอย่างอ่อนโยนกับหลักฐานของคุณว่าการลดความเสี่ยงเป็นประจำ (FR) เป็นเกณฑ์หลักในการตัดสินใจว่าวิธีการดังกล่าวเป็นไปตามปรัชญาประจำหรือไม่ ฉันจะบอกความจริงที่ว่าการลด FR เป็นที่พักที่พึงประสงค์ต่อไปนี้จากปรัชญา frequentist มากกว่าก่อนหน้านั้น ดังนั้นกฎการตัดสินใจ / การประมาณค่าจึงไม่จำเป็นต้องลดค่า FR ให้เป็นความถี่บ่อยครั้งและการลดค่า FR ให้เหลือน้อยที่สุดก็ไม่จำเป็นต้องบอกว่าวิธีนั้นเป็นวิธีการที่ใช้กันบ่อย

ถ้าเราดูที่ MLE โดยเฉพาะ: ฟิชเชอร์แสดงให้เห็นว่า MLE นั้นเหมาะสมที่สุดในเชิง asymptotically (เทียบเท่ากับการลด FR) และนั่นเป็นเหตุผลหนึ่งที่ทำให้ MLE อย่างไรก็ตามเขาทราบว่าการใช้ประโยชน์สูงสุดไม่ได้มีขนาดตัวอย่างที่แน่นอน แต่ถึงกระนั้นเขาก็มีความสุขกับตัวประมาณค่านี้เนื่องจากคุณสมบัติที่พึงประสงค์อื่น ๆ เช่นความสม่ำเสมอ, เชิงเส้นกำกับ, ค่าคงที่ภายใต้การแปลงพารามิเตอร์และอย่าลืม: ความง่ายในการคำนวณ โดยเฉพาะอย่างยิ่งความไม่แปรปรวนถูกเน้นอย่างล้นเหลือในกระดาษ 2465 - จากการอ่านของฉันฉันจะบอกว่าการรักษาความไม่แปรเปลี่ยนภายใต้การเปลี่ยนแปลงพารามิเตอร์และความสามารถในการกำจัดเหล่านักบวชโดยทั่วไปเป็นหนึ่งในแรงจูงใจหลักของเขา ถ้าคุณต้องการที่จะเข้าใจเหตุผลของเขาดีกว่าฉันแนะนำกระดาษ 1922 จริง ๆ '


2
ฉันสามารถสรุปคำตอบของคุณว่าการประมาณค่าความน่าจะเป็นจุดสูงสุดมักใช้ร่วมกับ CIs หรือเป็นส่วนหนึ่งของการทดสอบสมมติฐาน (เช่นการทดสอบการปันส่วนความน่าจะเป็น) ดังนั้นมันจึงเป็นเทคนิคที่ใช้บ่อย? หากเป็นกรณีนี้ฉันคิดว่านี่เป็นคำตอบที่ถูกต้อง แต่ไม่ใช่คำตอบที่ฉันหวังไว้ ฉันตั้งเป้าที่จะโต้แย้งอย่างเป็นทางการว่าทำไมการประมาณความเป็นไปได้สูงสุดจึงถือเป็นเทคนิคการประมาณค่าแบบจุด หากต้องการคำนิยามที่เป็นทางการของการอนุมานบ่อยๆ
Julian Karls

1
โดยทั่วไปฉันคิดว่า MLE เป็นกรอบงานที่มีการประเมินจุดฟิชเชอร์พร้อมกับซีไอเอของเนย์แมน - นี่คือวิธีการสอนในชั้นเรียนและเนื่องจากข้อโต้แย้งข้างต้นฉันจะรักษามันไว้เป็นประจำกับกระดูก ฉันสงสัยว่ามันสมเหตุสมผลหรือไม่ที่จะพูดคุยว่า MLE เพียงอย่างเดียวเป็นตัวประมาณบ่อยครั้งหรือไม่โดยไม่คำนึงถึงวิธีการและเหตุผลที่ใช้ ถ้าคุณต้องการเหตุผลของฟิชเชอร์ฉันขอแนะนำกระดาษ 1922 - ฉันจะบอกเหตุผลที่เขาระบุว่าเป็นประจำแม้ว่าคำนี้ไม่ได้อยู่แล้ว ฉันได้ขยายความคิดเห็นของฉันในเรื่องนั้น
Florian Hartig

1

โดยพื้นฐานด้วยเหตุผลสองประการ:

  • โอกาสสูงสุดคือการประมาณค่าพารามิเตอร์ของโมเดล เราเบย์ชอบการแจกแจงหลัง
  • โอกาสสูงสุดถือว่าไม่มีการแจกแจงล่วงหน้าเรา Bayesians ต้องการนักบวชของเรามันอาจเป็นข้อมูลหรือไม่เป็นทางการ แต่จำเป็นต้องมีอยู่

6
+1 ฉันแค่อยากจะชี้ให้เห็นว่าคุณปรากฏโดยปริยายเพื่อถือเอา "นักประพันธ์" กับ "ผู้ที่ไม่ได้เบย์" ในคำตอบนี้ ภาษาของ "We Bayesians" ยังแสดงให้เห็นว่า "Bayesian" หมายถึงลักษณะส่วนบุคคลบางอย่างหรือการเป็นสมาชิกของชนเผ่า - ราวกับว่าคุณเป็นชาวเอสกิโมมากกว่าที่จะเป็นเทคนิคและการตีความ
whuber

4
อีกด้านหนึ่ง MLE สามารถได้มาซึ่งเป็นเทคนิคแบบเบย์ มันเป็นเพียงการประมาณค่า MAP สำหรับโมเดลทางสถิติใด ๆ ที่ใช้เครื่องแบบก่อนหน้า
Julian Karls

3
MAPนอกจากนี้ยังมีการประเมินจุดที่ชาญฉลาดและมีการขมวดคิ้วด้วย "ทรู Bayesians"
ยูริ Goren
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.