การประมาณที่ไม่สอดคล้องกันจะดีกว่าไหม?


22

ความสอดคล้องเป็นตัวประมาณค่าคุณสมบัติตามธรรมชาติและสำคัญ แต่มีสถานการณ์ที่อาจจะดีกว่าถ้าใช้ตัวประมาณค่าที่ไม่สอดคล้องกันแทนที่จะเป็นตัวประมาณที่สอดคล้องกัน?

โดยเฉพาะอย่างยิ่งมีตัวอย่างของตัวประมาณค่าที่ไม่สอดคล้องกันซึ่งมีประสิทธิภาพดีกว่าตัวประมาณค่าที่สอดคล้องกันที่สมเหตุสมผลสำหรับขอบเขตทั้งหมด (เทียบกับฟังก์ชันการสูญเสียที่เหมาะสม)?n


1
มีการแลกเปลี่ยนที่น่าสนใจในประสิทธิภาพระหว่างความสอดคล้องกันของการเลือกแบบจำลองและความสอดคล้องของพารามิเตอร์ในปัญหาการประมาณค่าโดยใช้ Lasso และตัวแปร (หลาย!) นี่คือรายละเอียดเช่นในข้อความล่าสุดของBühlmannและ van der Geer
พระคาร์ดินัล

อาร์กิวเมนต์ในฉันตอนนี้ลบแล้วตอบยังค้างไว้หรือไม่ กล่าวคือ: ในกลุ่มตัวอย่างขนาดเล็กจะดีกว่าถ้ามีตัวประมาณค่าที่เป็นกลางและมีความแปรปรวนต่ำ หรือใครสามารถแสดงว่าตัวประมาณที่สอดคล้องกันมีความแปรปรวนต่ำกว่าตัวประมาณที่ไม่เอนเอียงอื่นเสมอไป
Bob Jansen

บางที @Bootvis! คุณมีตัวอย่างของตัวประมาณค่าที่ไม่สอดคล้องกับ MSE ต่ำหรือไม่?
MånsT

3
@Bootvis: หากคุณเห็นความคิดเห็นที่ครอบคลุมเกี่ยวกับคำตอบของคำถามล่าสุดที่ถามเกี่ยวกับความสอดคล้องกับความไม่เป็นธรรมคุณจะเห็นว่าตัวประมาณที่สอดคล้องกันสามารถมีพฤติกรรมป่าโดยพลการทั้งความแปรปรวนและอคติ (แม้พร้อมกัน!) . ควรลบข้อสงสัยทั้งหมดเกี่ยวกับความคิดเห็นของคุณ
พระคาร์ดินัล

ฉันคิดว่าฉันได้จากหนังสือสองเล่ม แต่ดูเหมือนว่าฉันผิดด้วยเช่นกัน! ตัวอย่างไม่พบที่ใด @cardinal: เสียงที่น่าสนใจจะตรวจสอบออก
บ๊อบ Jansen

คำตอบ:


25

คำตอบนี้อธิบายถึงปัญหาที่เกิดขึ้นจริงที่ตัวประมาณความสอดคล้องตามธรรมชาติถูกครอบงำ (มีประสิทธิภาพสูงกว่าค่าพารามิเตอร์ที่เป็นไปได้สำหรับทุกขนาดตัวอย่าง) โดยตัวประมาณที่ไม่สอดคล้อง มันเป็นแรงบันดาลใจจากความคิดที่ว่าความมั่นคงเหมาะที่สุดสำหรับการสูญเสียกำลังสองดังนั้นการใช้ความสูญเสียที่เกิดขึ้นอย่างมากจากสิ่งนั้น (เช่นการสูญเสียแบบอสมมาตร) ควรทำให้ความมั่นคงเกือบไร้ประโยชน์ในการประเมินประสิทธิภาพของตัวประมาณ


(x1,,xn)

1tμ0μtμ+11

μσ2>0x¯=1nixi(μ,σ2/n)μΦ1/2+Φ(n/σ)1/2Φ(n/σ)1

การสูญเสีย

x¯n/(2σ)0n/(2σ)n/σn

x¯+1/22Φ(n/(2σ))1/20nnμ+1/2μ

ฟังก์ชั่นการสูญเสีย

x¯x¯+1/2n


2
L2L2

5
@Macro ความคิดนั้นค่อนข้างทางอ้อมและไม่ได้ตั้งใจให้เข้มงวด แต่ผมเชื่อว่ามันเป็นเรื่องธรรมชาติ: การสูญเสียกำลังสองหมายถึงการลดความแปรปรวนซึ่ง (ผ่าน Chebyshev) นำไปสู่การลู่เข้าในความน่าจะเป็น ดังนั้นฮิวริสติกสำหรับการค้นหาตัวอย่างควรมุ่งเน้นที่การสูญเสียซึ่งอยู่ห่างจากสมการกำลังสองที่การจัดการดังกล่าวไม่ประสบความสำเร็จ
whuber

1
1/20n

3
@Michael ตกลงขอบคุณสำหรับการอธิบาย ในบริบทนี้หากไม่มีการสูญเสียกำลังสอง "ข้อได้เปรียบ" จะไม่แสดงเงื่อนไขของอคติ หนึ่งอาจวิจารณ์ฟังก์ชั่นการสูญเสียนี้ แต่ฉันไม่ต้องการที่จะปฏิเสธมันทั้งหมด: มันจำลองสถานการณ์ที่ตัวอย่างเช่นข้อมูลเป็นการวัดรายการที่ผลิตขึ้นสำหรับความคลาดเคลื่อนบางอย่างและมันจะเป็นหายนะ (เช่นใน Shuttle o-ring หรือการล้มละลายทางธุรกิจหายนะ) สำหรับค่าเฉลี่ยที่แท้จริงที่จะอยู่นอกเหนือความคลาดเคลื่อนเหล่านั้น
whuber

1
(+1) คำตอบยอดเยี่ยม @whuber! โดยเฉพาะอย่างยิ่งฉันชอบที่มันไม่รู้สึกพยาธิวิทยามากเกินไป - ฉันสามารถคิดถึงหลาย ๆ สถานการณ์ที่การสูญเสียประเภทนี้จะมีผลบังคับใช้
MånsT
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.