คุณสมบัติพยากรณ์ของตัวประมาณคืออะไร?

อะไรคือสิ่งที่oracle คุณสมบัติของประมาณการ?
เป้าหมายการสร้างแบบจำลองใดที่เกี่ยวข้องกับคุณสมบัติของพยากรณ์ (ทำนาย, อธิบาย, ... )?

ทั้งคำอธิบายเชิงทฤษฎีที่เข้มงวดและโดยเฉพาะอย่างยิ่ง

มันจะดีถ้ามีคำตอบแบบครบวงจรที่เป็นของแข็งสำหรับคำถาม เนื้อหาที่เกี่ยวข้อง: Zou "The Adaptive LASSO และคุณสมบัติของ oracle" , p. 1 (pp. 1418)

— Richard Hardy

คำตอบ:

oracle รู้ความจริง: มันรู้เซตย่อยที่แท้จริงและเต็มใจที่จะทำมัน คุณสมบัติของ oracle คือการกระจาย asymptotic ของตัวประมาณนั้นเหมือนกับการกระจาย asymptotic ของ MLE บนการสนับสนุนที่แท้จริงเท่านั้น นั่นคือตัวประมาณจะปรับการรับรู้การสนับสนุนที่แท้จริงโดยไม่ต้องจ่ายราคา (ในแง่ของการแจกแจงเชิงซีมโทติค)

จากคุณสมบัติเชิงบวกของซีมโทติคของ MLE ที่กล่าวถึงเช่นสถิติเชิงทฤษฎีของ Keener ในทฤษฎีบท 9.14 เรารู้ภายใต้เงื่อนไขทางเทคนิคบางอย่างที่เกิดขึ้นเมื่อยกตัวอย่างเช่นข้อผิดพลาดคือเกาส์นั้นที่เราคิดว่าคือค่าสัมประสิทธิ์ความจริงเกี่ยวกับการสนับสนุนจริงSขอให้สังเกตว่าความแปรปรวนของการกระจาย asymptotic เป็นผกผันของข้อมูลฟิชเชอร์แสดงให้เห็นว่ามีประสิทธิภาพ asymptotically เนื่องจาก MLE รู้ว่าการสนับสนุนที่แท้จริงบรรลุถึงสิ่งนี้จึงจำเป็นต้องมีเพื่อเป็นส่วนหนึ่งของคุณสมบัติของ Oracle

\sqrt{n} ({\hat{β}}_{S} - β_{S}^{* * * *}) \to ยังไม่มีข้อความ (0, {ผม}^{- 1} (β_{S}^{* * * *})),

$\sqrt{n} \left( \hat\beta_S - \beta^*_S \right) \to \mathcal{N} (0, I^{-1}(\beta^*_S)),$

β_{S}^{*}

$\beta^*_S$

S

$S$

{\hat{β}}_{S}

$\hat\beta_S$

อย่างไรก็ตามเราจ่ายราคา nonasymptotic ที่สูงชัน: ดูตัวอย่าง

Hannes Leeb, Benedikt M. Pötscher, ตัวประมาณแบบกระจัดกระจายและคุณสมบัติของ oracle หรือการกลับมาของตัวประมาณค่าของ Hodges, วารสารเศรษฐมิติเล่มที่ 142, ฉบับที่ 1, 2008, หน้า 201-211,

ซึ่งแสดงให้เห็นว่าความเสี่ยงของ "oracle estimator" ใด ๆ (ในแง่ของ Fan and Li, 2001) มีค่าสูงสุดซึ่งเบี่ยงเบนไปจากค่าอนันต์

— user795305
แหล่งที่มา

- เพื่อคุณสมบัติ oracle สำหรับ lasso ระบุว่า followng: oracle คุณสมบัติคือการกระจาย asymptotic ของตัวประมาณนั้นเหมือนกับการกระจาย asymptotic ของการถดถอยโลจิสติก LASSO ในการสนับสนุนที่แท้จริงเท่านั้น

— Annalize Azzopardi

คำจำกัดความของคุณสมบัติของ Oracle นั้นเกี่ยวข้องกับบริบทอย่างมาก คำตอบสั้น ๆ แต่แม่นยำในการถดถอยเชิงเส้น (มิติที่แม่นยำสูง) คือ:

oracle estimator จะต้องสอดคล้องในการประมาณค่าพารามิเตอร์และการเลือกตัวแปร

ขอให้สังเกตว่าตัวประมาณที่สอดคล้องกันในการเลือกตัวแปรนั้นไม่จำเป็นต้องสอดคล้องกันในการประมาณค่าพารามิเตอร์ ดูกระดาษแบบปรับตัวได้สำหรับคำจำกัดความทางคณิตศาสตร์หรือดูสไลด์นี้

— TPArrow
แหล่งที่มา

ในกระดาษ adaLASSO (เชื่อมโยงในความคิดเห็นของฉัน) พวกเขากล่าวว่าอัตราการลู่เข้าจะต้องดีที่สุดเช่นกัน (พิเศษเพื่อการประเมินที่สอดคล้องกัน) นั่นเป็นแนวคิดที่สำคัญและค่อนข้างยาก คุณช่วยอธิบายเรื่องนี้ให้ละเอียดหน่อยได้ไหม?

— Richard Hardy

\sqrt{n}

$\sqrt{n}$

n

$n$

ดังนั้นคุณจะแนะนำให้ลบความต้องการของอัตราที่เหมาะสมที่สุดในคำจำกัดความของคุณสมบัติ oracle หรือไม่?

— Richard Hardy

ในคำจำกัดความทั่วไปฉันเห็นว่าไม่มีข้อผูกมัดใด ๆ ที่จะพูดถึงความเร็ว แต่ในทางทฤษฎีเราจำเป็นต้องรู้ / กำหนดความเร็วที่เหมาะสมอย่างชัดเจน

— TPArrow

ขอบคุณ ฉันเลือกสิ่งนี้เพราะเราพูดถึงคำจำกัดความที่นี่ดังนั้นฉันพยายามจะแม่นยำ

— Richard Hardy