การประมาณค่า R-squared และนัยสำคัญทางสถิติจากโมเดลการถดถอยเชิงลงโทษ

ฉันใช้แพ็กเกจ R ที่ถูกลงโทษเพื่อให้ได้ค่าสัมประสิทธิ์การหดตัวสำหรับชุดข้อมูลที่ฉันมีตัวทำนายจำนวนมากและมีความรู้เพียงเล็กน้อยซึ่งเป็นสิ่งที่สำคัญ หลังจากที่ฉันเลือกพารามิเตอร์การปรับแต่ง L1 และ L2 และฉันพอใจกับค่าสัมประสิทธิ์ของฉันจะมีวิธีทางสถิติที่จะสรุปรูปแบบที่เหมาะสมกับ R-squared หรือไม่?

นอกจากนี้ฉันสนใจที่จะทดสอบความสำคัญโดยรวมของโมเดล (เช่นR² = 0 หรือทำทั้งหมด = 0)

ฉันได้อ่านคำตอบของคำถามที่คล้ายกันแล้วที่นี่แต่ก็ไม่ได้ตอบคำถามของฉัน มีการสอนที่ยอดเยี่ยมเกี่ยวกับแพ็คเกจ R ที่ฉันใช้ที่นี่และผู้เขียน Jelle Goeman มีหมายเหตุต่อไปนี้ในตอนท้ายของบทช่วยสอนเกี่ยวกับช่วงความมั่นใจจากโมเดลการถดถอยที่ถูกลงโทษ:

มันเป็นคำถามที่ธรรมดามากที่จะถามถึงข้อผิดพลาดมาตรฐานของสัมประสิทธิ์การถดถอยหรือปริมาณที่ประมาณไว้อื่น ๆ ในหลักการข้อผิดพลาดมาตรฐานดังกล่าวสามารถคำนวณได้ง่ายเช่นการใช้ bootstrap

ยังคงแพคเกจนี้โดยเจตนาไม่ได้ให้พวกเขา เหตุผลของเรื่องนี้คือข้อผิดพลาดมาตรฐานไม่ได้มีความหมายมากสำหรับการประเมินแบบเอนเอียงอย่างรุนแรงเช่นเกิดจากวิธีการประเมินที่ถูกลงโทษ การประมาณค่าแบบลงโทษเป็นกระบวนการที่ช่วยลดความแปรปรวนของตัวประมาณค่าโดยการแนะนำอคติอย่างมีนัยสำคัญ ความเอนเอียงของตัวประมาณแต่ละตัวจึงเป็นองค์ประกอบหลักของความคลาดเคลื่อนกำลังสองเฉลี่ยในขณะที่ความแปรปรวนอาจมีส่วนเพียงเล็กน้อยเท่านั้น

แต่น่าเสียดายที่ในการใช้งานส่วนใหญ่ของการถดถอยเชิงลงโทษนั้นเป็นไปไม่ได้ที่จะได้รับการประเมินความลำเอียงที่แม่นยำเพียงพอ การคำนวณตาม bootstrap ใด ๆ สามารถให้การประเมินความแปรปรวนของการประมาณการเท่านั้น การประมาณการที่น่าเชื่อถือของอคตินั้นจะมีให้เฉพาะในกรณีที่การประมาณการที่เป็นกลางไม่น่าเชื่อถือมีอยู่ซึ่งโดยทั่วไปจะไม่เกิดขึ้นในกรณีที่มีการใช้การประมาณการที่ถูกลงโทษ

การรายงานข้อผิดพลาดมาตรฐานของการประเมินที่ถูกลงโทษจึงบอกเพียงส่วนหนึ่งของเรื่องราว มันสามารถสร้างความประทับใจที่ผิดพลาดอย่างแม่นยำโดยไม่สนใจความไม่ถูกต้องที่เกิดจากอคติอย่างสมบูรณ์ มันเป็นความผิดพลาดอย่างแน่นอนในการสร้างคำแถลงความเชื่อมั่นซึ่งตั้งอยู่บนพื้นฐานของการประเมินความแปรปรวนของการประมาณการเช่นช่วงความเชื่อมั่นที่ใช้ bootstrap

— สตีเฟ่นเทอร์เนอร์
แหล่งที่มา

แน่นอนว่าวิธีหนึ่งที่ฉันสามารถประมาณค่า R-squared ได้อย่างรวดเร็วคือการปรับโมเดลเชิงเส้นให้เหมาะสมเพื่อทำนายค่าที่ติดตั้งจากข้อมูลดั้งเดิมและนำ R-squared จากนั้น แต่ดูเหมือนว่ามันจะเป็นการประเมินค่า R-squared อย่างหนาแน่นและมีอคติมาก

— Stephen Turner

ฉันเพิ่มสิ่งนี้เป็นความคิดเห็นเนื่องจากฉันถามคำถาม "คล้ายกัน" ในโพสต์ใกล้เคียง (ดังนั้นฉันไม่รู้ว่าฉันมีคุณสมบัติที่จะให้คำตอบ ) แต่สำหรับคำถามของคุณโดยเฉพาะดูเหมือนว่าคุณสามารถคำนวณ R-squared ได้โดยไม่ต้อง การตั้งสมมติฐานแบบกระจาย (จำเป็นสำหรับการทดสอบสมมติฐานแบบปกติ) คุณไม่สามารถใช้ชุดที่ค้างไว้เพื่อคำนวณ r-squared หรือใช้การตรวจสอบ k-fold หากคุณมีข้อมูลไม่เพียงพอ (ในแต่ละครั้งจะใช้กระบวนการลงโทษเต็มรูปแบบของคุณและเฉลี่ย r-squares จากแต่ละเท่าไม่ ใช้ในข้อต่อ)?

— B_Miner

@B_Miner การตรวจสอบความถูกต้องข้ามของ

-fold มีแนวโน้มที่จะให้ค่าประมาณที่ค่อนข้างเอนเอียงของ

เนื่องจากโดยทั่วไปแล้วจะไม่ประมาณจำนวนดอกเบี้ยที่แท้จริง หลายขั้นตอนที่คล้ายกัน (ส่วนใหญ่?) มีปัญหาเดียวกัน

k

$k$

R^{2}

$R^2$

— พระคาร์ดินัล

@Stephen เป็น

จริงๆปริมาณที่คุณมีความสนใจใน? เนื่องจากความลำเอียงที่เกิดจากการลงโทษการดูเฉพาะความแปรปรวนที่อธิบายไว้อาจไม่เป็นที่ต้องการเว้นแต่คุณจะมีการประเมินความลำเอียงที่ดีมากอยู่แล้ว ความคิดทั้งหมดของการใช้

เป็นพื้นฐานสำหรับการอนุมานนั้นเป็นการบอกกล่าวถึงความเป็นกลางของการประมาณ แม้แต่ตำราสำคัญ ๆ เกี่ยวกับการถดถอยก็ดูเหมือนจะ“ ลืม” สิ่งนี้ (ดูตัวอย่างเช่น Seber และ Lee ได้รับการปฏิบัติที่ผิดพลาดจาก

ในหลายกรณีการถดถอย)

R^{2}

$R^2$

R^{2}

$R^2$

R^{2}

$R^2$

— พระคาร์ดินัล

ฉันคิดว่า

สามารถกำหนดได้ตามปกติและบางครั้งอาจมีประโยชน์ แม้ว่าข้อผิดพลาดมาตรฐานจะไม่นับรวมอคติ แต่ก็เป็นข้อผิดพลาดมาตรฐานของปริมาณ "อนุรักษ์นิยมลดลงไปที่ศูนย์" พวกเขาอาจไม่สามารถใช้สำหรับการอนุมานอย่างเป็นทางการ แต่ฉันต้องการฟังการสนทนามากขึ้นก่อนที่จะสรุปว่าพวกเขาไม่ควรใช้

R^{2}

$R^2$

— Frank Harrell

คำตอบ:

ปฏิกิริยาแรกของฉันต่อความคิดเห็นของ Jelle คือ "bias-schmias" คุณต้องระวังเกี่ยวกับสิ่งที่คุณหมายถึง "ตัวทำนายจำนวนมาก" นี่อาจเป็น "ใหญ่" ที่เกี่ยวกับ:

จำนวนจุดข้อมูล ("บิ๊กพีเล็ก n")
ระยะเวลาที่คุณต้องตรวจสอบตัวแปร
ต้นทุนการคำนวณของการแปลงเมทริกซ์ขนาดใหญ่

ปฏิกิริยาของฉันขึ้นอยู่กับ "ใหญ่" เทียบกับประเด็นที่ 1 นี่เป็นเพราะในกรณีนี้มันมักจะมีมูลค่าการแลกเปลี่ยนในอคติสำหรับการลดความแปรปรวนที่คุณได้รับ อคตินั้นมีความสำคัญ "ในระยะยาว" เท่านั้น ดังนั้นถ้าคุณมีตัวอย่างเล็ก ๆ แล้วใครสนใจเรื่อง "ระยะยาว"?

เมื่อพูดถึงทั้งหมดข้างต้นแล้วอาจไม่ใช่ปริมาณที่ดีโดยเฉพาะอย่างยิ่งในการคำนวณโดยเฉพาะเมื่อคุณมีตัวแปรมากมาย (เพราะนั่นคือทั้งหมดที่บอกคุณ: คุณมีตัวแปรมากมาย) ฉันจะคำนวณบางอย่างมากขึ้นเช่น "ข้อผิดพลาดการทำนาย" โดยใช้การตรวจสอบความถูกต้องข้าม $R^2$ $R^2$

เป็นการดีที่ "ข้อผิดพลาดในการทำนาย" นี้ควรขึ้นอยู่กับบริบทของสถานการณ์การสร้างแบบจำลองของคุณ โดยทั่วไปคุณต้องการตอบคำถามว่า "โมเดลของฉันสร้างข้อมูลได้ดีเพียงใด" บริบทของสถานการณ์ของคุณควรจะสามารถบอกคุณได้ว่า "ดีแค่ไหน" ในโลกแห่งความจริง จากนั้นคุณต้องแปลสิ่งนี้เป็นสมการทางคณิตศาสตร์

P R E S S = \sum_{i = 1}^{N} (Y_{i} - {\hat{Y}}_{i, - i})^{2}

$PRESS=\sum_{i=1}^{N} (Y_{i}-\hat{Y}_{i,-i})^2$

{\hat{Y}}_{i, - i}

$\hat{Y}_{i,-i}$

Y_{i}

$Y_{i}$

Y_{i}

$Y_i$

N

$N$

T

$T$

M

$M$

G = \frac{T}{M}

$G=\frac{T}{M}$

N_{g} = \frac{N \times M}{T}

$N_{g}=\frac{N\times M}{T}$

P R E S S = \sum_{g = 1}^{G} \sum_{i = 1}^{N_{g}} (Y_{i g} - {\hat{Y}}_{i g, - g})^{2}

$PRESS=\sum_{g=1}^{G}\sum_{i=1}^{N_{g}} (Y_{ig}-\hat{Y}_{ig,-g})^2$

\frac{β_{L A S S O}}{β_{U N C O N S T R A I N E D}}

$\frac{\beta_{LASSO}}{\beta_{UNCONSTRAINED}}$

— probabilityislogic
แหล่งที่มา

k

$k$

p > n

$p > n$

> 1

$> 1$

แพคเกจ R hdmและแพคเกจ Stata lassopackสนับสนุนการทดสอบนัยสำคัญร่วมกันสำหรับเชือก ทฤษฎีนี้ช่วยให้จำนวนผู้ทำนายมีขนาดใหญ่เมื่อเทียบกับจำนวนการสังเกต ทฤษฎีที่อยู่เบื้องหลังการทดสอบและวิธีการใช้นั้นมีการอธิบายสั้น ๆ ในเอกสารhdm ในระยะสั้นมันขึ้นอยู่กับกรอบของการลงโทษตามทฤษฎี (พัฒนาโดย Belloni, Chernozhukov และ Hansen, et al.) บทความนี้เป็นจุดเริ่มต้นที่ดีหากคุณต้องการทราบเพิ่มเติมเกี่ยวกับทฤษฎีพื้นฐาน ข้อเสียเพียงอย่างเดียวคือการทดสอบใช้งานได้เฉพาะกับบ่วงบาศและ (บาศสแควร์รูท) ไม่ใช่สำหรับวิธีการถดถอยแบบลงโทษอื่น ๆ

Belloni, A. , Chen, D. , Chernozhukov, V. และ Hansen, C. (2012), โมเดลที่กระจัดกระจายและวิธีการสำหรับเครื่องมือที่เหมาะสมที่สุดด้วยการประยุกต์ใช้กับโดเมนที่มีชื่อเสียง Econometrica, 80: 2369-2429

— aahr1
แหล่งที่มา

โปรดเพิ่มการอ้างอิงเต็มรูปแบบของกระดาษ (ลิงค์สามารถตาย)

— แอนทอน