วิธีการตรวจสอบเมื่อแบบจำลองการถดถอยมีความเหมาะสมมากเกินไป?

เมื่อคุณเป็นคนหนึ่งในการทำงานตระหนักถึงสิ่งที่คุณกำลังทำอยู่คุณพัฒนาความรู้สึกเมื่อคุณมีแบบจำลองที่พอดี สิ่งหนึ่งที่คุณสามารถติดตามแนวโน้มหรือการเสื่อมสภาพได้ใน Adjusted R Square ของโมเดล คุณสามารถติดตามการเสื่อมสภาพที่คล้ายกันในค่า p ของสัมประสิทธิ์การถดถอยของตัวแปรหลัก

แต่เมื่อคุณเพิ่งอ่านคนอื่นศึกษาและคุณไม่มีความเข้าใจในกระบวนการพัฒนาแบบจำลองภายในของพวกเขาเองคุณจะสามารถตรวจพบอย่างชัดเจนว่าแบบจำลองนั้นเหมาะสมหรือไม่อย่างไร

regression multivariate-analysis overfitting

— Sympa
แหล่งที่มา

เพียงเพื่อแสดงความคิดเห็นสองสามข้อในหัวข้อหากการศึกษาเปิดเผยสถิติการถดถอยมาตรฐานคุณสามารถมุ่งเน้นไปที่สถิติ t และค่า p ของสัมประสิทธิ์ ถ้า RSquare ของโมเดลสูง แต่มีตัวแปรอย่างน้อยหนึ่งตัวที่สถิติ <2.0; นี่อาจเป็นธงสีแดง นอกจากนี้หากเครื่องหมายของสัมประสิทธิ์ของตัวแปรบางตัวขัดแย้งกับลอจิกที่อาจเป็นธงสีแดงอีกอัน หากการศึกษาไม่ได้เปิดเผยช่วงเวลาที่ระงับไว้สำหรับโมเดลนั่นอาจเป็นอีกธงสีแดง หวังว่าคุณจะมีความคิดอื่น ๆ และดีกว่า

— Sympa

วิธีหนึ่งคือดูว่าแบบจำลองทำงานกับข้อมูลอื่น ๆ (แต่คล้ายกัน) อย่างไร

— เชน

คำตอบ:

การตรวจสอบข้ามและการทำให้เป็นมาตรฐานเป็นเทคนิคทั่วไปที่ใช้กันทั่วไปเพื่อป้องกันการ overfitting เพื่อความรวดเร็วฉันขอแนะนำสไลด์การสอนของ Andrew Moore เกี่ยวกับการใช้cross-validation ( mirror ) - ให้ความสนใจเป็นพิเศษกับ caveats อ่านรายละเอียดเพิ่มเติมได้ที่บทที่ 3 และ 7 ของEOSLซึ่งครอบคลุมหัวข้อและเนื้อหาที่เกี่ยวข้องในเชิงลึก

— ARS
แหล่งที่มา

ว้าวขอบคุณการสอนของ Andrew Moore เกี่ยวกับการตรวจสอบข้ามเป็นระดับโลก

— Sympa

เมื่อฉันติดตั้งแบบจำลองด้วยตัวเองฉันมักใช้เกณฑ์ข้อมูลในระหว่างขั้นตอนการติดตั้งเช่นAICหรือBICหรือการทดสอบอัตราส่วนความน่าจะเป็นสำหรับรูปแบบที่เหมาะสมโดยขึ้นอยู่กับความน่าจะเป็นสูงสุดหรือการทดสอบแบบ Fสำหรับรุ่นที่เหมาะสม

ทั้งหมดมีแนวคิดที่คล้ายคลึงกันในการที่พวกเขาลงโทษพารามิเตอร์เพิ่มเติม พวกเขาตั้งค่าขีด จำกัด ของ "กำลังอธิบายเพิ่มเติม" สำหรับพารามิเตอร์ใหม่แต่ละตัวที่เพิ่มเข้ากับโมเดล พวกเขาทั้งหมดเป็นรูปแบบของการทำให้เป็นมาตรฐาน

สำหรับโมเดลของผู้อื่นฉันดูที่ส่วนวิธีการเพื่อดูว่ามีการใช้เทคนิคดังกล่าวหรือไม่และใช้กฎของหัวแม่มือเช่นจำนวนการสังเกตต่อพารามิเตอร์ - ถ้ามีการสังเกตประมาณ 5 (หรือน้อยกว่า) ต่อพารามิเตอร์ที่ฉันเริ่มสงสัย

โปรดจำไว้เสมอว่าตัวแปรไม่จำเป็นต้องมี "นัยสำคัญ" ในแบบจำลองที่มีความสำคัญ ฉันอาจจะเป็นสับสนและควรรวมไว้ในนั้นหากเป้าหมายของคุณคือการประเมินผลกระทบของตัวแปรอื่น ๆ

— Thylacoleo
แหล่งที่มา

ขอบคุณสำหรับลิงก์ไปยังการทดสอบ AIC และ BIC พวกเขาเพิ่มมูลค่ามากขึ้นหรือไม่เมื่อปรับ R Square ซึ่งทำสิ่งที่คล้ายกันโดยการลงโทษแบบจำลองสำหรับการเพิ่มตัวแปรหรือไม่?

— Sympa

@Gaeten, R-squared ที่ปรับแล้วจะเพิ่มขึ้นเมื่อการทดสอบ F ของการทดสอบก่อนหน้าและหลังมีความสำคัญดังนั้นพวกมันจึงเทียบเท่ากันยกเว้นการคำนวณปกติที่ปรับ R-squared จะไม่ส่งคืนค่า p

— Thylacoleo

@Gaeten - AIC & BIC นั้นกว้างกว่าการทดสอบ F และปรับ R-squared ซึ่งโดยปกติจะ จำกัด อยู่ที่รุ่นที่พอดีโดยกำลังสองน้อยที่สุด AIC & BIC สามารถนำไปใช้กับรูปแบบใดก็ได้ที่สามารถคำนวณความน่าจะเป็นได้และสามารถรู้ระดับความเป็นอิสระได้ (หรือโดยประมาณ)

— Thylacoleo

การทดสอบชุดของตัวแปรไม่ใช่รูปแบบของการทำให้เป็นปกติ (การหดตัว) และการทดสอบให้สิ่งล่อใจในการลบตัวแปรซึ่งไม่มีส่วนเกี่ยวข้องกับการลดการ overfitting

— Frank Harrell

@FrankHarrell คุณช่วยอธิบายความคิดเห็นเก่า ๆ ของคุณได้ไหม? ดูเหมือนว่าสำหรับฉันแล้วการลบตัวแปรจะช่วยลดการ overfitting สิ่งอื่น ๆ ทั้งหมดจะเท่าเทียมกันเนื่องจากระดับความอิสระที่มีให้ overfit ลดลง ฉันแน่ใจว่าฉันพลาดอะไรบางอย่างที่นี่

— Lepidopterist

ฉันขอแนะนำว่านี่เป็นปัญหากับวิธีรายงานผลลัพธ์ ที่จะไม่ "เอาชนะ the Bayesian drum" แต่การเข้าใกล้ความไม่แน่นอนของแบบจำลองจากมุมมองของ Bayesian ว่าเป็นปัญหาการอนุมานจะช่วยได้อย่างมากที่นี่ และก็ไม่จำเป็นต้องมีการเปลี่ยนแปลงครั้งใหญ่เช่นกัน หากรายงานนั้นมีความน่าจะเป็นที่แบบจำลองนี้จะเป็นประโยชน์อย่างมาก นี่เป็นปริมาณที่ง่ายต่อการประมาณโดยใช้ BIC โทร BIC สำหรับรุ่นเดือนเมตรจากนั้นความน่าจะเป็นที่โมเดล mth เป็นแบบ "ของจริง" เนื่องจากโมเดลนั้นเหมาะสม (และหนึ่งในโมเดลนั้นเป็นจริง) ให้โดย: $BIC_{m}$ $M$

P (model m is true | one of the M models is true) \approx \frac{w_{m} \exp (- \frac{1}{2} B I C_{m})}{\sum_{j = 1}^{M} w_{j} \exp (- \frac{1}{2} B I C_{j})}

$P(\text{model m is true}|\text{one of the M models is true})\approx\frac{w_{m}\exp\left(-\frac{1}{2}BIC_{m}\right)}{\sum_{j=1}^{M}w_{j}\exp\left(-\frac{1}{2}BIC_{j}\right)}$

= \frac{1}{1 + \sum_{j \neq m}^{M} \frac{w_{j}}{w_{m}} \exp (- \frac{1}{2} (B I C_{j} - B I C_{m}))}

$=\frac{1}{1+\sum_{j\neq m}^{M}\frac{w_{j}}{w_{m}}\exp\left(-\frac{1}{2}(BIC_{j}-BIC_{m})\right)}$

$w_{j}$ $w_{j}=1$

$BIC_{final}<BIC_{j}$ $p$ $d$

M \geq 1 + p + (p - 1) + \dots + (p - d + 1) = 1 + \frac{p (p - 1) - (p - d) (p - d - 1)}{2}

$M\geq 1+p+(p-1)+\dots+(p-d+1)=1+\frac{p(p-1)-(p-d)(p-d-1)}{2}$

M \geq 1 + p + (p - 1) + \dots + (d + 1) = 1 + \frac{p (p - 1) - d (d - 1)}{2}

$M\geq 1+p+(p-1)+\dots+(d+1)=1+\frac{p(p-1)-d(d-1)}{2}$

$M$ $BIC_{j}$ $\lambda$ $BIC_{m}=BIC_{j}-\lambda$

\frac{1}{1 + (M - 1) \exp (- \frac{λ}{2})}

$\frac{1}{1+(M-1)\exp\left(-\frac{\lambda}{2}\right)}$

$\lambda$ $M$ $M$

\frac{1}{1 + \frac{p (p - 1) - d (d - 1)}{2} \exp (- \frac{λ}{2})}

$\frac{1}{1+\frac{p(p-1)-d(d-1)}{2}\exp\left(-\frac{\lambda}{2}\right)}$

$p=50$ $d=20$ $\lambda$ $P_{0}$

λ > - 2 l o g (\frac{2 (1 - P_{0})}{P_{0} [p (p - 1) - d (d - 1)]})

$\lambda > -2 log\left(\frac{2(1-P_{0})}{P_{0}[p(p-1)-d(d-1)]}\right)$

Setting $P_{0}=0.9$ we get $\lambda > 18.28$ - so BIC of the winning model has to win by a lot for the model to be certain.

— probabilityislogic
แหล่งที่มา

+1, this is really clever. Is this published somewhere? Is there an 'official' reference for this?

— gung - Reinstate Monica

@gung - why thank you. Unfortunately, this was a "back of the envelope" answer. I'm sure there's problems with it, if you were to investigate in more detail.

— probabilityislogic