ทำไม R Squared จึงไม่ใช่มาตรการที่ดีสำหรับการถดถอยที่เหมาะสมเมื่อใช้ LASSO

ฉันได้อ่านในหลาย ๆ ที่ว่า R Squared ไม่ใช่วิธีที่เหมาะสมที่สุดเมื่อแบบจำลองนั้นเหมาะสมกับ LASSO แต่ฉันไม่ชัดเจนเกี่ยวกับว่าทำไมที่เป็น

นอกจากนี้คุณสามารถแนะนำทางเลือกที่ดีที่สุดได้หรือไม่

— เดฟ
แหล่งที่มา

เป้าหมายของการใช้ LASSO คือการได้ตัวแทนที่กระจัดกระจาย (จากปริมาณที่คาดการณ์ไว้) ในแง่ของการไม่มี covariates การเปรียบเทียบแบบจำลองด้วยมีแนวโน้มที่จะชอบแบบจำลองที่มีจำนวนโควาเรียร์: อันที่จริงการเพิ่มค่าความแปรปรวนร่วมที่ไม่เกี่ยวข้องกับผลลัพธ์จะไม่ลดลงและเกือบจะเพิ่มขึ้นอย่างน้อยครั้งละเล็กน้อย รูปแบบเชือกจะระบุรูปแบบที่เหมาะสมกับการลงโทษล็อกโอกาส (เข้าสู่ระบบน่าจะเป็นเรื่องที่เกี่ยวข้อง unpenalized monotonically กับ ) สถิติการตรวจสอบที่มีการใช้กันอย่างแพร่หลายมากขึ้นในการเปรียบเทียบรูปแบบเชือกกับประเภทอื่น ๆ ของแบบจำลองมีตัวอย่างเช่น BIC หรือข้ามการตรวจสอบ 2 $R^2$ $R^2$ $R^2$ $R^2$

— Adamo
แหล่งที่มา

+1 เพื่อนำเสนอเหตุผลอย่างชัดเจนและให้ทางเลือก

— Haitao Du

ขอบคุณมากสำหรับคำตอบที่ยอดเยี่ยม! คุณจะช่วยอธิบายเพิ่มเติมเกี่ยวกับ "โมเดล LASSO จะระบุรูปแบบที่มีความน่าจะเป็นบันทึกการลงโทษที่ดีที่สุด (ความเป็นไปได้ของการบันทึกที่ไม่ได้ผ่านการพิสูจน์แล้วนั้นเกี่ยวข้องกับความน่าเบื่อหน่ายของ R2)" ฉันใช้ส่วนแรกเพื่อหมายความว่ามันจะเลือกรุ่นที่มีข้อผิดพลาดน้อยที่สุด (ในการทำนายและผ่านการลงโทษ) แต่ฉันไม่ชัดเจนในความหมายของบิตในวงเล็บ นั่นหมายความว่า LL ที่ไม่ผ่านการปรับเทียบนั้นเพิ่มขึ้นเมื่อ R2 ลดลง? และ cross-validated R2 นั้นต้องอยู่ในชุดข้อมูลใหม่ทั้งหมดหรือไม่? หรืออาจเป็นไปตามข้อมูลการฝึกอบรม?

— เดฟ

@Dave ฉันคิดว่าคุณมีความคิดที่ถูกต้อง โมเดลการถดถอยเชิงเส้นคือ LASSO ที่ไม่มีการลงโทษและบันทึกความน่าจะเป็นเพียง ในขณะที่ R2 เป็นเพียง 2การลงโทษมีส่วนทำให้เกิดข้อผิดพลาดทางอ้อมมันเป็นราคาที่คุณจ่ายเพื่อบังคับใช้ความห่างเหิน รุ่นที่ไม่ผ่านการลดขนาดจะมีข้อผิดพลาดต่ำกว่า (ภายใน) เสมอ คนทั่วไปทำการตรวจสอบข้ามกับชุดข้อมูลเดียวกัน รูปแบบการทดสอบในชุดข้อมูลใหม่เป็นอีกสิ่งหนึ่งที่สมบูรณ์ (ไม่จำเป็นต้องมีส่วน "กากบาท") และมันก็ยังไม่เพียงพอ

\log (2 π) N + 1 - \log (N) + \log (\sum_{i = 1}^{n} r_{i}^{2})

$\log(2\pi)N+1−\log(N)+\log(\sum_{i=1}^n r_i^2)$

1 - \sum_{i = 1}^{n} r_{i}^{2} / \sum_{i = 1}^{n} y_{i}^{2}

$1 - \sum_{i=1}^n r_i^2/\sum_{i=1}^ny_i^2$

— AdamO

@AdamO ฉันคิดว่ามันเป็นความคิดที่ดีที่จะแก้ไขความคิดเห็นของคุณเป็นคำตอบของคุณมันดีมาก

— แมทธิวดรูรี่

สวัสดี @ AdamO หนึ่งคำถามสุดท้ายที่ติดตาม ตอนนี้ฉันเข้าใจแล้วว่าเหตุใด R2 ดั้งเดิมจึงเป็นตัววัดที่ไม่ดี แต่ฉันไม่ชัดเจนว่าเพราะเหตุใด R2 ที่ผ่านการตรวจสอบความถูกต้องแบบไขว้ (ภายในชุดข้อมูลเดียวกัน) ไม่เป็นไร

— เดฟ