การตรวจสอบความถูกต้องของการลาออกใช้งานไม่ได้อย่างไร วิธีการเลือกรุ่นสุดท้ายจากรุ่นที่แตกต่างกันอย่างไร

ฉันมีข้อมูลบางส่วนและฉันต้องการสร้างแบบจำลอง (พูดแบบจำลองการถดถอยเชิงเส้น) จากข้อมูลนี้ ในขั้นตอนถัดไปฉันต้องการใช้การตรวจสอบความถูกต้องแบบข้ามใบ (LOOCV) กับโมเดลเพื่อดูว่ามันทำงานได้ดีเพียงใด

ถ้าฉันเข้าใจ LOOCV ถูกต้องฉันจะสร้างแบบจำลองใหม่สำหรับตัวอย่างแต่ละชุด (ชุดทดสอบ) โดยใช้ทุกตัวอย่างยกเว้นตัวอย่างนี้ (ชุดฝึกอบรม) แล้วฉันจะใช้รูปแบบในการทำนายชุดทดสอบและคำนวณข้อผิดพลาด{จริง}) $(\text{predicted} - \text{actual})$

ในขั้นตอนต่อไปฉันรวมข้อผิดพลาดทั้งหมดที่สร้างขึ้นโดยใช้ฟังก์ชั่นที่เลือกตัวอย่างเช่นหมายถึงข้อผิดพลาดกำลังสอง ฉันสามารถใช้ค่าเหล่านี้เพื่อตัดสินคุณภาพ (หรือความเหมาะสมของแบบ) ของโมเดล

คำถาม:แบบจำลองใดเป็นแบบจำลองคุณภาพค่าเหล่านี้ใช้สำหรับแบบใดฉันควรเลือกแบบใดหากฉันพบว่าตัวชี้วัดที่สร้างจาก LOOCV เหมาะสมกับกรณีของฉัน LOOCV ดูที่รุ่นที่แตกต่างกัน (โดยที่คือขนาดตัวอย่าง); ฉันควรเลือกรุ่นใด $n$ $n$

มันเป็นรุ่นที่ใช้ตัวอย่างทั้งหมดหรือไม่ แบบจำลองนี้ไม่เคยคำนวณในระหว่างกระบวนการ LOOCV!
เป็นรุ่นที่มีข้อผิดพลาดน้อยที่สุดหรือไม่

cross-validation

— theomega
แหล่งที่มา

ที่เกี่ยวข้อง: stats.stackexchange.com/questions/11602

— อะมีบาพูดว่า Reinstate Monica

เป็นการดีที่สุดที่จะคิดว่าการตรวจสอบความถูกต้องไขว้เป็นวิธีการประเมินประสิทธิภาพการวางนัยทั่วไปของแบบจำลองที่สร้างขึ้นโดยกระบวนการเฉพาะแทนที่จะเป็นแบบจำลองเอง ลาหนึ่งออกตรวจสอบข้ามเป็นหลักประมาณการผลการดำเนินงานทั่วไปของรูปแบบการฝึกอบรมในตัวอย่างของข้อมูลซึ่งโดยทั่วไปการประมาณการในแง่ร้ายเล็กน้อยของประสิทธิภาพการทำงานของรูปแบบการฝึกอบรมเกี่ยวกับตัวอย่าง $n-1$ $n$

แทนที่จะเลือกแบบหนึ่งสิ่งที่ต้องทำคือการปรับแบบจำลองให้สอดคล้องกับข้อมูลทั้งหมดและใช้ LOO-CV เพื่อประเมินประสิทธิภาพการทำงานของแบบจำลองนั้นเล็กน้อย

อย่างไรก็ตามโปรดทราบว่า LOOCV มีความแปรปรวนสูง (ค่าที่คุณจะได้รับจะแตกต่างกันมากหากคุณใช้ตัวอย่างสุ่มของข้อมูลที่แตกต่างกัน) ซึ่งมักจะเป็นตัวเลือกที่ไม่ดีสำหรับการประเมินประสิทธิภาพแม้ว่ามันจะไม่เอนเอียง ฉันใช้มันตลอดเวลาสำหรับการเลือกรูปแบบ แต่จริงๆแล้วเพราะราคาถูกเท่านั้น (เกือบฟรีสำหรับรุ่นเคอร์เนลที่ฉันทำงานอยู่)

— Dikran Marsupial
แหล่งที่มา

ขอบคุณสำหรับคำตอบ. ประโยคนี้ไม่ใช่ "ใช้ LOO-CV เพื่อให้การประเมินประสิทธิภาพของรุ่นนั้นค่อนข้างระมัดระวังเล็กน้อย" กรณีทั่วไปเป็นอย่างไร แบบจำลองอาจแย่ลงถ้าฉันเพิ่มจุดอื่นในกรณีนั้น LOO-CV อาจเป็น การประเมินในแง่ดี

— theomega

ยิ่งคุณใช้ข้อมูลในการสร้างแบบจำลองมากเท่าไหร่ก็ยิ่งมีแนวโน้มที่รูปแบบจะดีขึ้นเท่านั้น ในขณะที่จุดเพิ่มเติมอาจทำให้โมเดลแย่ลงเล็กน้อย แต่มีแนวโน้มว่าจะทำให้โมเดลดีขึ้นเล็กน้อย ดังนั้นโดยทั่วไปแล้ว loocv มีอคติเชิงลบเล็กน้อย แต่มันมีเพียงเล็กน้อยมากความแปรปรวนของตัวประมาณ LOOCV มักเป็นการพิจารณาที่ไกลกว่า

— Dikran Marsupial

สิ่งที่คุณควรใช้สำหรับการประเมินผลการปฏิบัติงานแล้ว? (สมมติว่าการรวบรวมข้อมูลมีราคาแพงดังนั้นคุณจึงต้องการใช้ข้อมูลที่มีทั้งหมดให้พอดีกับรุ่น)

— แทรกบ๊อบ

Bootstrap อาจ โมเดลส่วนใหญ่ที่ฉันใช้มีพารามิเตอร์การทำให้เป็นมาตรฐานเป็นต้นซึ่งจำเป็นต้องปรับจูนดังนั้นฉันมักจะใช้ LOOCV เพื่อปรับแต่งโมเดลและ bootstrap หรือกดค้างไว้ซ้ำ ๆ เพื่อการประเมินประสิทธิภาพ

— Dikran Marsupial

@DikranMarsupial คุณแน่ใจเกี่ยวกับข้อเท็จจริงที่ว่า CV แบบปล่อยให้ One-Out มีอคติในแง่ร้ายหรือไม่? เท่าที่ฉันรู้มันมักจะให้การประเมินข้อผิดพลาดต่ำกว่า K-Fold เช่น นอกจากนี้ LOOCV ไม่มีความแปรปรวน 0 หรือไม่ คุณสามารถทำ LOOCV เพียงครั้งเดียวจากนั้น "คุณหมดตัวอย่าง" ความแปรปรวนเดียวที่ฉันนึกได้คือสิ่งที่ผลิตโดยอัลกอริธึมการฝึกอบรมที่ใช้เพื่อให้พอดีกับแบบ แต่นี่ควรเป็นความแปรปรวนที่เชื่อมโยงกับความแปรปรวนของพารามิเตอร์ที่ดีที่สุดไม่ใช่ด้วยความผิดพลาดของตัวแบบ ขอขอบคุณ.

— D1X