ความแปรปรวนสูงของการตรวจสอบความถูกต้องแบบลาข้ามครั้งเดียว

ฉันอ่านซ้ำแล้วซ้ำอีกว่าการตรวจสอบความถูกต้องแบบ "ปล่อยให้ออกมาหนึ่งครั้ง" นั้นมีความแปรปรวนสูงเนื่องจากการทับซ้อนขนาดใหญ่ของการฝึกอบรม อย่างไรก็ตามฉันไม่เข้าใจว่าทำไมจึงเป็นเช่นนั้น: ประสิทธิภาพการตรวจสอบข้ามไม่ควรมีเสถียรภาพมาก (ความแปรปรวนต่ำ) เพราะชุดการฝึกอบรมเกือบเหมือนกันหรือไม่ หรือฉันมีความเข้าใจผิดเกี่ยวกับแนวคิดเรื่อง "ความแปรปรวน" โดยสิ้นเชิง?

ฉันยังไม่เข้าใจอย่างชัดเจนว่า LOO สามารถเป็นกลางได้อย่างไร แต่มีความแปรปรวนสูง หากการประมาณค่า LOO เท่ากับค่าตัวประมาณที่แท้จริงในความคาดหมาย - จะมีความแปรปรวนสูงได้อย่างไร

หมายเหตุ: ฉันรู้ว่ามีคำถามที่คล้ายกันที่นี่: เหตุใดความแปรปรวนการตรวจสอบความถูกต้องแบบข้ามครั้งต่อวัน (LOOCV) เกี่ยวกับการประมาณค่าเฉลี่ยสำหรับข้อผิดพลาดสูง อย่างไรก็ตามคนที่ตอบว่าต่อมาในความเห็นว่าแม้ upvotes เขาได้ตระหนักว่าคำตอบของเขาผิด

คำถามนี้อาจจะจบลงด้วยการปิดซ้ำซ้อนของความแปรปรวนและอคติในการตรวจสอบข้าม: ทำไม CV ทิ้งหนึ่งออกมีความแปรปรวนมากขึ้น? แต่ก่อนที่มันจะเกิดขึ้นฉันคิดว่าฉันจะเปลี่ยนความคิดเห็นเป็นคำตอบ

ฉันยังไม่เข้าใจอย่างชัดเจนว่า LOO สามารถเป็นกลางได้อย่างไร แต่มีความแปรปรวนสูง

ลองพิจารณาตัวอย่างง่ายๆ ให้มูลค่าที่แท้จริงของพารามิเตอร์เป็น0.5ประมาณการผลตอบแทนถัวเฉลี่ยที่0.49 , 0.51 $0.5$$0.49,0.51,0.49,0.51...$$0.1,0.9,0.1,0.9...$

ประสิทธิภาพของการตรวจสอบข้ามไม่ควรมีเสถียรภาพมาก (ความแปรปรวนต่ำ) เพราะชุดการฝึกอบรมเกือบเหมือนกันหรือไม่

คุณต้องคิดถึงความแปรปรวนของการรับรู้ที่แตกต่างกันของชุดข้อมูลทั้งหมด สำหรับชุดข้อมูลที่กำหนดการตรวจสอบข้ามแบบครั้งเดียวจะทำให้เกิดแบบจำลองที่คล้ายกันมากสำหรับแต่ละชุดย่อยเนื่องจากชุดการฝึกอบรมกำลังตัดกันมาก (ตามที่คุณสังเกตเห็นอย่างถูกต้อง) แต่โมเดลเหล่านี้ทั้งหมดสามารถอยู่ห่างจากโมเดลจริง ข้ามชุดข้อมูลพวกเขาจะอยู่ห่างออกไปในทิศทางที่แตกต่างกันดังนั้นความแปรปรวนสูง

อย่างน้อยนั่นเป็นวิธีที่ฉันเข้าใจ โปรดดูหัวข้อที่เชื่อมโยงสำหรับการสนทนาเพิ่มเติมและเอกสารอ้างอิงสำหรับการสนทนาเพิ่มเติม

ความแปรปรวนสูงนี้เกี่ยวข้องกับพื้นที่ของชุดการฝึกอบรม นี่คือสาเหตุที่ LOOCV มีความแปรปรวนสูง: ใน LOOCV เราได้รับข้อผิดพลาดในการทำนายสำหรับการสังเกตแต่ละครั้งพูดการสังเกต i โดยใช้ชุดข้อมูลที่สังเกตได้ทั้งหมดในมือยกเว้นการสังเกตนี้ ดังนั้นค่าที่ทำนายไว้สำหรับ i นั้นขึ้นอยู่กับชุดข้อมูลปัจจุบัน ตอนนี้สมมติว่าเราสังเกตชุดข้อมูลอิสระอีกชุดและพอดีกับชุดข้อมูลในชุดข้อมูลใหม่นี้ หากเราใช้โมเดลใหม่นี้เพื่อรับค่าที่คาดการณ์ไว้สำหรับการสังเกต i ค่าที่คาดการณ์อาจแตกต่างจากที่ประเมินโดย LOOCV มาก (แม้ว่าจะถูกต้องโดยเฉลี่ย (ไม่เอนเอียง))

นี่คือสัญชาตญาณที่อยู่เบื้องหลังความแปรปรวนสูงของการทำนายข้อผิดพลาดใน LOOCV

อย่างไรก็ตามหากคุณกำลังใช้ LOOCV เพื่อเปรียบเทียบผลลัพธ์ของโมเดลที่มีพารามิเตอร์หลายแบบแตกต่างกันฉันเชื่อว่าคุณสามารถใช้ LOOCV เพื่อประเมินข้อผิดพลาดในการทำนายได้อย่างปลอดภัยหากค่าที่แท้จริงของข้อผิดพลาดในการทำนายไม่ใช่สิ่งที่คุณสนใจ เปรียบเทียบแบบจำลองต่างๆที่มีชุดฝึกอบรมที่สังเกตและคุณไม่สนใจว่าจะเกิดข้อผิดพลาดจริงที่แท้จริง

ถ้าคุณมีตัวอย่างเล็ก ๆ ให้ใช้ LOOCV มิฉะนั้นให้ใช้ k-fold CV ด้วยค่าที่น้อยกว่าสำหรับ k