การตรวจสอบความถูกต้องไขว้ 10 เท่าเทียบกับการตรวจสอบความถูกต้องข้ามแบบครั้งเดียว

ฉันกำลังทำการตรวจสอบข้ามแบบซ้อนกัน ฉันได้อ่านแล้วว่าการตรวจสอบไขว้แบบลาออกหนึ่งครั้งสามารถมีอคติได้ (จำไม่ได้ว่าทำไม)

จะเป็นการดีกว่าหรือไม่ที่จะใช้การตรวจสอบความถูกต้องไขว้ 10 เท่าหรือการตรวจสอบความถูกต้องแบบ cross-one-out นอกเหนือจากการรันไทม์ที่นานขึ้นสำหรับการตรวจสอบความถูกต้องแบบ cross-one-out?

เพียงเพิ่มเล็กน้อยเพื่อคำตอบของ @SubravetiSuraj (+1)

การตรวจสอบความถูกต้องไขว้ทำให้การประเมินประสิทธิภาพแบบลำเอียงในแง่ร้ายเพราะแบบจำลองทางสถิติส่วนใหญ่จะปรับปรุงให้ดีขึ้นถ้าชุดการฝึกอบรมมีขนาดใหญ่ขึ้น ซึ่งหมายความว่าการตรวจสอบความถูกต้องไขว้กันของ k-fold จะประเมินประสิทธิภาพของโมเดลที่ได้รับการฝึกอบรมบนชุดข้อมูล 100 * (k-1) / k% ของข้อมูลที่มีอยู่แทนที่จะเป็น 100% ดังนั้นหากคุณทำการตรวจสอบความถูกต้องของข้อมูลเพื่อประเมินประสิทธิภาพแล้วใช้แบบจำลองที่ผ่านการฝึกอบรมเกี่ยวกับข้อมูลทั้งหมดสำหรับการใช้งานในทางปฏิบัติมันจะทำงานได้ดีกว่าที่คาดการณ์ไว้เพียงเล็กน้อย

การตรวจสอบความถูกต้องแบบไม่ต้องรอคอยแบบลาทิ้งนั้นมีความเป็นกลางเนื่องจากความแตกต่างของขนาดระหว่างชุดการฝึกอบรมที่ใช้ในแต่ละครั้งและชุดข้อมูลทั้งหมดเป็นเพียงรูปแบบเดียว มีบทความเกี่ยวกับเรื่องนี้โดย Luntz และ Brailovsky (ภาษารัสเซีย)

Luntz, Aleksandr และ Viktor Brailovsky "การประมาณค่าตัวอักษรที่ได้รับในขั้นตอนการรับรู้ทางสถิติ" Technicheskaya Kibernetica 3.6 (1969): 6-12

ดูสิ่งนี้ด้วย

การประมาณอัตราความผิดพลาดในการวิเคราะห์จำแนกโดย Peter A. Lachenbruch และ M. Ray Mickey Technometrics Vol. 10 ปัญหา 1,1968

อย่างไรก็ตามในขณะที่การตรวจสอบความถูกต้องแบบไม่ต้องลาออกจากการออกหนึ่งครั้งจะมีความเอนเอียงโดยประมาณ แต่ก็มีความแปรปรวนสูง (ดังนั้นคุณจะได้รับการประเมินที่แตกต่างกันมาก เนื่องจากข้อผิดพลาดของตัวประมาณนั้นเป็นการรวมกันของความเอนเอียงและความแปรปรวนไม่ว่าการตรวจสอบความถูกต้องแบบข้ามครั้งเดียวจะดีกว่าการตรวจสอบความถูกต้องแบบ 10 เท่าขึ้นอยู่กับปริมาณทั้งสอง

ตอนนี้ความแปรปรวนในการปรับตัวแบบมีแนวโน้มที่จะสูงขึ้นถ้ามันถูกติดตั้งกับชุดข้อมูลขนาดเล็ก (เนื่องจากมีความไวต่อสิ่งรบกวนทางเสียง / การสุ่มตัวอย่างในตัวอย่างการฝึกอบรมที่ใช้) ซึ่งหมายความว่าการตรวจสอบความถูกต้องไขว้ 10 เท่ามีแนวโน้มที่จะมีความแปรปรวนสูง (เช่นเดียวกับความลำเอียงที่สูงขึ้น) หากคุณมีข้อมูลจำนวน จำกัด เท่านั้นเนื่องจากขนาดของชุดการฝึกอบรมจะมีขนาดเล็กกว่า LOOCV การตรวจสอบความถูกต้องข้ามของ k-fold สามารถมีปัญหาความแปรปรวนได้เช่นกัน แต่ด้วยเหตุผลอื่น นี่คือเหตุผลที่ LOOCV มักจะดีกว่าเมื่อขนาดของชุดข้อมูลมีขนาดเล็ก

อย่างไรก็ตามเหตุผลหลักสำหรับการใช้ LOOCV ในความคิดของฉันคือมันไม่แพงสำหรับบางรุ่น (เช่นการถดถอยเชิงเส้นวิธีเคอร์เนลส่วนใหญ่ลักษณนามเพื่อนบ้าน - เพื่อนบ้านที่ใกล้ที่สุด ฯลฯ ) และถ้าชุดข้อมูลมีขนาดเล็กมากฉันจะใช้ การตรวจสอบความถูกต้องข้าม 10 เท่าหากเหมาะสมกับงบประมาณการคำนวณของฉันหรือยังดีกว่าการประมาณค่า bootstrap และการบรรจุถุง

ในความคิดของฉันออกจากการตรวจสอบข้ามหนึ่งจะดีกว่าเมื่อคุณมีชุดข้อมูลการฝึกอบรมขนาดเล็ก ในกรณีนี้คุณไม่สามารถสร้าง 10 เท่าเพื่อคาดการณ์เกี่ยวกับการใช้ข้อมูลที่เหลือในการฝึกอบรมโมเดลได้

หากคุณมีข้อมูลการฝึกอบรมจำนวนมากในทางกลับกันการตรวจสอบความถูกต้องไขว้ 10 เท่าจะเป็นการเดิมพันที่ดีกว่าเนื่องจากจะมีการทำซ้ำหลายครั้งมากเกินไปที่จะทำการตรวจสอบข้ามครั้งเดียวและพิจารณาผลลัพธ์มากมายเพื่อปรับพารามิเตอร์ของคุณ ไม่ใช่ความคิดที่ดี

ตาม ISL มีการแลกเปลี่ยนความแปรปรวนอคติระหว่างทำการออกจากหนึ่งไปสู่การตรวจสอบ k fold cross ใน LOOCV (ปล่อยให้ CV หนึ่งครั้ง) คุณได้รับการประเมินข้อผิดพลาดการทดสอบที่มีอคติต่ำกว่าและความแปรปรวนที่สูงขึ้นเนื่องจากชุดการฝึกอบรมแต่ละชุดมีตัวอย่าง n-1 ซึ่งหมายความว่าคุณกำลังใช้ชุดการฝึกอบรมเกือบทั้งหมดในแต่ละรอบ สิ่งนี้นำไปสู่ความแปรปรวนที่สูงขึ้นเช่นกันเนื่องจากมีการทับซ้อนกันมากระหว่างชุดการฝึกอบรมและทำให้การประเมินข้อผิดพลาดการทดสอบมีความสัมพันธ์สูงซึ่งหมายความว่าค่าเฉลี่ยของการประเมินข้อผิดพลาดการทดสอบจะมีความแปรปรวนสูงขึ้น

ตรงกันข้ามเป็นจริงกับ k-fold CV เนื่องจากมีการเหลื่อมซ้อนกันค่อนข้างน้อยระหว่างชุดการฝึกดังนั้นการประเมินข้อผิดพลาดการทดสอบจึงมีความสัมพันธ์น้อยกว่าเนื่องจากผลลัพธ์ที่ค่าความผิดพลาดการทดสอบเฉลี่ยจะไม่แปรปรวนเท่า LOOCV