การรายงานความแปรปรวนของการตรวจสอบความถูกต้องข้ามของ k-fold ซ้ำ ๆ

ฉันใช้การตรวจสอบไขว้ซ้ำแบบ k-fold ซ้ำแล้วซ้ำอีกและรายงานค่าเฉลี่ย (ของการวัดการประเมินผลเช่นความไวความจำเพาะ) ที่คำนวณเป็นค่าเฉลี่ยขนาดใหญ่ข้ามการตรวจสอบไขว้ต่างกัน

อย่างไรก็ตามฉันไม่แน่ใจว่าฉันควรรายงานความแปรปรวนอย่างไร ฉันพบคำถามมากมายที่นี่เกี่ยวกับการตรวจสอบความถูกต้องไขว้ซ้ำแล้วซ้ำอีกอย่างไรก็ตามไม่มีใครรู้ว่าฉันตอบคำถามความแปรปรวนอย่างชัดเจนในการทดสอบการตรวจสอบข้ามซ้ำ

ฉันเข้าใจว่าความแปรปรวนทั้งหมดเกิดจาก: 1) ความไม่เสถียรของรุ่นและ 2) ขนาดตัวอย่างที่ จำกัด

ดูเหมือนว่ามีวิธีการที่แตกต่างกัน 4 วิธีในการคำนวณความแปรปรวนสำหรับการตรวจสอบความถูกต้องข้าม k-fold ซ้ำ:

1) ความแปรปรวนของตัวชี้วัดประสิทธิภาพโดยเฉลี่ยที่ประมาณไว้ (เช่นความแม่นยำ) ในการดำเนินการตรวจสอบความถูกต้องข้ามนั้นเป็นค่าประมาณความแปรปรวนที่ถูกต้องหรือไม่

2) ความแปรปรวนร่วมกันโดยการรวมผลต่างเฉพาะการใช้งาน (ซึ่งคำนวณจากการทดสอบการตรวจสอบข้ามแบบครอสที่แตกต่างกัน)

3) การต่อผลลัพธ์ที่ได้จากการจำแนกข้ามที่แตกต่างกันของการตรวจสอบความถูกต้องข้ามในเวกเตอร์ขนาดใหญ่ ตัวอย่างเช่นถ้าจำนวนข้อมูลการทดสอบในแต่ละเท่าคือ 10 และฉันมี CV 10 เท่าผลเวกเตอร์สำหรับการทำซ้ำจะมีขนาด 100 ตอนนี้ถ้าฉันทำซ้ำการทดสอบการตรวจสอบข้าม 10 ครั้งฉันจะ มี 10 เวกเตอร์ขนาด 100 ซึ่งแต่ละอันมีผลการจำแนกประเภทจากการวิ่ง CV 10 เท่า ตอนนี้ฉันจะคำนวณค่าเฉลี่ยและความแปรปรวนเป็นกรณีของ CV ทำงานครั้งเดียว

4) ฉันได้อ่านด้วย (สมการ 2 และ 3 ใน1 ) ว่าความแปรปรวนคือผลรวมของความแปรปรวนภายนอกและความแปรปรวนภายในที่คาดหวัง หากฉันเข้าใจอย่างถูกต้องความแปรปรวนภายนอกคือความแปรปรวนของการแสดงเฉลี่ยซ้ำซ้อนและความแปรปรวนภายในคือความแปรปรวนข้ามการตรวจสอบข้ามแบบต่างๆ

ฉันขอขอบคุณอย่างมากสำหรับความช่วยเหลือและคำแนะนำของคุณเกี่ยวกับความแปรปรวนที่จะเป็นสิ่งที่เหมาะสมในการรายงานสำหรับการทดสอบการตรวจสอบข้ามซ้ำ

ขอบคุณ

1 และ 3 ดูเหมือนว่าฉันไม่ถูกต้องเนื่องจากพวกเขาไม่ได้คำนึงถึงการพึ่งพาระหว่างการทำซ้ำหลายครั้ง กล่าวอีกนัยหนึ่งการวิ่ง k-fold ซ้ำ ๆ จะคล้ายกันมากกว่าการทำซ้ำจริง ๆ ของการทดสอบด้วยข้อมูลที่เป็นอิสระ

2 ไม่ได้คำนึงถึงการพึ่งพาระหว่างสองเท่าในระยะเดียวกัน

ฉันไม่รู้เกี่ยวกับ 4

การอ้างอิงที่อาจเป็นไปได้ที่เกี่ยวข้อง (และท้อใจ) คือBengio & Grandvalet, 2004, "ไม่มีการประมาณค่าความแปรปรวนของการตรวจสอบข้ามแบบ K-Fold โดยไม่มีอคติ"