อย่างที่คุณทราบมีการตรวจสอบข้ามแบบนิยมสองประเภท K-fold และการสุ่มตัวอย่างแบบสุ่ม (ดังอธิบายในWikipedia ) อย่างไรก็ตามฉันรู้ว่านักวิจัยบางคนกำลังสร้างและตีพิมพ์เอกสารที่บางสิ่งที่อธิบายไว้ในฐานะ K-fold CV นั้นเป็นตัวอย่างย่อยแบบสุ่มดังนั้นในทางปฏิบัติคุณไม่เคยรู้ว่าจริงๆแล้วคืออะไรในบทความที่คุณกำลังอ่าน
โดยปกติแล้วความแตกต่างนั้นไม่สามารถสังเกตเห็นได้และคำถามของฉันก็เป็นไปได้ไหม - คุณลองนึกถึงตัวอย่างเมื่อผลลัพธ์ของประเภทหนึ่งแตกต่างกันอย่างมีนัยสำคัญหรือไม่
คำตอบ:
คุณสามารถได้รับผลลัพธ์ที่แตกต่างกันอย่างแน่นอนเพราะคุณฝึกฝนในตัวอย่างที่แตกต่างกัน ฉันสงสัยอย่างมากว่ามีอัลกอริทึมหรือโดเมนปัญหาที่ผลลัพธ์ของทั้งสองจะแตกต่างกันในวิธีที่คาดเดาได้
โดยปกติแล้วความแตกต่างนั้นไม่สามารถสังเกตเห็นได้และคำถามของฉันก็เป็นไปได้ไหม - คุณลองนึกถึงตัวอย่างเมื่อผลลัพธ์ของประเภทหนึ่งแตกต่างกันอย่างมีนัยสำคัญหรือไม่
ฉันไม่แน่ใจว่าความแตกต่างทั้งหมดเป็นสิ่งที่สังเกตไม่ได้และเฉพาะในตัวอย่างเฉพาะกิจเท่านั้นที่จะเห็นได้ชัดเจน ทั้งการตรวจสอบความถูกต้องไขว้และวิธีบูตสแตรป (การสุ่มตัวอย่างย่อย) ขึ้นอยู่อย่างยิ่งกับพารามิเตอร์การออกแบบและความเข้าใจนี้ยังไม่เสร็จสมบูรณ์ โดยทั่วไปผลลัพธ์ภายในการตรวจสอบความถูกต้องข้ามของ k-fold ขึ้นอยู่อย่างยิ่งกับจำนวนการพับดังนั้นคุณสามารถคาดหวังผลลัพธ์ที่แตกต่างจากสิ่งที่คุณจะสังเกตเห็นในการสุ่มตัวอย่างย่อยเสมอ
ตรงประเด็น: พูดว่าคุณมีโมเดลเชิงเส้นที่แท้จริงพร้อมพารามิเตอร์จำนวนคงที่ หากคุณใช้การตรวจสอบความถูกต้องข้ามของ k-fold (ด้วยค่าที่กำหนด, k คงที่) และปล่อยให้จำนวนการสังเกตไปที่อนันต์การตรวจสอบความถูกต้องข้ามของ k-fold จะไม่สอดคล้องกันสำหรับการเลือกแบบจำลอง asymptotically ความน่าจะเป็นที่มากกว่า 0 ผลลัพธ์ที่น่าประหลาดใจนี้เกิดขึ้นเนื่องจาก Jun Shao, "การเลือกแบบจำลองเชิงเส้นโดยการตรวจสอบข้าม", วารสารสมาคมสถิติอเมริกัน , 88 , 486-494 (1993) แต่สามารถพบเอกสารเพิ่มเติมในหลอดเลือดดำนี้
โดยทั่วไปเอกสารสถิติที่น่านับถือระบุโปรโตคอลการตรวจสอบข้ามเนื่องจากผลลัพธ์ไม่คงที่ ในกรณีที่พวกเขาเลือกพับจำนวนมากสำหรับชุดข้อมูลขนาดใหญ่พวกเขาพูดและพยายามแก้ไขอคติในการเลือกแบบจำลอง