การตรวจสอบความถูกต้องไขว้ (ข้อผิดพลาดทั่วไป) หลังจากการเลือกรูปแบบ

หมายเหตุ: เคสคือ n >> p

ฉันกำลังอ่านองค์ประกอบของการเรียนรู้ทางสถิติและมีหลายสิ่งที่กล่าวถึงวิธี "ถูกต้อง" ในการตรวจสอบข้าม (เช่นหน้า 60, หน้า 245) โดยเฉพาะคำถามของฉันคือวิธีการประเมินรุ่นสุดท้าย (ไม่มีชุดทดสอบแยก) โดยใช้ k-fold CV หรือ bootstrapping เมื่อมีการค้นหารูปแบบ? ดูเหมือนว่าในกรณีส่วนใหญ่ (อัลกอริทึม ML ที่ไม่มีการเลือกคุณสมบัติแบบฝัง) จะมี

1. ขั้นตอนการเลือกคุณสมบัติ
2. ขั้นตอนการเลือกพารามิเตอร์ meta (เช่นพารามิเตอร์ต้นทุนใน SVM)

คำถามของฉัน:

1. ฉันได้เห็นแล้วว่าขั้นตอนการเลือกคุณสมบัติสามารถทำได้เมื่อการเลือกคุณสมบัติเสร็จสิ้นในชุดฝึกอบรมทั้งหมด จากนั้นใช้ k-fold CV อัลกอริทึมการเลือกคุณลักษณะจะใช้ในแต่ละเท่า (รับคุณลักษณะที่แตกต่างกันซึ่งอาจเลือกได้ในแต่ละครั้ง) และข้อผิดพลาดเฉลี่ย จากนั้นคุณจะใช้คุณสมบัติที่เลือกโดยใช้ข้อมูลทั้งหมด (ที่ถูกตั้งค่าไว้) เพื่อฝึกโหมดสุดท้าย แต่ใช้ข้อผิดพลาดจากการตรวจสอบความถูกต้องของข้อมูลเพื่อประเมินประสิทธิภาพในอนาคตของโมเดล ถูกต้องหรือไม่
2. เมื่อคุณใช้การตรวจสอบความถูกต้องไขว้กันเพื่อเลือกพารามิเตอร์โมเดลแล้วจะประเมินประสิทธิภาพของโมเดลได้อย่างไร? มันเป็นกระบวนการที่เหมือนกันกับ # 1 ข้างต้นหรือคุณควรใช้ CV CV ที่มีลักษณะเหมือนการแสดงบนหน้า 54 ( pdf ) หรืออื่น ๆ
3. เมื่อคุณทำทั้งสองขั้นตอน (การตั้งค่าคุณสมบัติและพารามิเตอร์) ..... แล้วคุณจะทำอย่างไร? ซับซ้อนซ้อนกันลูป?
4. หากคุณมีตัวอย่างการระงับแยกต่างหากข้อกังวลหายไปและคุณสามารถใช้การตรวจสอบความถูกต้องแบบไขว้เพื่อเลือกคุณสมบัติและพารามิเตอร์ (ไม่ต้องกังวลเนื่องจากการประเมินประสิทธิภาพของคุณจะมาจากชุดการระงับ)

สิ่งสำคัญที่ต้องจำคือการตรวจสอบความถูกต้องของ cross-validation เพื่อให้การประเมินประสิทธิภาพที่เป็นกลาง (เกือบ) ทุกขั้นตอนที่เกี่ยวข้องกับการติดตั้งแบบจำลองนั้นต้องดำเนินการอย่างอิสระในแต่ละขั้นตอนของกระบวนการตรวจสอบข้าม สิ่งที่ดีที่สุดที่ต้องทำคือดูการเลือกคุณสมบัติการตั้งค่าพารามิเตอร์เมตา / ไฮเปอร์และการปรับพารามิเตอร์ให้เหมาะสมเป็นส่วนสำคัญของการปรับแบบจำลองและไม่ทำขั้นตอนใดขั้นตอนหนึ่งโดยไม่ทำสองส่วนนี้

อคติเชิงบวกที่สามารถนำมาใช้โดยการออกจากสูตรนั้นอาจมีขนาดใหญ่อย่างน่าประหลาดใจดังที่Cawley และ Talbotแสดงให้เห็นซึ่งความลำเอียงที่แนะนำโดยการจากไปอย่างอ่อนโยนนั้นมีขนาดใหญ่กว่าความแตกต่างของประสิทธิภาพระหว่างตัวแยกประเภทการแข่งขัน โปรโตคอลที่แย่ยิ่งกว่านั้นยังให้การสนับสนุนโมเดลที่ไม่ดีอย่างยิ่งเนื่องจากพวกมันมีความไวต่อการปรับแต่งพารามิเตอร์แบบไฮเปอร์และดังนั้นจึงมีแนวโน้มที่จะปรับเกณฑ์การเลือกรุ่นให้เหมาะสมมากขึ้น!

คำตอบสำหรับคำถามเฉพาะ:

ขั้นตอนในขั้นตอนที่ 1 นั้นถูกต้องเนื่องจากการเลือกคุณสมบัติจะดำเนินการแยกกันในแต่ละครึ่งดังนั้นสิ่งที่คุณกำลังตรวจสอบข้ามคือขั้นตอนทั้งหมดที่ใช้เพื่อให้พอดีกับรุ่นสุดท้าย การประเมินการตรวจสอบความถูกต้องไขว้จะมีอคติเชิงลบเล็กน้อยเนื่องจากชุดข้อมูลสำหรับแต่ละครั้งนั้นมีขนาดเล็กกว่าชุดข้อมูลทั้งหมดที่ใช้สำหรับรุ่นสุดท้ายเล็กน้อย

สำหรับ 2 เนื่องจากการตรวจสอบความถูกต้องไขว้ใช้เพื่อเลือกพารามิเตอร์โมเดลจากนั้นคุณจำเป็นต้องทำซ้ำขั้นตอนนั้นโดยอิสระในแต่ละเท่าของการตรวจสอบความถูกต้องไขว้ที่ใช้สำหรับการประเมินประสิทธิภาพคุณจะจบด้วยการตรวจสอบความถูกต้องแบบซ้อน

สำหรับ 3 เป็นหลักใช่คุณต้องทำการตรวจสอบความถูกต้องแบบซ้อนที่ซ้อนกัน โดยพื้นฐานแล้วคุณจำเป็นต้องทำซ้ำในแต่ละครั้งของการตรวจสอบความถูกต้องไขว้ (ใช้สำหรับการประเมินประสิทธิภาพ) ทุกสิ่งที่คุณตั้งใจจะทำเพื่อให้พอดีกับรุ่นสุดท้าย

สำหรับ 4 - ใช่ถ้าคุณมีชุดโฮลด์เอาต์แยกต่างหากนั่นจะให้การประเมินประสิทธิภาพที่เป็นกลางโดยไม่ต้องใช้การตรวจสอบไขว้กันเพิ่มเติม

ฉันทำการวิเคราะห์ข้ามการตรวจสอบความถูกต้องอย่างละเอียดในชุดข้อมูลที่มีค่าใช้จ่ายหลายล้านที่จะได้รับและไม่มีชุดการตรวจสอบความถูกต้องภายนอก ในกรณีนี้ฉันทำการตรวจสอบข้ามแบบซ้อนเพื่อให้แน่ใจว่ามีความถูกต้อง ฉันเลือกคุณสมบัติและพารามิเตอร์ที่ปรับให้เหมาะสมจากชุดการฝึกอบรมที่เกี่ยวข้องเท่านั้น สิ่งนี้มีราคาแพงสำหรับชุดข้อมูลขนาดใหญ่ แต่สิ่งที่ฉันต้องทำเพื่อรักษาความถูกต้อง อย่างไรก็ตามมีภาวะแทรกซ้อนที่มาพร้อมกับมัน ... ตัวอย่างเช่นคุณสมบัติที่แตกต่างกันจะถูกเลือกในชุดฝึกอบรมแต่ละชุด

ดังนั้นคำตอบของฉันคือในกรณีที่คุณไม่สามารถเข้าถึงชุดข้อมูลภายนอกเป็นไปได้นี่เป็นวิธีที่สมเหตุสมผล เมื่อคุณมีชุดข้อมูลภายนอกคุณสามารถเข้าไปในเมืองได้ค่อนข้างมาก แต่คุณต้องการชุดข้อมูลหลักแล้วทดสอบหนึ่งครั้งในชุดข้อมูลภายนอก