อะไรคือวิธีที่เหมาะสมกว่าในการสร้างชุดการค้างเอาไว้: เพื่อลบบางวิชาหรือเพื่อลบการสังเกตออกจากแต่ละวิชา

ฉันมีชุดข้อมูลที่มี 26 คุณสมบัติและ 31,000 แถว มันเป็นชุดข้อมูลของ 38 วิชา มันเป็นระบบไบโอเมตริกซ์ ดังนั้นฉันต้องการที่จะสามารถระบุวิชา

เพื่อให้มีชุดทดสอบฉันรู้ว่าฉันต้องลบค่าบางอย่าง

แล้วจะทำอย่างไรดีและทำไม

1. (a) รักษา 30 ชุดของชุดฝึกอบรมและลบ 8 ชุดเป็นชุดทดสอบ

2. (b) รักษาอาสาสมัคร 38 คน แต่ลบบางแถวออกจากกัน ในตอนท้ายฉันจะจบด้วยชุดฝึกอบรม: 24800 แถวจาก 38 วิชาและชุดทดสอบ: 6200 แถวจาก 38 วิชา

ฉันคิดว่าคำตอบของ Matthew Gunn นั้นถูกต้อง แต่สำหรับฉันแล้ว CV ที่ "ฉลาด" สามารถครอบคลุมแนวคิดที่แตกต่างกันสองประการ:

1. บันทึกจะถูกแบ่งเป็นส่วนย่อยโดยไม่คำนึงถึงเรื่องหรือเวลา

2. บันทึกจะถูกแบ่งพาร์ติชั่นลงในโฟลด์ตามเวลาโดยไม่ต้องใช้โฟลด์สำหรับการฝึกอบรมที่มีข้อมูลจากหลังการเริ่มต้นของโฟลด์การทดสอบ

ในกรณีแรกลักษณะของข้อมูลของคุณจะถูกทำลายเนื่องจากชุดการฝึกอบรมของคุณสามารถรวมข้อมูลจากทั้งก่อนและหลังชุดทดสอบของคุณ หลักการของการฝึกอบรม / การทดสอบคือข้อมูลการฝึกอบรมแสดงถึงข้อมูลที่รู้จักกันในปัจจุบันและข้อมูลการทดสอบแสดงถึงข้อมูลที่มองไม่เห็น

บางทีความสัมพันธ์ของอนุกรมเวลาอัตโนมัติอาจทำให้ตัวเลือก # 2 ล้มเหลว บางทีองค์ประกอบเวลาของตัวแบบอาจไม่สำคัญและการสังเกต "ในอดีต" และ "ในอนาคต" ก็น่าจะเหมือนกัน ในกรณีเหล่านี้ # 1 หรือ # 2 ไม่ใช่วิธีที่จะไป

หากมีเพียงฤดูกาลและไม่ใช่เทรนด์ดูเหมือนว่าจะเป็นการรวม "อนาคต" ไว้ในการฝึกอบรมสำหรับบางวิชาเพื่อทำนายวิชาใหม่ (ผู้ที่จะได้รับผลกระทบจากฤดูกาลเดียวกัน) หากมีแนวโน้มการฝึกอบรมเกี่ยวกับอนาคตควรเรียนรู้บางสิ่งเกี่ยวกับอนาคตที่คุณไม่รู้จริงๆเมื่อใช้โมเดลในการผลิต

ในตัวอย่างของ OP ดูเหมือนว่าตัวแบบที่ดีนั้นดี แต่หากแนวโน้มและข้อกังวลเกี่ยวกับอนุกรมเวลาเป็นส่วนหนึ่งของแบบจำลองฉันจะพยายามใช้การแบ่งหัวข้อและเวลาเพื่อให้คุณได้ฝึกอบรมเรื่องหนึ่งชุดก่อนที่จะถึงเวลาที่กำหนดให้ทดสอบกับวิชาอื่นหลังจาก จุดเฉพาะในเวลานั้น

สำคัญแตกต่างคือไม่ว่าคุณต้องการที่จะ:

1. [กรณีที่พบบ่อยที่สุด]: สร้างการประมาณประสิทธิภาพของวิชาใหม่ (ดึงมาจากประชากรเดียวกับข้อมูลของคุณ)
2. สร้างการประมาณประสิทธิภาพของการสังเกตใหม่จากวัตถุเดียวกันในตัวอย่างของคุณ

กรณีที่พบบ่อยคือหมายเลขกรณี (1) เช่นคุณคาดคะเนหัวใจวายสำหรับคนที่เข้ามาในห้องฉุกเฉินดีแค่ไหน? และถ้าคุณอยู่ในกรณี (1), คุณเกือบจะแน่นอนควรทำ (ก) เรื่องที่ชาญฉลาดข้ามการตรวจสอบมากกว่า (ข) การบันทึกการตรวจสอบที่ชาญฉลาดข้าม การตรวจสอบความถูกต้องของบันทึกในกรณีที่ (1) มีแนวโน้มที่จะนำไปสู่การประเมินผลการปฏิบัติงานที่ไม่ถูกต้องเกี่ยวกับวิชาใหม่

ฉันไม่เข้าใจสิ่งที่คุณกำลังพยายามทำอย่างแน่นอน (และอาจเป็นการศึกษาด้วยตนเองดังนั้นคำถามจึงไม่เป็นจริงทั้งหมด) ฉันไม่ทราบว่าคุณอยู่ในกรณีใดหากคุณอยู่ในกรณีที่พบได้น้อยกว่ามาก (2) การตรวจสอบความถูกต้องที่บันทึกได้อาจเป็นไปได้

ชุดรูปแบบทั่วไปในสถิติคือการคิดอย่างรอบคอบเกี่ยวกับสิ่งที่เป็นอิสระและสิ่งที่มีความสัมพันธ์ โดยทั่วไปแล้วการสังเกตอย่างอิสระมีแนวโน้มที่จะเป็นวิชาที่แตกต่าง หากคุณต้องการทำนายประสิทธิภาพของวิชาใหม่คุณต้องทดสอบวิชาที่ไม่ได้ฝึกฝน!

ทำไมการตรวจสอบข้ามเรื่องที่ชาญฉลาดมากกว่าการบันทึกที่ชาญฉลาด?

ในการตั้งค่าทั่วไปการสังเกตซ้ำ ๆ ของบุคคลเดียวกันนั้นมีความสัมพันธ์ซึ่งกันและกันแม้หลังจากการปรับคุณสมบัติแล้ว ดังนั้นด้วยการตรวจสอบความถูกต้องตามกฏหมายชุดทดสอบของคุณจึงไม่เป็นอิสระจากชุดฝึกอบรมของคุณ! ในกรณีที่มีความสัมพันธ์ที่สมบูรณ์แบบคุณจะมีข้อสังเกตเดียวกันในชุดฝึกอบรมและชุดทดสอบ! คุณต้องการฝึกชุดทดสอบ! ประสิทธิภาพที่วัดได้จากการตรวจสอบข้ามจะไม่สามารถคาดการณ์ประสิทธิภาพในวิชาใหม่ได้

ตัวอย่างเช่นบทความล่าสุดนี้เรียกการตรวจสอบข้ามการบันทึกอย่างชาญฉลาด `` การเรียนรู้ของเครื่องวูดู '

จะทำอย่างไรกับวิชาไม่กี่แม้ว่า ...

บางทีผู้แสดงความคิดเห็นบางคนอาจเคยมีประสบการณ์ในการตรวจสอบไขว้มากกว่าที่ฉันจะพูดสอด แต่สำหรับฉันแล้วดูเหมือนว่าผู้สมัครที่เป็นไปได้สำหรับ (หรือที่รู้จักกันว่า$k=n$

หากต้องการเพิ่มข้อมูลสำหรับการฝึกอบรมให้มากที่สุดสิ่งที่คุณสามารถทำได้คือปล่อยให้เรื่องหนึ่งเรื่องสำหรับการตรวจสอบข้าม ทำซ้ำแต่ละครั้งทดสอบในหัวเรื่องที่แตกต่างกันออกไปและฝึกอบรมเรื่องอื่น ๆ ทั้งหมด

หากวิชาทั้งหมดแตกต่างกันมากคุณอาจมีค่าใกล้เคียงกับและอาจต้องการเพิ่มวิชาอิสระจำนวนมากในชุดฝึกอบรม$n = 38$

มันขึ้นอยู่กับว่าคุณมองเห็นการตั้งค่าที่คุณต้องการเลียนแบบด้วยตัวแยกรถไฟ / การทดสอบ ในการทำสิ่งที่เป็นรูปธรรมให้พูดว่าแต่ละแถวอธิบายถึงคุณภาพการนอนหลับของตัวแบบในคืนเดียว

1. เป็นไปได้ว่าในอนาคตแต่ละวิชาจะเข้ามาในห้องทดลองการนอนหลับและให้คุณภาพการนอนหลับไม่กี่คืน ต่อไปนี้ที่คุณจะต้องคาดการณ์ในอนาคตคุณภาพการนอนหลับคืนสำหรับวิชาเหล่านี้ ในกรณีนี้คุณจะใช้ตัวเลือกของคุณ b) ในsklearnคุณสามารถใช้sklearn.model_selection.StratifiedShuffleSplit

2. เป็นไปได้ว่าในอนาคตอาสาสมัครบางคนจะเข้ามาในห้องทดลองการนอนหลับและให้คุณภาพการนอนหลับไม่กี่คืน ต่อไปนี้ที่คุณจะ ned ในการทำนายอนาคตคุณภาพการนอนหลับคืนสำหรับวิชาอื่น ๆ ในกรณีนี้คุณจะใช้ตัวเลือกของคุณ ในsklearnคุณสามารถใช้sklearn.cross_validation.LeavePLabelOut

ในการพูดสอดฉันคิดว่าแอปพลิเคชั่นนี้คือการทำนายวิชาที่ไม่รู้จัก ซึ่งหมายความว่า (ไม่ว่าคุณจะมีอนุกรมเวลาหรือการวัดซ้ำแบบไม่เรียงลำดับโดยเนื้อแท้) ว่าการแยกต้องดำเนินการเพื่อให้วัตถุที่ไม่รู้จักถูกทดสอบ => การแยก a)

เมื่อพิจารณาว่าคุณมีเพียง 38 วิชาคุณควรนำความคิดไปใช้ในการตรวจสอบความถูกต้องอีกครั้ง จากประสบการณ์ของฉันที่ทำงานกับกลุ่มตัวอย่างขนาดเล็ก (แม้ว่าจะมีฟีเจอร์มากกว่า) ต่อไปนี้เป็นคำแนะนำสั้น ๆ :

• ใช้การตรวจสอบข้ามการตรวจสอบข้ามซ้ำ พวกเขาอนุญาตให้ประเมินความเสถียรของแบบจำลองของคุณซึ่งมีความสำคัญในปัญหาขนาดตัวอย่างเล็ก ๆ ผลลัพธ์ยังสามารถใช้สำหรับโมเดลที่รวมในกรณีที่ความไม่เสถียรเป็นปัญหา

• อย่าได้ทำลาหนึ่งในเรื่องออก มันไม่อนุญาตให้วัดความมั่นคงของแบบจำลองหรือลด นอกจากนี้ยังมีสถานการณ์ที่มีอคติในแง่ร้ายขนาดใหญ่เนื่องจากมีขนาดตัวอย่างเล็ก ๆ (เมื่อเทียบกับอคติน้อยในแง่ร้ายที่คาดหวัง)

• หากคุณใช้ตัวเลขการจำแนกประเภททั่วไปของบุญเช่นความถูกต้องความไวความจำเพาะ ฯลฯ และงานคือการจัดหมวดหมู่อย่างถูกต้อง: ระวังว่าปัญหาที่สำคัญคือการวัดประสิทธิภาพเนื่องจากความไม่แน่นอนของผลการทดสอบขึ้นอยู่กับจำนวนที่แน่นอน ของกรณีทดสอบ ยกตัวอย่างเช่นการสังเกตการคาดการณ์ที่ถูกต้อง 17 ครั้งจาก 17 วิชาที่เป็นบวกอย่างแท้จริงนั้นสอดคล้องกับช่วงความเชื่อมั่น 95% สำหรับความอ่อนไหวตั้งแต่ประมาณ 80% ถึง 100%
  กล่าวอีกนัยหนึ่งคุณจะไม่สามารถเพิ่มประสิทธิภาพโมเดลที่ขับเคลื่อนด้วยข้อมูลตามนั้น

• นอกจากนี้ยังหมายความว่าคุณไม่จำเป็นต้องตั้งค่าการแยกแบบสามชุด (การตรวจสอบความถูกต้องแบบข้ามซ้อนกัน) เนื่องจากคุณต้องเสียทรัพยากรในการเปรียบเทียบที่ไม่มีความหมายทางสถิติที่นี่ - การเพิ่มประสิทธิภาพของคุณเกือบจะรับประกันแล้วว่าล้มเหลว อย่าตรวจสอบความเสถียร)

• การคำนวณเดียวกันสำหรับช่วงความเชื่อมั่นทวินามสำหรับวิชา 5/3 การทดสอบ / การเพิ่มประสิทธิภาพ / การตรวจสอบความถูกต้องให้ผลตอบแทน 95% ci สำหรับการแก้ไขที่ถูกต้องทั้งหมดจนถึง 50% (30%) ดังนั้นจากผลการทดสอบที่สมบูรณ์แบบ 50 เดา!

เอกสารบางอย่างที่เราเขียนเกี่ยวกับวิชาเหล่านี้:

• Beleites, C.; Baumgartner, R.; โบว์แมน, ค.; Somorjai, R.; สทิ, กรัม; Salzer, R. & Sowa, การลดความแปรปรวนของ MG ในการประมาณค่าการจำแนกประเภทโดยใช้ชุดข้อมูลแบบเบาบาง, Chemom Intell Lab Syst, 79, 91 - 100 (2005)

• Beleites, C. & Salzer, R .: การประเมินและปรับปรุงเสถียรภาพของแบบจำลองทางเคมีในสถานการณ์ขนาดตัวอย่างขนาดเล็ก Anal Bioanal Chem, 390, 1261-1271 (2008) DOI: 10.1007 / s00216-007-1818-6

• Beleites, C. และ Neugebauer, U. และ Bocklitz, T. และ Krafft, C. และ Popp, J: การวางแผนขนาดตัวอย่างสำหรับแบบจำลองการจำแนกประเภท Anal Chim Acta, 2013, 760, 25-33 DOI: 10.1016 / j.aca.2012.11.007
  ต้นฉบับที่ยอมรับใน arXiv: 1211.1323