จะเลือกการฝึกอบรมการตรวจสอบข้ามและขนาดชุดการทดสอบสำหรับข้อมูลตัวอย่างขนาดเล็กได้อย่างไร

สมมติว่าฉันมีตัวอย่างขนาดเล็กเช่น N = 100 และสองชั้น ฉันจะเลือกการฝึกอบรมการตรวจสอบข้ามและขนาดชุดการทดสอบสำหรับการเรียนรู้ของเครื่องได้อย่างไร

ฉันจะเลือกอย่างสังหรณ์ใจ

• ขนาดชุดฝึกอบรมเท่ากับ 50
• ขนาดชุดการตรวจสอบความถูกต้องแบบไขว้และ
• ขนาดทดสอบ 25

แต่อาจทำให้รู้สึกมากหรือน้อย ฉันจะตัดสินใจค่าเหล่านี้ได้อย่างไร ฉันขอลองตัวเลือกที่แตกต่างกัน (แม้ว่าฉันเดาว่ามันจะไม่เป็นที่นิยม ... เพิ่มความเป็นไปได้ในการเรียนรู้มากกว่า)?

ถ้าฉันมีมากกว่าสองคลาส

• คุณพบคำถามที่คล้ายกันมากอย่างแน่นอน: การเลือก K ในการตรวจสอบข้าม K-fold ?
  (รวมลิงก์ไปยังงานของ Ron Kohavi)

• หากขนาดตัวอย่างของคุณมีขนาดเล็กฉันขอแนะนำให้หลีกเลี่ยงการเพิ่มประสิทธิภาพข้อมูล ให้ จำกัด ตัวเองไว้ที่รุ่นที่คุณสามารถแก้ไขพารามิเตอร์หลายมิติด้วยความรู้เกี่ยวกับรูปแบบและแอปพลิเคชัน / ข้อมูล สิ่งนี้ทำให้การตรวจสอบ / การทดสอบระดับใดระดับหนึ่งไม่มีความจำเป็นทำให้เหลืออีกไม่กี่กรณีของคุณสำหรับการฝึกอบรมโมเดลตัวแทนในการตรวจสอบไขว้ที่เหลือ
  IMHO คุณไม่สามารถซื้อแบบจำลองที่มีขนาดตัวอย่างได้ และแน่นอนคุณไม่สามารถทำการเปรียบเทียบแบบจำลองที่มีความหมายใด ๆ (แน่นอนว่าไม่เว้นแต่คุณจะใช้กฎการให้คะแนนที่เหมาะสมและเทคนิคการวิเคราะห์แบบจับคู่)
  การตัดสินใจครั้งนี้มีความสำคัญมากกว่าตัวเลือกที่แม่นยำของ (เช่น 5 เท่าและ 10 เท่า) - ด้วยข้อยกเว้นที่สำคัญที่ปล่อยออกไปหนึ่งอันไม่ใช่$k$ แนะนำโดยทั่วไป

• น่าสนใจด้วยปัญหาการจำแนกขนาดตัวอย่างเล็ก ๆ เหล่านี้การตรวจสอบมักจะยากขึ้น (ในแง่ของขนาดตัวอย่างที่ต้องการ) เมื่อเทียบกับการฝึกอบรมของแบบจำลองที่เหมาะสม หากคุณต้องการวรรณกรรมใด ๆ เกี่ยวกับเรื่องนี้ดูตัวอย่างกระดาษของเราในการวางแผนขนาดตัวอย่าง:
  Beleites, C. และ Neugebauer, U. และ Bocklitz, T. และ Krafft, C. และ Popp, J: การวางแผนขนาดตัวอย่างสำหรับแบบจำลองการจำแนกประเภท Anal Chim Acta, 2013, 760, 25-33
  DOI: 10.1016 / j.aca.2012.11.007
  ต้นฉบับที่ยอมรับใน arXiv: 1211.1323

• อีกจุดสำคัญคือการใช้ประโยชน์จากความเป็นไปได้ที่จะย้ำ / ทำซ้ำการตรวจสอบข้าม (ซึ่งเป็นหนึ่งในเหตุผลกับ LOO): สิ่งนี้ช่วยให้คุณสามารถวัดความมั่นคงของการทำนายกับการก่อกวน (เช่นบางกรณี) ข้อมูล.

  วรรณกรรม:

  • Beleites, C. & Salzer, R .: การประเมินและปรับปรุงความเสถียรของแบบจำลองทางเคมีในสถานการณ์ขนาดตัวอย่างขนาดเล็ก Anal Bioanal Chem, 2008, 390, 1261-1271
    DOI: 10.1007 / s00216-007-1818-6
  • ดิกซัน, SJ; Heinrich, N.; Holmboe, M. ; Schaefer, ML; กก RR; Trevejo, J. & Brereton, RG: การประยุกต์ใช้วิธีการจำแนกประเภทเมื่อขนาดของกลุ่มไม่เท่ากันโดยการรวมกลุ่มของความน่าจะเป็นก่อนหน้านี้เข้ากับวิธีการทั่วไปสามวิธี: การประยุกต์ใช้กับแบบจำลองและการใช้ยาเคมีบำบัด
    DOI: 10.1016 / j.chemolab.2009.07.016

• หากคุณตัดสินใจว่าจะรันชุดทดสอบค้างไว้ (ไม่ต้องทำซ้ำ / ซ้ำ)

  • โปรดทราบว่าข้อผิดพลาดส่วนใหญ่ที่คุณสามารถทำได้ด้วยการตรวจสอบข้าม (ซึ่งจะนำไปสู่การมีอคติในแง่ดี) สามารถเกิดขึ้นได้ด้วยชุดการทดสอบที่ระงับ
  • ตรวจสอบความกว้างของช่วงความมั่นใจที่เกิดขึ้นสำหรับการวัดประสิทธิภาพและตรวจสอบให้แน่ใจว่าสิ่งนี้ช่วยให้การตีความผลลัพธ์มีความหมาย (ดูกระดาษการวางแผนขนาดตัวอย่าง)

เนื่องจากขนาดตัวอย่างของคุณมีขนาดเล็กแนวปฏิบัติที่ดีคือการไม่ใช้ส่วนการตรวจสอบข้ามและใช้อัตราส่วน 60 - 40 หรือ 70 - 30

ดังที่คุณเห็นในบทที่ 2.8 ของบทนำเกี่ยวกับการทำเคลเมนไทน์และการทำเหมืองข้อมูลและในไลบรารี MSDN - การทำเหมืองข้อมูล - การฝึกอบรมและการทดสอบตั้งค่าอัตราส่วน 70 - 30 เป็นเรื่องปกติ ตามการเรียนรู้ของ Machine Ng ของ Andrew Ng นั้นแนะนำให้ใช้อัตราส่วน 60 - 20 - 20

หวังว่าฉันจะเป็นประโยชน์ ขอแสดงความนับถืออย่างสูง.