การประมาณค่าความแปรปรวนในการตรวจสอบความถูกต้องข้ามของ k-fold

การตรวจสอบความถูกต้องไขว้ของ K-fold สามารถใช้เพื่อประเมินความสามารถในการวางนัยทั่วไปของลักษณนามที่กำหนด ฉันสามารถ (หรือฉันควร) คำนวณความแปรปรวนแบบพูลจากการตรวจสอบความถูกต้องทั้งหมดเพื่อให้ได้การประมาณความแปรปรวนที่ดีขึ้นหรือไม่

ถ้าไม่ทำไม

ฉันได้พบเอกสารที่จะใช้ค่าเบี่ยงเบนมาตรฐาน pooled ข้ามการตรวจสอบข้ามวิ่ง ฉันยังได้พบเอกสารระบุชัดเจนมีไม่มีประมาณการสากลสำหรับการตรวจสอบความแปรปรวน อย่างไรก็ตามฉันยังพบเอกสารที่แสดงตัวประมาณค่าความแปรปรวนบางอย่างสำหรับข้อผิดพลาดทั่วไป (ฉันยังคงอ่านและพยายามเข้าใจสิ่งนี้) ผู้คนทำอะไร (หรือรายงาน) ในทางปฏิบัติจริง ๆ ?

แก้ไข:เมื่อใช้ CV ในการวัดข้อผิดพลาดการจำแนกอย่างคร่าวๆ (นั่นคือตัวอย่างได้รับการติดฉลากอย่างถูกต้องหรือไม่มี; เช่นจริงหรือเท็จ) ดังนั้นจึงอาจไม่เหมาะสมที่จะพูดคุยเกี่ยวกับความแปรปรวนร่วม อย่างไรก็ตามฉันกำลังพูดถึงกรณีที่สถิติที่เรากำลังประเมินมีความแปรปรวนที่กำหนดไว้ ดังนั้นสำหรับการพับที่กำหนดเราสามารถจบลงด้วยค่าสำหรับสถิติและการประมาณค่าความแปรปรวน ดูเหมือนจะไม่ถูกต้องที่จะทิ้งข้อมูลนี้และพิจารณาเฉพาะสถิติเฉลี่ย และในขณะที่ฉันรู้ว่าฉันสามารถสร้างการประมาณค่าความแปรปรวนโดยใช้วิธีการ bootstrap (ถ้าฉันไม่ผิดมาก) การทำเช่นนั้นจะยังคงเพิกเฉยต่อความแปรปรวนแบบพับและใช้การประมาณการทางสถิติเพียงอย่างเดียวในการพิจารณา

คำถามที่น่าสนใจมากฉันจะต้องอ่านเอกสารที่คุณให้ ... แต่บางทีนี่อาจจะทำให้เราได้รับคำตอบ:

ฉันมักจะจัดการกับปัญหานี้ในทางปฏิบัติ: ฉันวนซ้ำการตรวจสอบข้าม k-fold ด้วยการแยกแบบสุ่มใหม่และคำนวณประสิทธิภาพเช่นเดียวกับการทำซ้ำแต่ละครั้ง ตัวอย่างการทดสอบโดยรวมนั้นจะเหมือนกันสำหรับการวนซ้ำแต่ละครั้งและความแตกต่างนั้นมาจากการแยกข้อมูลที่แตกต่างกัน

ฉันรายงานสิ่งนี้เช่นเป็นเปอร์เซ็นต์ไทล์อันดับที่ 5 ถึง 95 ของประสิทธิภาพการทำงานที่สังเกตได้ แลกเปลี่ยนได้สูงสุดถึงตัวอย่างสำหรับตัวอย่างใหม่และอภิปรายว่าเป็นการวัดความไม่แน่นอนของแบบจำลอง$\frac{n}{k} - 1$

หมายเหตุด้านข้าง: ฉันไม่สามารถใช้สูตรที่ต้องการขนาดตัวอย่างได้ เนื่องจากข้อมูลของฉันมีการจัดกลุ่มหรือลำดับชั้นในโครงสร้าง (การวัดที่คล้ายกัน แต่ไม่ซ้ำกันในกรณีเดียวกันหลายแห่งโดยปกติแล้ว [ร้อย] สถานที่ต่างกันของตัวอย่างเดียวกัน) ฉันไม่รู้ขนาดตัวอย่างที่มีประสิทธิภาพ

เปรียบเทียบกับ bootstrapping:

• การวนซ้ำใช้การแยกแบบสุ่มใหม่

• ความแตกต่างหลักคือการสุ่มใหม่ด้วย (bootstrap) หรือไม่มี (cv) แทน

• ค่าใช้จ่ายในการคำนวณมีค่าเท่ากันเนื่องจากฉันเลือก no iterations ของ cvของ bootstrap iterations / k, นั่นคือการคำนวณจำนวนรวมทั้งหมดของแบบจำลองเดียวกัน$\approx$

• bootstrap มีข้อได้เปรียบเหนือ cv ในแง่ของคุณสมบัติทางสถิติบางอย่าง (ถูกต้องแบบ asymptotically, คุณอาจต้องทำซ้ำน้อยกว่าเพื่อให้ได้ค่าประมาณที่ดี)

• อย่างไรก็ตามด้วย CV คุณมีข้อได้เปรียบที่คุณรับประกันได้

  • จำนวนตัวอย่างการฝึกอบรมที่แตกต่างกันจะเหมือนกันสำหรับทุกรุ่น (สำคัญหากคุณต้องการคำนวณเส้นโค้งการเรียนรู้)
  • ตัวอย่างแต่ละตัวอย่างจะถูกทดสอบเพียงครั้งเดียวในแต่ละรอบซ้ำ

• วิธีการจำแนกบางประเภทจะยกเลิกตัวอย่างซ้ำดังนั้นการบูตเครื่องจึงไม่เหมาะสม

ความแปรปรวนของประสิทธิภาพ

คำตอบสั้น ๆ : ใช่มันสมเหตุสมผลที่จะพูดถึงความแปรปรวนในสถานการณ์ที่มีเพียง {0,1} ผลลัพธ์เท่านั้น

ดูที่การแจกแจงทวินาม (k = ความสำเร็จ, n = การทดสอบ, p = ความน่าจะเป็นที่แท้จริงสำหรับความสำเร็จ = ค่าเฉลี่ย k / n):

$\sigma^2 (k) = np(1-p)$

ความแปรปรวนของสัดส่วน (เช่นอัตราการเข้าชมอัตราข้อผิดพลาดความไว TPR, ... ฉันจะใช้นับจากนี้และสำหรับค่าที่สังเกตได้จากการทดสอบ) เป็นหัวข้อที่เติมหนังสือทั้งเล่ม .. .$p$$\hat p$

• Fleiss: วิธีการทางสถิติสำหรับอัตราและสัดส่วน
• Forthofer และ Lee: ชีวสถิติมีการแนะนำที่ดี

ตอนนี้และดังนั้น:$\hat p = \frac{k}{n}$

$\sigma^2 (\hat p) = \frac{p (1-p)}{n}$

ซึ่งหมายความว่าความไม่แน่นอนสำหรับการวัดประสิทธิภาพของตัวจําแนกขึ้นอยู่กับประสิทธิภาพที่แท้จริง p ของแบบจำลองการทดสอบและจํานวนตัวอย่างทดสอบ

ในการตรวจสอบข้ามคุณถือว่า

1. ว่าโมเดล "ตัวแทน" มีประสิทธิภาพที่แท้จริงเช่นเดียวกับโมเดล "ของจริง" ที่คุณสร้างจากตัวอย่างทั้งหมด (รายละเอียดของข้อสันนิษฐานนี้เป็นอคติเชิงลบที่รู้จักกันดี)

2. ที่ k "ตัวแทน" มีประสิทธิภาพที่แท้จริงเหมือนกัน (เทียบเท่ามีการคาดการณ์ที่มั่นคง) ดังนั้นคุณจึงได้รับอนุญาตให้รวมผลลัพธ์ของการทดสอบ k
   แน่นอนว่าไม่เพียงแค่โมเดล "ตัวแทน" ของการทำซ้ำ cv หนึ่งเดียวเท่านั้นที่สามารถรวมเข้าด้วยกันได้

ทำไมต้องทำซ้ำ?

สิ่งสำคัญที่การวนซ้ำบอกคุณคือความไม่แน่นอนของแบบจำลอง (การทำนาย) คือความแปรปรวนของการทำนายของตัวแบบที่แตกต่างกันสำหรับตัวอย่างเดียวกัน

คุณสามารถรายงานความไม่แน่นอนโดยตรงเช่นความแปรปรวนในการทำนายของกรณีทดสอบที่กำหนดโดยไม่คำนึงว่าการทำนายนั้นถูกต้องหรืออีกเล็กน้อยโดยอ้อมว่าการแปรปรวนของสำหรับการทำ cv ที่แตกต่างกัน$\hat p$

และนี่คือข้อมูลที่สำคัญ

ทีนี้ถ้าแบบจำลองของคุณมีเสถียรภาพอย่างสมบูรณ์หรือจะสร้างการทำนายที่เหมือนกันสำหรับตัวอย่างที่กำหนด กล่าวอีกนัยหนึ่งการวนซ้ำทั้งหมดจะมีผลลัพธ์เหมือนกัน ความแปรปรวนของการประมาณจะไม่ถูกลดลงโดยการวนซ้ำ (สมมติว่า ) ในกรณีดังกล่าวพบว่ามีการสันนิษฐาน 2 จากด้านบนและคุณอยู่ภายใต้โดยที่ n เป็นจำนวนตัวอย่างทั้งหมดที่ทดสอบทั้งหมด k พับของพันธุ์ ในกรณีนั้นไม่จำเป็นต้องทำซ้ำ (นอกเหนือจากเพื่อแสดงความเสถียร) k ⋅ n ฉันทีอีอาร์ ควี n - 1 ≈ n σ 2 ( P ) = P ( 1 - P $n_{bootstrap}$$k \cdot n_{iter.~cv}$$n - 1 \approx n$$\sigma^2 (\hat p) = \frac{p (1-p)}{n}$

จากนั้นคุณสามารถสร้างความเชื่อมั่นในการดำเนินงานที่แท้จริงจากไม่พบความสำเร็จในการทดสอบ ดังนั้นอย่างเคร่งครัดจึงไม่จำเป็นต้องรายงานความไม่แน่นอนของความแปรปรวนหากมีการรายงานและอย่างไรก็ตามในสาขาของฉันมีคนไม่กี่คนที่รู้เรื่องนี้หรือแม้กระทั่งจับถนัดมือว่าความไม่แน่นอนนั้นมีขนาดใหญ่เพียงใด ดังนั้นฉันขอแนะนำให้รายงานต่อไปk n P$p$$k$$n$$\hat p$$n$

หากคุณสังเกตความไม่แน่นอนของโมเดลค่าเฉลี่ยที่รวมกันนั้นเป็นค่าประมาณที่ดีกว่าของประสิทธิภาพที่แท้จริง ความแปรปรวนระหว่างการวนซ้ำเป็นข้อมูลที่สำคัญและคุณสามารถเปรียบเทียบกับความแปรปรวนขั้นต่ำที่คาดหวังสำหรับชุดการทดสอบขนาด n ที่มีประสิทธิภาพเฉลี่ยที่แท้จริงเหนือกว่าการวนซ้ำทั้งหมด

โปรดจำไว้ว่า CV เป็นเพียงการประมาณการเท่านั้นและไม่สามารถแสดงถึงข้อผิดพลาดในการวางนัยทั่วไปได้ ขึ้นอยู่กับขนาดตัวอย่างของคุณ (ซึ่งจะส่งผลกระทบต่อจำนวนการพับหรือการพับ) คุณสามารถถูก จำกัด อย่างรุนแรงในความสามารถของคุณในการคำนวณการประมาณค่าพารามิเตอร์ใด ๆ ของการกระจายของข้อผิดพลาดการวางนัยทั่วไป ในความคิดของฉัน (และฉันได้เห็นมันอ้างในหนังสือข้อความต่าง ๆ 'การค้นพบความรู้พร้อมสนับสนุน Vector Machines'-Lutz Hamel) คุณสามารถทำตัวแปร bootstrapping บางส่วนของ CV เพื่อประเมินการกระจายของข้อผิดพลาดทั่วไป แต่เป็นมาตรฐาน 10- 1 (ตัวอย่าง) เมื่อปิด CV จะไม่ให้จุดข้อมูลเพียงพอสำหรับการอ้างถึงข้อผิดพลาดที่แท้จริง การบู๊ตต้องให้คุณนำตัวอย่างหลายชิ้นมาแทนที่ด้วยการฝึกอบรม / ทดสอบ / val ของคุณอย่างมีประสิทธิภาพในการทำหลาย ๆ การทดสอบ (พูด 1,000 หรือประมาณนั้น) 10-1 (หรืออะไรก็ตาม) การทดสอบ CV จากนั้นคุณใช้การกระจายตัวอย่างของค่าเฉลี่ยสำหรับการทดสอบ CV แต่ละครั้งเป็นการประเมินการกระจายตัวตัวอย่างของค่าเฉลี่ยสำหรับประชากรของข้อผิดพลาด CV และจากนี้คุณสามารถประเมินพารามิเตอร์การกระจายตัวอย่างเช่นค่าเฉลี่ยค่ามัธยฐานค่าเฉลี่ยขั้นต่ำไตรมาสที่ 1 ไตรมาสที่ 3 ฯลฯ ... มันเป็นงานนิดหน่อยและในความเห็นของฉันจำเป็นจริงๆเท่านั้นหากใบสมัครของคุณมีความสำคัญ / เสี่ยงมากพอที่จะรับประกันการทำงานเพิ่มเติม เช่นอาจอยู่ในสภาพแวดล้อมทางการตลาดที่ธุรกิจมีความสุขที่จะดีกว่าการสุ่มดังนั้นอาจไม่จำเป็น แต่ถ้าคุณพยายามประเมินปฏิกิริยาของผู้ป่วยต่อยาที่มีความเสี่ยงสูงหรือคาดการณ์รายได้สำหรับการลงทุนขนาดใหญ่คุณอาจจะระมัดระวังในการดำเนินการ