ช่วงความเชื่อมั่นสำหรับความถูกต้องของการจำแนกประเภทที่ผ่านการตรวจสอบความถูกต้อง

ฉันกำลังทำงานกับปัญหาการจัดหมวดหมู่ที่คำนวณความคล้ายคลึงกันระหว่างภาพเอ็กซเรย์อินพุตสองภาพ หากภาพเป็นของคนคนเดียวกัน (ป้ายกำกับของ 'ขวา') ระบบจะคำนวณตัวชี้วัดที่สูงกว่า ภาพอินพุตของคนสองคนที่แตกต่างกัน (ป้ายกำกับของ 'ผิด') จะส่งผลให้เมตริกต่ำลง

ฉันใช้การตรวจสอบความถูกต้องข้าม 10 ชั้นแบบแบ่งชั้นเพื่อคำนวณความน่าจะเป็นการแยกประเภท ขนาดตัวอย่างปัจจุบันของฉันอยู่ที่ประมาณ 40 แมตช์ที่ถูกต้องและ 80 แมตช์ที่ไม่ถูกต้องที่แต่ละดาต้าพอยน์เป็นเมตริกที่คำนวณได้ ฉันได้รับความน่าจะเป็นการแยกประเภทที่ 0.00 แต่ฉันต้องการการวิเคราะห์ช่วงความเชื่อมั่น / ข้อผิดพลาดบางอย่างเกี่ยวกับเรื่องนี้

ฉันมองหาการใช้ช่วงความมั่นใจในสัดส่วนทวินาม (ซึ่งฉันจะใช้ผลลัพธ์ของการตรวจสอบข้ามว่าเป็นการติดฉลากที่ถูกต้องหรือการติดฉลากที่ไม่ถูกต้องสำหรับจำนวนความสำเร็จของฉัน) อย่างไรก็ตามหนึ่งในสมมติฐานที่อยู่เบื้องหลังการวิเคราะห์ทวินามคือความน่าจะเป็นที่เหมือนกันของความสำเร็จสำหรับการทดลองแต่ละครั้งและฉันไม่แน่ใจว่าวิธีการจำแนกประเภทของ 'ถูกต้อง' หรือ 'ผิด' ในการตรวจสอบไขว้นั้น ความน่าจะเป็นเหมือนกันของความสำเร็จ

การวิเคราะห์อื่น ๆ ที่ฉันคิดได้คือทำซ้ำการตรวจสอบความถูกต้องข้าม X ครั้งและคำนวณค่าเฉลี่ย / ส่วนเบี่ยงเบนมาตรฐานของข้อผิดพลาดการจัดหมวดหมู่ แต่ฉันไม่แน่ใจว่าสิ่งนี้เหมาะสมหรือไม่เพราะฉันจะนำข้อมูลจาก ขนาดตัวอย่างค่อนข้างเล็กหลายครั้ง

ความคิดใด ๆ ฉันใช้ MATLAB สำหรับการวิเคราะห์ทั้งหมดของฉันและฉันมีกล่องเครื่องมือสถิติ จะขอบคุณความช่วยเหลือใด ๆ และทั้งหมด!

อิทธิพลของความไม่แน่นอนในการทำนายแบบจำลองตัวแทนที่ต่างกัน

อย่างไรก็ตามหนึ่งในสมมติฐานที่อยู่เบื้องหลังการวิเคราะห์ทวินามคือความน่าจะเป็นที่เหมือนกันของความสำเร็จสำหรับการทดลองแต่ละครั้งและฉันไม่แน่ใจว่าวิธีการจำแนกประเภทของ 'ถูกต้อง' หรือ 'ผิด' ในการตรวจสอบไขว้นั้น ความน่าจะเป็นเหมือนกันของความสำเร็จ

ทีนี้, โดยทั่วไปแล้วความเท่ากันนั้นเป็นสมมติฐานที่จำเป็นเพื่อให้คุณรวมผลลัพธ์ของแบบจำลองตัวแทน

ในทางปฏิบัติสัญชาตญาณของคุณว่าข้อสันนิษฐานนี้อาจถูกละเมิดมักเป็นความจริง แต่คุณสามารถวัดได้ว่าเป็นกรณีนี้หรือไม่ นั่นคือสิ่งที่ฉันพบว่าการตรวจสอบข้ามซ้ำมีประโยชน์: ความเสถียรของการทำนายสำหรับกรณีเดียวกันโดยตัวแทนจำลองที่แตกต่างกันช่วยให้คุณตัดสินว่าแบบจำลองนั้นมีความเท่าเทียมกันหรือไม่

นี่เป็นรูปแบบของการตรวจสอบความถูกต้องแบบข้าม -fold ซ้ำแล้วซ้ำอีก (เรียกอีกอย่างว่า) :$k$

ชั้นเรียนมีสีแดงและสีน้ำเงิน วงกลมด้านขวาเป็นสัญลักษณ์ของการทำนาย ในการคำนวณซ้ำแต่ละครั้งจะมีการคาดการณ์ตัวอย่างแต่ละครั้งอย่างแน่นอน โดยปกติแล้วค่าเฉลี่ยขนาดใหญ่จะใช้เป็นค่าประมาณประสิทธิภาพโดยปริยายสมมติว่าประสิทธิภาพของตัวแทนรุ่นมีค่าเท่ากับ หากคุณมองหาตัวอย่างแต่ละตัวที่การทำนายที่ทำโดยตัวจำลองตัวแทนที่แตกต่างกัน (เช่นในคอลัมน์) คุณจะเห็นว่าการทำนายนั้นมีความเสถียรสำหรับตัวอย่างนี้อย่างไร$i \cdot k$

นอกจากนี้คุณยังสามารถคำนวณประสิทธิภาพสำหรับการวนซ้ำแต่ละครั้ง (บล็อก 3 แถวในผัง) ความแปรปรวนระหว่างสิ่งเหล่านี้หมายความว่าการสันนิษฐานว่าตัวแทนนางแบบจะเทียบเท่า (ต่อกันและยิ่งไปกว่านั้น "แกรนด์โมเดล" ที่สร้างขึ้นในทุกกรณี) จะไม่พบ แต่สิ่งนี้จะบอกคุณว่าคุณมีความไม่แน่นอนมากแค่ไหน สำหรับสัดส่วนทวินามฉันคิดว่าตราบใดที่ประสิทธิภาพที่แท้จริงเหมือนกัน (เช่นเป็นอิสระไม่ว่าจะเป็นกรณีเดียวกันเสมอจะทำนายผิดหรือว่าหมายเลขเดียวกัน แต่มีหลายกรณี แต่ทำนายผิด) ฉันไม่รู้ว่าจะมีใครสามารถคาดคะเนการแจกจ่ายเฉพาะสำหรับประสิทธิภาพของแบบจำลองตัวแทนได้หรือไม่ แต่ฉันคิดว่ามันไม่ว่าในกรณีใดข้อได้เปรียบเหนือการรายงานข้อผิดพลาดการจัดหมวดหมู่ทั่วไปในปัจจุบันถ้าคุณรายงานความไม่แน่นอนนั้นตัวแทนแบบจำลองถูกรวมเข้าด้วยกันแล้วสำหรับการทำซ้ำแต่ละครั้งความแปรปรวนของความไม่แน่นอนจะคร่าวๆ$k$$k$

$\ll$
$n$$k$$i$

รูปวาดเป็นรูปที่ใหม่กว่าของรูป 5 ในบทความนี้: Beleites, C. & Salzer, R .: การประเมินและปรับปรุงเสถียรภาพของแบบจำลองทางเคมีในสถานการณ์ขนาดตัวอย่างขนาดเล็ก Anal Bioanal Chem, 390, 1261-1271 (2008) DOI: 10.1007 / s00216-007-1818-6
โปรดทราบว่าเมื่อเราเขียนบทความฉันยังไม่ได้ตระหนักถึงแหล่งที่มาของความแปรปรวนต่าง ๆ ที่ฉันอธิบายไว้ที่นี่อย่างเต็มที่ - โปรดจำไว้ว่า ฉันจึงคิดว่าการโต้แย้งสำหรับการประมาณขนาดตัวอย่างที่มีประสิทธิภาพที่ให้ไว้นั้นไม่ถูกต้องถึงแม้ว่าข้อสรุปของการประยุกต์ใช้ว่าประเภทของเนื้อเยื่อที่แตกต่างกันภายในผู้ป่วยแต่ละรายให้ข้อมูลโดยรวมเท่ากับผู้ป่วยรายใหม่ที่มีประเภทของเนื้อเยื่อที่กำหนด หลักฐานซึ่งชี้ให้เห็นด้วยวิธีนั้น) อย่างไรก็ตามฉันยังไม่แน่ใจเกี่ยวกับเรื่องนี้อย่างสมบูรณ์ (หรือจะทำอย่างไรให้ดีขึ้นและสามารถตรวจสอบได้) และปัญหานี้ไม่เกี่ยวข้องกับคำถามของคุณ

ประสิทธิภาพใดที่จะใช้สำหรับช่วงความเชื่อมั่นทวินาม

จนถึงตอนนี้ฉันใช้ประสิทธิภาพที่สังเกตได้โดยเฉลี่ยแล้ว นอกจากนี้คุณยังสามารถใช้ประสิทธิภาพที่สังเกตได้แย่ที่สุด: ยิ่งประสิทธิภาพที่สังเกตได้คือ 0.5 ยิ่งความแปรปรวนที่มากขึ้นและช่วงความมั่นใจ ดังนั้นช่วงความเชื่อมั่นของประสิทธิภาพที่สังเกตได้ใกล้เคียงกับ 0.5 จะให้ "ความปลอดภัย"

โปรดทราบว่าวิธีการบางอย่างในการคำนวณช่วงความเชื่อมั่นทวินามนั้นทำงานได้เช่นกันหากจำนวนความสำเร็จที่สังเกตได้ไม่ใช่จำนวนเต็ม ฉันใช้ "การรวมตัวของความน่าจะเป็นหลังแบบเบย์" ตามที่อธิบายไว้ใน
Ross, TD: ช่วงความเชื่อมั่นที่แม่นยำสำหรับสัดส่วนทวินามและการประมาณอัตราปัวซอง, Comput Biol Med, 33, 509-531 (2003) DOI: 10.1016 / S0010-4825 (03) 00019-2

(ฉันไม่รู้สำหรับ Matlab แต่ใน R คุณสามารถใช้binom::binom.bayesกับพารามิเตอร์รูปร่างทั้งชุดที่ 1)

$n$แตกต่างกันไป (ฉันไม่รู้ว่าจะทำอย่างไรนอกจากการได้รับชุดข้อมูลการฝึกอบรมใหม่ "ทางร่างกาย")

ดูเพิ่มเติมที่: Bengio, Y. และ Grandvalet, Y: ไม่มีการประมาณค่าความแปรปรวนของการตรวจสอบความถูกต้องข้าม K-Fold, วารสารการวิจัยการเรียนรู้ของเครื่องจักร, 2004, 5, 1089-11051089-1105

(การคิดเพิ่มเติมเกี่ยวกับสิ่งเหล่านี้อยู่ในรายการวิจัยของฉันสิ่งที่ต้องทำ ... แต่เมื่อฉันมาจากวิทยาศาสตร์การทดลองฉันชอบที่จะเสริมข้อสรุปเชิงทฤษฎีและการจำลองด้วยข้อมูลการทดลองซึ่งยากที่นี่เพราะฉันต้องการขนาดใหญ่ ชุดกรณีอิสระสำหรับการทดสอบอ้างอิง)

ปรับปรุง: มันเป็นธรรมที่จะถือว่าการกระจายทางชีวภาพหรือไม่?

$k$

$n$การประมาณโดยบอกว่าเรามีแหล่งที่มาของการเปลี่ยนแปลงเพิ่มเติม: ความไม่แน่นอน) หรือประสิทธิภาพเฉลี่ยสามารถใช้เป็นการประเมินแบบจุดโดยไม่มีเหตุผลเพิ่มเติม

$n$$p$$n$

ฉันคิดว่าความคิดของคุณในการตรวจสอบซ้ำหลายครั้งนั้นถูกต้อง

ทำซ้ำประวัติส่วนตัวของคุณสมมติว่า 1000 ครั้งแต่ละครั้งแยกข้อมูลของคุณออกเป็น 10 ส่วน (สำหรับ CV 10 เท่า) ในวิธีที่แตกต่างกัน (ไม่ได้สับเปลี่ยนป้าย) คุณจะได้รับการประเมินความแม่นยำของการจำแนกประเภท 1,000 ครั้ง แน่นอนว่าคุณจะใช้ข้อมูลเดิมซ้ำดังนั้นการประมาณ 1,000 ครั้งนี้จะไม่เป็นอิสระ แต่นี่เป็นขั้นตอนคล้ายกับ bootstrap: คุณสามารถเบี่ยงเบนมาตรฐานเหนือความถูกต้องเหล่านี้เป็นข้อผิดพลาดมาตรฐานของค่าเฉลี่ยของตัวประมาณความถูกต้องโดยรวมของคุณ หรือช่วงเปอร์เซ็นต์ไทล์ 95% เป็นช่วงความมั่นใจ 95%

หรือคุณสามารถรวมลูปการตรวจสอบข้ามและลูปบู๊ตสแตรปและเลือกสุ่ม (อาจแบ่งชั้นแบบสุ่ม) 10% ของข้อมูลของคุณเป็นชุดทดสอบและทำ 1,000 ครั้ง การใช้เหตุผลแบบเดียวกับข้างบนก็นำมาใช้เช่นกัน อย่างไรก็ตามสิ่งนี้จะส่งผลให้เกิดความแปรปรวนสูงกว่าการทำซ้ำดังนั้นฉันจึงคิดว่าขั้นตอนข้างต้นดีกว่า

หากอัตราการจำแนกประเภทของคุณเป็น 0.00 ตัวแยกประเภทของคุณจะทำให้เกิดข้อผิดพลาดเป็นศูนย์และหากสิ่งนี้เกิดขึ้นในการวนรอบการบูตแต่ละครั้งคุณจะได้รับช่วงความมั่นใจที่กว้างเป็นศูนย์ แต่นี่แปลว่าลักษณนามของคุณสมบูรณ์แบบมาก

ข้อผิดพลาดการจำแนกเป็นทั้งไม่ต่อเนื่องและกฎการให้คะแนนที่ไม่เหมาะสม มีความแม่นยำต่ำและปรับให้เหมาะสมกับคุณสมบัติที่ไม่ถูกต้องและให้น้ำหนักที่ไม่ถูกต้อง