การเปรียบเทียบผลลัพธ์ความแม่นยำของลักษณนามสองตัวสำหรับนัยสำคัญทางสถิติกับการทดสอบ t

ฉันต้องการเปรียบเทียบความแม่นยำของตัวแยกประเภทสองตัวสำหรับนัยสำคัญทางสถิติ ตัวแยกประเภททั้งสองทำงานในชุดข้อมูลเดียวกัน นำไปสู่การนี้ผมที่จะเชื่อว่าฉันควรจะใช้ตัวอย่างหนึ่ง t-test จากสิ่งที่ฉันได้รับการอ่าน

ตัวอย่างเช่น:

Classifier 1: 51% accuracy
Classifier 2: 64% accuracy
Dataset size: 78,000

นี่เป็นการทดสอบที่ถูกต้องที่จะใช้หรือไม่? ถ้าเป็นเช่นนั้นฉันจะคำนวณได้อย่างไรว่าความแตกต่างของความแม่นยำระหว่างลักษณนามมีความสำคัญ

หรือฉันควรใช้การทดสอบอื่น?

ฉันอาจจะเลือกใช้การทดสอบของ McNemarถ้าคุณฝึกตัวจําแนกครั้งเดียว เดวิดบาร์เบอร์ยังแนะนำการทดสอบแบบเบย์ที่ค่อนข้างเรียบร้อยซึ่งดูเหมือนว่าจะค่อนข้างหรูหราสำหรับฉัน แต่ไม่ได้ใช้อย่างกว้างขวาง (มันถูกกล่าวถึงในหนังสือของเขาด้วย)

เพื่อเพิ่มดังที่ Peter Flom กล่าวคำตอบนั้นเกือบจะแน่นอน "ใช่" เพียงแค่ดูความแตกต่างของประสิทธิภาพและขนาดของตัวอย่าง (ฉันใช้ตัวเลขที่ยกมาเป็นชุดทดสอบแทนที่จะเป็นชุดฝึกซ้อม)

บังเอิญ Japkowicz และ Shah มีหนังสือเล่มล่าสุดเกี่ยวกับ"การประเมินการเรียนรู้อัลกอริทึม: มุมมองการจำแนก"ฉันไม่ได้อ่าน แต่ดูเหมือนว่าจะเป็นประโยชน์ในการอ้างอิงสำหรับปัญหาเหล่านี้

ฉันสามารถบอกคุณได้โดยไม่ต้องวิ่งอะไรเลยว่าความแตกต่างจะมีนัยสำคัญทางสถิติอย่างมาก มันผ่านการทดสอบ IOTT (การทดสอบการบาดเจ็บระหว่างตา - มันกระทบคุณระหว่างดวงตา)

ถ้าคุณต้องการทำการทดสอบคุณสามารถทำแบบทดสอบสองสัดส่วนได้ซึ่งสามารถทำได้ด้วยการทดสอบตัวอย่างสองตัวอย่าง

คุณอาจต้องการแบ่ง "ความถูกต้อง" ออกเป็นส่วน ๆ ความไวและความจำเพาะหรือเท็จบวกและเท็จลบ ในหลายแอปพลิเคชันค่าใช้จ่ายของข้อผิดพลาดที่แตกต่างกันค่อนข้างแตกต่างกัน

เนื่องจากความถูกต้องในกรณีนี้คือสัดส่วนของตัวอย่างที่จำแนกอย่างถูกต้องเราสามารถใช้การทดสอบสมมติฐานเกี่ยวกับระบบของสองสัดส่วน

$\hat p_1$$\hat p_2$$n$$x_1$$x_2$

$\hat p_1 = x_1/n,\quad \hat p_2 = x_2/n$

สถิติการทดสอบจะได้รับจาก

$\displaystyle Z = \frac{\hat p_1 - \hat p_2}{\sqrt{2\hat p(1 -\hat p)/n}}\qquad$ ที่ไหน $\quad\hat p= (x_1+x_2)/2n$

$p_2$$p_1$

• $H_0: p_1 = p_2\quad$ (สมมติฐานว่างที่ระบุว่าทั้งสองมีค่าเท่ากัน)
• $H_a: p_1 < p_2\quad$ (การใช้ไฮโปไทซิสอื่นที่อ้างว่าใหม่กว่าดีกว่าที่มีอยู่เดิม)

ภูมิภาคปฏิเสธจะได้รับจาก

$Z < -z_\alpha \quad$$H_0$$H_a$

$z_\alpha$$\alpha$$z_{0.5} = 1.645$$Z < -1.645$$1-\alpha$

อ้างอิง:

1. R. Johnson และ J. Freund, Miller และ Freund's ความน่าจะเป็นและสถิติสำหรับวิศวกร, 8th Ed. Prentice Hall International, 2011. (แหล่งข้อมูลปฐมภูมิ)
2. การทดสอบสมมติฐาน-กระชับสรุปสูตร (นำมาจาก [1])