คำนำ

นี่คือการโพสต์ยาว หากคุณกำลังอ่านสิ่งนี้อีกครั้งโปรดทราบว่าฉันได้แก้ไขส่วนคำถามแล้วแม้ว่าเนื้อหาพื้นหลังจะยังคงเหมือนเดิม นอกจากนี้ฉันเชื่อว่าฉันได้คิดวิธีแก้ปัญหา โซลูชันนั้นจะปรากฏที่ด้านล่างของโพสต์ ขอบคุณ CliffAB ที่ชี้ให้เห็นว่าโซลูชันดั้งเดิมของฉัน (แก้ไขจากโพสต์นี้ดูประวัติการแก้ไขสำหรับโซลูชันนั้น) จำเป็นต้องสร้างการประเมินแบบเอนเอียง

ปัญหา

ในการจำแนกปัญหาการเรียนรู้ของเครื่องวิธีหนึ่งในการประเมินประสิทธิภาพของแบบจำลองคือการเปรียบเทียบ ROC curves หรือพื้นที่ภายใต้ ROC curve (AUC) อย่างไรก็ตามฉันสังเกตว่ามีการพูดคุยกันเล็กน้อยเกี่ยวกับความแปรปรวนของเส้นโค้ง ROC หรือค่าประมาณของ AUC นั่นคือพวกเขากำลังสถิติจากข้อมูลและมีข้อผิดพลาดบางอย่างที่เกี่ยวข้องกับพวกเขา การหาข้อผิดพลาดในการประมาณค่าเหล่านี้จะช่วยจำแนกลักษณะตัวอย่างเช่นว่าตัวจําแนกตัวหนึ่งเป็นจริงหรือดีกว่าตัวอื่น

ฉันได้พัฒนาวิธีการต่อไปนี้ซึ่งฉันเรียกการวิเคราะห์แบบเบย์ของเส้นโค้ง ROC เพื่อแก้ไขปัญหานี้ การสังเกตของฉันมีสองข้อสังเกตสำคัญเกี่ยวกับปัญหา:

1. เส้นโค้ง ROC ประกอบด้วยปริมาณที่ประมาณจากข้อมูลและสามารถแก้ไขการวิเคราะห์แบบเบย์

   เส้นโค้ง ROC ประกอบด้วยการวางแผนอัตราบวกจริง$TPR(\theta)$เทียบกับอัตราบวกปลอม$FPR(\theta)$ซึ่งแต่ละตัวนั้นประมาณจากข้อมูล ฉันพิจารณาฟังก์ชัน$TPR$และ$FPR$ของ$\theta$เกณฑ์การตัดสินใจใช้เพื่อจัดเรียงคลาส A จาก B (โหวตต้นไม้ในป่าสุ่มระยะห่างจากไฮเปอร์เพลนใน SVM คาดการณ์ความน่าจะเป็นในการถดถอยโลจิสติกส์เป็นต้น) การเปลี่ยนแปลงค่าของเกณฑ์การตัดสินใจ$\theta$จะส่งกลับค่าประมาณที่แตกต่างกันของ$TPR$และ R ยิ่งกว่านั้นเราสามารถพิจารณาT P R ( θ )เป็นค่าประมาณความน่าจะเป็นที่จะประสบความสำเร็จในลำดับการทดลองของ Bernoulli ในความเป็นจริง TPR ถูกกำหนดเป็นT $FPR$$TPR(\theta)$ซึ่งเป็น MLE ของความน่าจะเป็นความสำเร็จทวินามในการทดลองกับTPสำเร็จและTP+FN>0ทดลองทั้งหมด$\frac{TP}{TP+FN},$$TP$$TP+FN>0$

   ดังนั้นเมื่อพิจารณาถึงผลลัพธ์ของและF P R ( θ )เพื่อเป็นตัวแปรสุ่มเรากำลังเผชิญกับปัญหาในการประมาณความน่าจะเป็นที่จะประสบความสำเร็จของการทดลองแบบทวินามซึ่งเป็นที่ทราบจำนวนความสำเร็จและความล้มเหลว (ให้โดยT P , F P , F NและT Nซึ่งฉันถือว่าทั้งหมดได้รับการแก้ไข) อัตภาพหนึ่งก็ใช้ MLE และสันนิษฐานว่า TPR และ FPR ได้รับการแก้ไขค่าเฉพาะของ$TPR(\theta)$$FPR(\theta)$$TP$$FP$$FN$$TN$$\theta$. แต่ในการวิเคราะห์แบบเบย์ของเส้นโค้ง ROC ของฉันฉันวาดแบบจำลองหลังของเส้นโค้ง ROC ซึ่งได้มาจากการวาดตัวอย่างจากการกระจายตัวด้านหลังผ่านทางโค้งของ ROC แบบจำลอง Bayesan มาตรฐานสำหรับปัญหานี้คือความน่าจะเป็นแบบทวินามกับเบต้าก่อนหน้าความน่าจะเป็นที่ประสบความสำเร็จ การกระจายด้านหลังบนความน่าจะเป็นที่ประสบความสำเร็จก็เป็นเบต้าดังนั้นสำหรับแต่ละเรามีการแจกแจงด้านหลังของค่า TPR และ FPR สิ่งนี้นำเราไปสู่การสังเกตครั้งที่สองของฉัน$\theta$

2. เส้นโค้ง ROC ไม่ลดลง ดังนั้นเมื่อมีการสุ่มตัวอย่างบางค่าของและF P R ( some )มีความน่าเป็นศูนย์ของการสุ่มตัวอย่างจุดในพื้นที่ ROC คือ "ตะวันออกเฉียงใต้" ของจุดตัวอย่าง แต่การสุ่มตัวอย่างแบบ จำกัด รูปร่างเป็นปัญหาที่ยาก$TPR(\theta)$$FPR(\theta)$

วิธีการแบบเบย์สามารถใช้ในการจำลอง AUC จำนวนมากจากการประมาณชุดเดียว ตัวอย่างเช่นการจำลอง 20 ครั้งมีลักษณะเช่นนี้เมื่อเปรียบเทียบกับข้อมูลดั้งเดิม

วิธีนี้มีข้อดีหลายประการ ตัวอย่างเช่นความน่าจะเป็นที่ AUC ของแบบจำลองหนึ่งสูงกว่าแบบอื่นสามารถประมาณได้โดยตรงโดยการเปรียบเทียบ AUC ของแบบจำลองด้านหลัง การประมาณค่าความแปรปรวนสามารถทำได้ผ่านการจำลองซึ่งมีราคาถูกกว่าวิธีการสุ่มใหม่และการประมาณการเหล่านี้ไม่ได้เกิดปัญหากับตัวอย่างที่มีความสัมพันธ์ซึ่งเกิดขึ้นจากวิธีการสุ่มใหม่

วิธีการแก้

ฉันพัฒนาวิธีแก้ไขปัญหานี้โดยการสังเกตที่สามและสี่เกี่ยวกับธรรมชาติของปัญหานอกเหนือจากสองข้อที่กล่าวมา

3. และ F P R ( θ $TPR(\theta)$$FPR(\theta)$มีความหนาแน่นที่ขอบซึ่งคล้อยตามการจำลอง

   ถ้า (รองF P R ( θ ) ) เป็นตัวแปรสุ่มแบบกระจายเบต้าพร้อมพารามิเตอร์T PและF N (รองF PและT N ) เราสามารถพิจารณาความหนาแน่นของ TPR ได้โดยเฉลี่ย เหนือค่าต่าง ๆที่สอดคล้องกับการวิเคราะห์ของเราθ นั่นก็คือเราสามารถพิจารณากระบวนการลำดับชั้นที่หนึ่งตัวอย่างค่า~ θจากคอลเลกชันของ$TPR(\theta)$$FPR(\theta)$$TP$$FN$$FP$$TN$$\theta$$\tilde{\theta}$$\theta$ค่าที่ได้จากการออกจากการคาดการณ์ตัวอย่างรูปแบบของเราแล้วตัวอย่างค่าของ ) การกระจายไปตามตัวอย่างผลลัพธ์ของค่าT P R ( ˜ θ )คือความหนาแน่นของอัตราบวกจริงที่ไม่มีเงื่อนไขบนθเอง เพราะเราสมมติว่ารุ่นเบต้าสำหรับT P R ( θ )การกระจายส่งผลให้เป็นส่วนผสมของการกระจายเบต้าด้วยจำนวนขององค์ประกอบcเท่ากับขนาดของคอลเลกชันของเราθและค่าสัมประสิทธิ์ส่วนผสม1 $TPR(\tilde{\theta})$$TPR(\tilde{\theta})$$\theta$$TPR(\theta)$$c$$\theta$ .$1/c$

   ในตัวอย่างนี้ฉันได้รับ CDF ต่อไปนี้บน TPR โดยเฉพาะอย่างยิ่งเนื่องจากความเสื่อมของการแจกแจงแบบเบต้าโดยที่หนึ่งในพารามิเตอร์เป็นศูนย์ส่วนประกอบผสมบางส่วนเป็นฟังก์ชัน Dirac delta ที่ 0 หรือ 1 นี่คือสิ่งที่ทำให้ spikes ฉับพลันที่ 0 และ 1 "spikes" นี้หมายความว่า ความหนาแน่นเหล่านี้ไม่ต่อเนื่องและไม่ต่อเนื่อง ตัวเลือกก่อนหน้าซึ่งเป็นค่าบวกในพารามิเตอร์ทั้งสองจะมีผลของการ "ปรับ" spikes ฉับพลันเหล่านี้ (ไม่แสดง), แต่ผลลัพธ์ ROC โค้งจะถูกดึงไปทางก่อน สามารถทำเช่นเดียวกันสำหรับ FPR (ไม่แสดง) การวาดตัวอย่างจากความหนาแน่นของชายขอบเป็นแอพพลิเคชั่นที่เรียบง่ายของการสุ่มตัวอย่างการแปลงผกผัน

4. ในการแก้ปัญหาข้อ จำกัด ด้านรูปร่างเราเพียงต้องจัดเรียง TPR และ FPR อย่างอิสระ

   $\text{Beta}(0,0)$

เปรียบเทียบกับ Bootstrap

$n=20$

การสาธิตนี้แสดงให้เห็นว่าค่าเฉลี่ยของ bootstrap นั้นต่ำกว่าค่าเฉลี่ยของตัวอย่างดั้งเดิมและ KDE ของ bootstrap ให้ผลตอบแทน "humps" ที่กำหนดไว้อย่างดี การกำเนิดของ humps เหล่านี้แทบจะไม่ลึกลับ - เส้นโค้ง ROC จะอ่อนไหวต่อการรวมของแต่ละจุดและผลของกลุ่มตัวอย่างขนาดเล็ก (ที่นี่, n = 20) คือสถิติพื้นฐานมีความอ่อนไหวต่อการรวมของแต่ละจุด จุด. (ที่สำคัญการทำแบบนี้ไม่ได้เป็นส่วนของเคอร์เนลแบนด์วิดท์ - ทราบพล็อตการปูพรมแต่ละสไทรพด์คือบูทสแตรปหลายอันที่มีค่าเท่ากันบูทสแตรปมีการจำลองแบบ 2000 ครั้ง สามารถสรุปได้ว่า humps เป็นคุณสมบัติที่แท้จริงของขั้นตอน bootstrap) ในทางกลับกันค่าเฉลี่ยของการประมาณแบบ AUC ของ Bayesian มีแนวโน้มที่จะใกล้เคียงกับการประมาณการแบบดั้งเดิมมาก

คำถาม

คำถามที่แก้ไขของฉันคือว่าโซลูชันที่แก้ไขของฉันไม่ถูกต้อง คำตอบที่ดีจะพิสูจน์ (หรือพิสูจน์หักล้าง) ว่าตัวอย่างผลลัพธ์ของเส้นโค้ง ROC นั้นมีความลำเอียงหรือพิสูจน์หรือพิสูจน์คุณสมบัติอื่น ๆ ของวิธีการนี้เช่นเดียวกัน

$c$

มันได้รับการยอมรับโดยทั่วไปค่อนข้างดีที่คุณสามารถประเมินความแปรปรวนในโค้ง ROC โดยใช้บูตCF Pepe Etzione ฮ นี่เป็นวิธีการที่ดีเพราะเส้นโค้ง ROC เป็นการประมาณเชิงประจักษ์และ bootstrap นั้นไม่ใช่แบบพารามิเตอร์ parameterizing อะไรในสมมติฐานดังกล่าวแฟชั่นเปิดตัวและภาวะแทรกซ้อนเช่น "เป็นแบนก่อนจริงๆ noninformative?" ฉันไม่มั่นใจในกรณีนี้

$\theta$$\theta$

ยกตัวอย่างเช่นโมเดลที่มีการเลือกปฏิบัติที่สมบูรณ์แบบ เมื่อใช้วิธีการของคุณคุณจะพบว่าแถบความเชื่อมั่นเป็นหน่วยสี่เหลี่ยม พวกเขาจะไม่! ไม่มีความแปรปรวนในแบบจำลองที่มีการเลือกปฏิบัติที่สมบูรณ์แบบ bootstrap จะแสดงให้คุณเห็นว่า

หากมีใครเข้าหาปัญหาของ ROC "การวิเคราะห์" จากมุมมองแบบเบย์มันอาจจะมีประโยชน์มากที่สุดในการแก้ไขปัญหาของการเลือกแบบจำลองโดยการวางก่อนบนพื้นที่ของแบบจำลองที่ใช้สำหรับการวิเคราะห์ นั่นจะเป็นปัญหาที่น่าสนใจมาก