วิธีการเลือกความกว้างถังที่ดีที่สุดในขณะที่การสอบเทียบโมเดลความน่าจะเป็นเป็นอย่างไร

ความเป็นมา:มีคำถาม / คำตอบที่ดีเกี่ยวกับวิธีการปรับเทียบแบบจำลองซึ่งทำนายความน่าจะเป็นของผลลัพธ์ที่เกิดขึ้น ตัวอย่างเช่น

1. คะแนนหนาม , และการสลายตัวของมันเข้าไปในความละเอียดของความไม่แน่นอนและความน่าเชื่อถือ
2. แผนการสอบเทียบและการถดถอยแบบไอโซโทนิก

วิธีการเหล่านี้มักจะต้องใช้วิธีการ binning กับความน่าจะเป็นที่คาดการณ์ดังนั้นพฤติกรรมของผลลัพธ์ (0, 1) จะถูกทำให้ราบเรียบเหนือถังขยะโดยรับผลลัพธ์ที่เป็นค่าเฉลี่ย

ปัญหา: อย่างไรก็ตามฉันไม่พบสิ่งใดที่แนะนำให้ฉันทราบเกี่ยวกับวิธีเลือกความกว้างของถังขยะ

คำถาม:ฉันจะเลือกความกว้างของถังที่เหมาะสมได้อย่างไร

ความพยายาม:มีความกว้างถังขยะทั่วไปสองแห่งที่ใช้งานอยู่:

1. ความกว้างเท่ากัน binning เช่น 10 bins ละครอบคลุม 10% ของช่วงเวลา [0, 1]
2. วิธี Binning ของ Tukey กล่าวถึงที่นี่

แต่ตัวเลือกเหล่านี้ของถังขยะจะเหมาะสมที่สุดหากมีใครสนใจที่จะค้นหาช่วงเวลาในความน่าจะเป็นที่คาดการณ์ซึ่งคาดการณ์ผิดมากที่สุด?

วิธีการทางสถิติใด ๆ ที่ใช้การ binning ในที่สุดก็ถือว่าล้าสมัย การประมาณเส้นโค้งการสอบเทียบอย่างต่อเนื่องเป็นเรื่องธรรมดาตั้งแต่กลางปี ​​1990 วิธีการที่ใช้กันทั่วไปคือเหลือง (เมื่อปิดการตรวจจับนอก) การปรับเทียบโลจิสติกส์เชิงเส้นและการสอบเทียบโลจิสติก spline ฉันเข้าไปดูรายละเอียดในหนังสือกลยุทธ์การสร้างแบบจำลองการถดถอยและบันทึกหลักสูตร ดูhttp://www.fharrell.com/p/blog-page.html rmsแพคเกจR ทำให้เส้นโค้งการปรับเทียบแบบไม่มีพารามิเตอร์ราบรื่นง่ายต่อการรับไม่ว่าจะเป็นการใช้ตัวอย่างภายนอกที่เป็นอิสระหรือการใช้ bootstrap กับตัวอย่างการพัฒนาแบบจำลองดั้งเดิม

จากประสบการณ์ของฉันการใช้ binning นั้นดีสำหรับการมองเห็นการแจกแจงความน่าจะเป็น แต่โดยทั่วไปแล้วมันเป็นความคิดที่ไม่ดีถ้าใครต้องการใช้ถ้าสำหรับการทดสอบทางสถิติและ / หรือการอนุมานพารามิเตอร์ หลักเนื่องจากหนึ่งจำกัดความแม่นยำโดยทันทีตามความกว้างของถังขยะ ปัญหาทั่วไปอีกประการหนึ่งคือเมื่อตัวแปรไม่ถูกผูกมัดนั่นคือต้องมีการตัดต่ำและสูง

การทำงานกับการแจกแจงสะสมในจิตวิญญาณ Kolmogorov-Smirnov ทำให้เกิดปัญหาเหล่านี้หลายอย่าง นอกจากนี้ยังมีวิธีการทางสถิติที่ดีมากมายในกรณีนี้ (ดูเช่นhttps://en.wikipedia.org/wiki/Kolmogorov%E2%80%93Smirnov_test )