Bayesian กำลังคิดเรื่องกำลังพลเกินกำลัง

ฉันทุ่มเทเวลาอย่างมากในการพัฒนาวิธีการและซอฟต์แวร์สำหรับตรวจสอบแบบจำลองการทำนายในโดเมนสถิติที่ใช้บ่อย ในการนำแนวคิดแบบเบย์มาใช้ในการฝึกฝนและการสอนฉันเห็นความแตกต่างที่สำคัญในการโอบกอด ขั้นแรกการสร้างแบบจำลองการทำนายแบบเบย์ขอให้นักวิเคราะห์คิดอย่างหนักเกี่ยวกับการแจกแจงก่อนหน้าซึ่งอาจปรับให้เข้ากับคุณสมบัติของผู้สมัครและนักบวชเหล่านี้จะดึงแบบจำลองไปทางพวกเขา (กล่าวคือบรรลุการหด / ลงโทษ ) ประการที่สองวิธีเบย์ "ของจริง" ไม่ได้ส่งผลให้มีรูปแบบเดียว แต่ก็มีการกระจายหลังทั้งหมดสำหรับการทำนาย

เมื่อคำนึงถึงคุณสมบัติของเบย์เซียนแล้วความหมายของการ overfitting หมายความว่าอะไร? เราควรประเมินมันหรือไม่? ถ้าเป็นเช่นนั้นได้อย่างไร เราจะรู้ได้อย่างไรว่าแบบจำลองแบบเบย์มีความน่าเชื่อถือสำหรับการใช้งานภาคสนาม? หรือว่าเป็นจุดที่สงสัยตั้งแต่ผู้โพสต์จะดำเนินการตามความไม่แน่นอนให้เตือนทั้งหมดเมื่อเราใช้แบบจำลองที่เราพัฒนาขึ้นสำหรับการทำนาย?

ความคิดจะเปลี่ยนไปอย่างไรถ้าเราบังคับให้แบบจำลอง Bayesian กลั่นเป็นตัวเลขเดียวเช่นความเสี่ยงด้านหลัง / โหมด / ค่ามัธยฐานด้านหลัง?

ผมเห็นความคิดที่เกี่ยวข้องบางอย่างที่นี่ การอภิปรายขนานอาจจะพบได้ที่นี่

คำถามติดตามผล :: ถ้าเราเป็นคนเบย์อย่างเต็มที่และใช้เวลาคิดเกี่ยวกับนักบวชก่อนที่จะเห็นข้อมูลและเราพอดีกับแบบจำลองที่มีการระบุความน่าจะเป็นของข้อมูลอย่างเหมาะสมเราถูกบังคับให้พอใจกับแบบจำลองของเรา ? หรือเราจำเป็นต้องทำในสิ่งที่เราทำในโลกที่มีผู้ถูกเลือกแบบสุ่มอาจถูกคาดการณ์ได้ดีโดยเฉลี่ย แต่ถ้าเราเลือกวิชาที่มีการทำนายต่ำมากหรือมีค่าที่คาดการณ์ไว้สูงมากจะมีการถดถอย หมายถึงอะไร

ฉันอาจเริ่มต้นด้วยการบอกว่าแบบจำลอง Bayesian ไม่สามารถ overfit (หรือ underfit) ข้อมูลที่ดึงมาจากการทำนายล่วงหน้าก่อนหน้านี้อย่างเป็นระบบซึ่งเป็นพื้นฐานสำหรับขั้นตอนการตรวจสอบว่าซอฟต์แวร์ Bayesian ทำงานอย่างถูกต้องก่อนที่จะนำไปใช้กับข้อมูลที่รวบรวมจาก โลก.

แต่มันสามารถทำให้ชุดข้อมูลชุดเดียวดึงมาจากชุดการทำนายก่อนหน้าหรือชุดข้อมูลชุดเดียวที่รวบรวมมาจากโลกในแง่ที่ว่ามาตรการการทำนายแบบต่างๆนำไปใช้กับข้อมูลที่คุณมีเงื่อนไขดูดีกว่ามาตรการการพยากรณ์แบบเดียวกันที่ใช้กับข้อมูลในอนาคต สร้างขึ้นโดยกระบวนการเดียวกัน บทที่ 6 ของหนังสือ Bayesian ของ Richard McElreath นั้นอุทิศให้กับการทำมากเกินไป

ความรุนแรงและความถี่ของการ overfitting สามารถลดลงโดยนักบวชที่ดีโดยเฉพาะผู้ที่ให้ข้อมูลเกี่ยวกับขนาดของผลกระทบ ด้วยการทำให้ความน่าจะเป็นก่อนหน้านี้หายไปกับค่าที่มีขนาดใหญ่อย่างไม่น่าเชื่อคุณจะไม่สนับสนุนการกระจายด้านหลังจากความตื่นเต้นที่มากเกินไปโดยบางแง่มุมที่แปลกประหลาดของข้อมูลที่คุณมีต่อสภาวะนั้น

วิธีที่ดีที่สุดในการตรวจสอบการบรรจุเกินเกี่ยวข้องกับการตรวจสอบความถูกต้องแบบไม่ต้องรอซึ่งเป็นการประมาณจากการกระจายหลังซึ่งไม่ได้ทิ้งการสังเกตใด ๆ ออกจากชุดการปรับสภาพ มีการสันนิษฐานว่าไม่มี "การสังเกต" [*] ที่คุณมีเงื่อนไขมีผลกระทบอย่างมากต่อการกระจายหลัง แต่การสันนิษฐานนั้นสามารถตรวจสอบได้โดยการประเมินขนาดของการประมาณของพารามิเตอร์รูปร่างในการกระจายทั่วไป Pareto ที่ เหมาะสมกับน้ำหนักการสุ่มตัวอย่างที่สำคัญ (ซึ่งได้มาจากความน่าจะเป็นบันทึกของการสังเกตที่ประเมินโดยการจับทุกครั้งจากการแจกแจงหลัง) หากสมมติฐานนี้เป็นที่น่าพอใจคุณสามารถขอรับมาตรการการทำนายสำหรับการสังเกตแต่ละครั้งที่เหมือนกับว่าการสังเกตนั้นถูกละเว้น หลังถูกดึงมาจากเงื่อนไขในการสังเกตที่เหลือและการกระจายการทำนายหลังถูกสร้างขึ้นสำหรับการสังเกตที่ถูกละเว้น หากการคาดการณ์ของคุณจากการสังเกตการณ์ที่เหลืออยู่นั้นเป็นไปได้แบบของคุณก็จะเริ่มต้นขึ้น แนวคิดเหล่านี้ถูกนำมาใช้ในห้องน้ำ แพคเกจสำหรับ R ซึ่งรวมถึงการอ้างอิงเช่นที่นี่และมี

เท่าที่การกลั่นกรองไปยังตัวเลขเดียวนั้นฉันต้องการคำนวณสัดส่วนของการสังเกตที่อยู่ในช่วงการทำนาย 50% เท่าที่สัดส่วนนี้มากกว่าครึ่งหนึ่งโมเดลนั้น overfitting แม้ว่าคุณจะต้องการมากกว่าการสังเกตจำนวนหนึ่งเพื่อตัดผ่านเสียงในฟังก์ชันตัวบ่งชี้การรวม สำหรับการเปรียบเทียบแบบจำลองที่แตกต่างกัน (ซึ่งอาจเหมาะสม) ความหนาแน่นของการทำนายการบันทึกที่คาดหวัง (ซึ่งคำนวณโดยlooฟังก์ชันในlooแพคเกจ) เป็นตัวชี้วัดที่ดี (เสนอโดย IJ Good) เพราะคำนึงถึงความเป็นไปได้ที่โมเดลที่ยืดหยุ่นมากขึ้นอาจพอดีกับข้อมูลที่มีอยู่ดีกว่าโมเดลที่ยืดหยุ่นน้อยกว่า แต่คาดว่าจะทำนายข้อมูลในอนาคตแย่ลง แต่ความคิดเหล่านี้สามารถนำไปใช้กับความคาดหวังของการวัดแบบคาดการณ์ใด ๆ ดูE_looฟังก์ชั่นในแพ็คเกจloo

[*] คุณต้องเลือกสิ่งที่ถือเป็นข้อสังเกตในรูปแบบลำดับชั้น ตัวอย่างเช่นคุณสนใจที่จะคาดการณ์ผู้ป่วยใหม่หรือจุดเวลาใหม่สำหรับผู้ป่วยที่มีอยู่หรือไม่? คุณสามารถทำได้ทั้งสองวิธี แต่ก่อนหน้านี้ต้องการให้คุณเขียนฟังก์ชันความน่าจะเป็นเพื่อรวมพารามิเตอร์เฉพาะของผู้ป่วย

การบรรจุมากเกินไปหมายถึงตัวแบบนั้นทำงานได้ดีในชุดฝึกอบรม แต่ทำงานได้ไม่ดีในชุดทดสอบ IMHO มันมาจากสองแหล่งข้อมูลและรูปแบบที่เราใช้ (หรือความเป็นส่วนตัวของเรา)

$k$

เป็นผลให้ถ้าเราเป็นประจำแล้วแหล่งที่มาของการ overfitting มาจาก MLE ถ้าเราเป็นแบบเบย์สิ่งนี้มาจากตัวเลือก (ส่วนตัว) ของการแจกแจงก่อนหน้า (และแน่นอนว่าทางเลือกของความน่าจะเป็น) ดังนั้นแม้ว่าคุณจะใช้การแจกแจงหลัง / ค่าเฉลี่ย / ค่ามัธยฐานคุณก็ overfitted แล้วตั้งแต่ต้นและการ overfitting นี้ก็จะถูกนำมาใช้ ทางเลือกที่เหมาะสมของการกระจายก่อนหน้าและโอกาสที่จะช่วย แต่พวกเขายังคงรูปแบบคุณไม่สามารถหลีกเลี่ยงการ overfitting อย่างสมบูรณ์