การตรวจสอบแบบคาดการณ์ล่วงหน้าคืออะไรและอะไรทำให้มีประโยชน์

ฉันเข้าใจว่าการกระจายการคาดการณ์หลังคืออะไรและฉันได้อ่านเกี่ยวกับการตรวจสอบการคาดการณ์หลังแม้ว่ามันจะไม่ชัดเจนสำหรับฉันว่ามันทำอะไร

1. การตรวจสอบการคาดการณ์หลังคืออะไร?
2. เหตุใดผู้เขียนบางคนกล่าวว่าการเรียกใช้การตรวจสอบการคาดการณ์หลังคือ "ใช้ข้อมูลสองครั้ง" และไม่ควรถูกทำร้าย (หรือแม้กระทั่งว่าไม่ใช่ Bayesian)? (เช่นดูสิ่งนี้หรือสิ่งนี้ )
3. การตรวจสอบนี้มีประโยชน์อะไรบ้าง? สามารถใช้กับการเลือกแบบจำลองได้จริงหรือไม่? (เช่นมีปัจจัยทั้งในเรื่องความฟิตและความซับซ้อนของโมเดลหรือไม่)

ตรวจสอบคำทำนายหลังเป็นคำง่ายๆ "จำลองข้อมูลที่จำลองแบบภายใต้รูปแบบที่ติดตั้งแล้วเปรียบเทียบกับข้อมูลที่สังเกต" ( Gelman and Hill, 2007, p. 158 ) ดังนั้นคุณใช้การคาดการณ์หลังเพื่อ "มองหาความแตกต่างที่เป็นระบบระหว่างข้อมูลจริงและข้อมูลจำลอง" ( Gelman et al. 2004, p. 169 )

มีข้อโต้แย้งเกี่ยวกับ "การใช้ข้อมูลเป็นครั้งที่สอง" คือการที่คุณใช้ข้อมูลของคุณสำหรับการประเมินรูปแบบแล้วสำหรับการตรวจสอบถ้ารูปแบบเหมาะกับข้อมูลในขณะที่โดยทั่วไปมันเป็นความคิดที่ไม่ดีและมันจะดีกว่าที่จะตรวจสอบรูปแบบของคุณกับข้อมูลภายนอกที่ไม่ได้ใช้สำหรับการประเมิน

การตรวจสอบแบบทำนายล่วงหน้ามีประโยชน์ในการประเมินว่าแบบจำลองของคุณให้การคาดการณ์ที่ "ถูกต้อง" เกี่ยวกับความเป็นจริงหรือไม่ - พวกมันเหมาะสมกับข้อมูลที่สังเกตหรือไม่ มันเป็นขั้นตอนที่มีประโยชน์ของการสร้างแบบจำลองและการตรวจสอบ มันไม่ได้ให้คำตอบที่ชัดเจนว่าแบบจำลองของคุณเป็น "ok" หรือถ้าเป็น "ดีกว่า" แล้วแบบจำลองอื่น ๆ จะช่วยให้คุณตรวจสอบว่าแบบจำลองของคุณเหมาะสมหรือไม่

นี่อธิบายไว้เป็นอย่างดีในLapacesDemon vignette Bayesian Inference :

การเปรียบเทียบการแจกแจงการทำนายกับข้อมูลที่สังเกตได้มักจะเรียกว่า การตรวจสอบประเภทนี้รวมถึงความไม่แน่นอนที่เกี่ยวข้องกับพารามิเตอร์โดยประมาณของโมเดลซึ่งแตกต่างจากสถิติที่ใช้บ่อย$y^\text{rep}$$y$

การตรวจสอบการทำนายหลัง (ผ่านการกระจายการทำนาย) เกี่ยวข้องกับการใช้ข้อมูลซ้ำซ้อนซึ่งเป็นการละเมิดหลักการความน่าจะเป็น อย่างไรก็ตามการโต้เถียงได้รับการสนับสนุนจากการตรวจสอบการคาดการณ์หลังโดยมีเงื่อนไขว่าการใช้งานจะถูก จำกัด ในการวัดความคลาดเคลื่อนในการศึกษาความเพียงพอของแบบจำลองไม่ใช่สำหรับการเปรียบเทียบแบบจำลองและการอนุมาน (Meng 1994)

Gelman แนะนำในระดับพื้นฐานที่สุดเพื่อเปรียบเทียบกับโดยมองหาความแตกต่างอย่างเป็นระบบซึ่งอาจบ่งชี้ถึงความล้มเหลวของโมเดล (Gelman et al. 2004, p. 159) มันก็มักจะเป็นครั้งแรกขอแนะนำเปรียบเทียบแปลงกราฟิกเช่นการกระจายของ และ{}$y^\text{rep}$$y$$y$$y^\text{rep}$