ความเสถียรของการตรวจสอบข้ามในแบบจำลองเบย์

ฉันเหมาะสม Bayesian HLM ใน JAGS โดยใช้การตรวจสอบความถูกต้องข้ามแบบ k-fold (k = 5) ฉันต้องการทราบว่าการประมาณค่าพารามิเตอร์นั้นเสถียรในทุกเท่าหรือไม่ วิธีที่ดีที่สุดในการทำเช่นนี้คืออะไร? $\beta$

แนวคิดหนึ่งคือการค้นหาความแตกต่างของ posteriorsและดูว่า 0 อยู่ใน 95% CI ของความแตกต่างหรือไม่ กล่าวอีกนัยหนึ่งคือ 0 ในช่วง 95% ของ (จากนั้นทำซ้ำสำหรับทุกคู่เท่า) $\beta$ $\beta_{k=1}-\beta_{k=2}$

อีกแนวคิดหนึ่งคือปฏิบัติต่อผู้โพสต์จากแต่ละวงในฐานะโซ่ MCMC ที่แตกต่างกันและเพื่อคำนวณ (ศักยภาพการลดสเกลปัจจัย) ของเจลแมนทั่วโซ่หลอกเหล่านี้ $\hat{R}$

เป็นหนึ่งในสิ่งที่ดีกว่าและมีทางเลือกอื่นหรือไม่?

bayesian cross-validation

— แจ็คแทนเนอร์
แหล่งที่มา

รู้สึกแปลก ๆ ที่จะเห็นว่าศูนย์ใดเป็นความแตกต่างที่น่าเชื่อถืออย่างแน่นอนคุณคาดหวังว่าจะมีความแตกต่างระหว่างรอยพับ ข้อเสนอแนะอย่างหนึ่งก็คือการคำนวณค่าประมาณของสำหรับแต่ละเท่าและดูการแพร่กระจายของสิ่งเหล่านี้

β

$\beta$

— Rasmus Bååth

เพียงแค่ความคิดเห็นทั่วไปเกี่ยวกับการตรวจสอบข้ามและสิ่งที่เบย์: ทำไมไม่เพียงแค่คำนวณ WAIC? มันเทียบเท่ากับ LOOCV แบบไม่แสดงอาการและคุณยังสามารถใช้ข้อมูลทั้งหมดของคุณได้

— Brash Equilibrium

คุณจะสร้างแบบจำลองหลังของ

อย่างไร

β_{k = 1} - β_{k = 2}

$\beta_{k=1}-\beta_{k=2}$

— Stéphane Laurent

ในการทดสอบของเราในโรงงานเดิมของเราเราต้องพิสูจน์ว่าการสูญเสียผลผลิต 0% อยู่ใน 95% CI คำถามตัวอย่างที่เพียงพออิสระและธรรมชาติของการทดสอบทวินามนั้นมีอยู่ คุณสามารถให้ความเห็นว่าขนาดตัวอย่างของคุณคืออะไร

— EngrStudent - Reinstate Monica

คำตอบ:

ฉันไม่ทราบว่าสิ่งนี้มีคุณสมบัติเป็นความคิดเห็นหรือเป็นคำตอบ ฉันใส่ที่นี่เพราะมันรู้สึกเหมือนคำตอบ

ในการตรวจสอบข้าม k-fold คุณกำลังแบ่งพาร์ติชันข้อมูลของคุณออกเป็นกลุ่ม k หากคุณครอบคลุมแม้แต่ "พื้นฐาน" คุณจะสุ่มเลือกสมาชิกสำหรับถัง k แต่ละชุดอย่างสม่ำเสมอ

เมื่อฉันพูดถึงข้อมูลฉันคิดว่าแต่ละแถวเป็นตัวอย่างและแต่ละคอลัมน์เป็นมิติข้อมูล ฉันเคยใช้วิธีการต่าง ๆ เพื่อกำหนดความสำคัญของตัวแปรความสำคัญของคอลัมน์

ถ้าคุณเป็นแบบฝึกหัดที่คิดแล้วคุณจะออกไปจาก "ตำราเรียน" แบบสุ่มและกำหนดว่าแถวไหนสำคัญ? บางทีพวกเขาอาจแจ้งตัวแปรเดียวในแต่ละครั้ง แต่พวกเขาอาจแจ้งให้ทราบเพิ่มเติม มีบางแถวที่มีความสำคัญน้อยกว่าแถวอื่น ๆ หรือไม่? อาจมีหลายจุดที่ให้ข้อมูลบางทีอาจมีน้อย

รู้ถึงความสำคัญของตัวแปรบางทีคุณอาจเลือกถังขยะด้วยความสำคัญ บางทีคุณอาจสร้าง bin เดียวด้วยตัวอย่างที่สำคัญที่สุด สิ่งนี้สามารถกำหนดขนาดของ "k" ของคุณ ด้วยวิธีนี้คุณจะสามารถกำหนด kth "ที่ให้ข้อมูลมากที่สุด" และเปรียบเทียบกับที่อื่น ๆ และเทียบกับที่เก็บข้อมูลที่น้อยที่สุด

สิ่งนี้จะทำให้คุณทราบถึงความแปรปรวนสูงสุดของพารามิเตอร์โมเดลของคุณ มันเป็นเพียงรูปแบบเดียว

วิธีที่สองในการแยกถัง kth คือขนาดและทิศทางของอิทธิพล ดังนั้นคุณสามารถใส่ตัวอย่างที่แกว่งพารามิเตอร์หรือพารามิเตอร์ในทิศทางเดียวลงในที่เก็บข้อมูลเดียวและใส่ตัวอย่างที่แกว่งพารามิเตอร์หรือพารามิเตอร์เดียวกันในทิศทางตรงกันข้ามลงในที่เก็บข้อมูลที่แตกต่างกัน

การแปรผันของพารามิเตอร์ในแบบฟอร์มนี้อาจให้การกวาดล้างตัวแปรได้กว้างขึ้นโดยไม่ขึ้นกับความหนาแน่นของข้อมูล แต่เป็นการรวบรวมข้อมูล

ขอให้โชคดี

— EngrStudent - Reinstate Monica
แหล่งที่มา

อาจไม่ใช่คำตอบที่สมบูรณ์ แต่ถ้า 0 ไม่อยู่ใน 95% CI สำหรับความแตกต่างหลายอย่างค่อนข้างปลอดภัยที่จะบอกว่าพวกเขาไม่เหมือนกันที่ระดับ 0.05

— เดนนิส Jaheruddin
แหล่งที่มา