วิธีตอบสนองต่อผู้ตรวจสอบที่ขอค่า p ในโมเดลหลายระดับแบบเบย์?

เราถูกผู้ตรวจสอบขอให้จัดทำค่า p เพื่อทำความเข้าใจกับการประมาณการแบบจำลองในแบบจำลองหลายระดับแบบเบย์ของเรา แบบจำลองเป็นแบบอย่างของการสังเกตหลายครั้งต่อผู้เข้าร่วมในการทดสอบ เราประเมินโมเดลด้วยสแตนเพื่อให้เราสามารถคำนวณสถิติหลังเพิ่มเติมได้อย่างง่ายดาย ขณะนี้เรากำลังรายงาน (ภาพและในตาราง) การประมาณค่าเฉลี่ยและปริมาณ 0.025 และ 0.975

การตอบสนองของฉันจนถึงขณะนี้จะรวมถึง:

1. ค่า P ไม่สอดคล้องกับตัวแบบเบย์เช่น$P(X|\theta) \neq P(\theta|X).$
2. จากหลังเราสามารถคำนวณความน่าจะเป็นของพารามิเตอร์ที่มีขนาดใหญ่กว่า (เล็กกว่า) ได้มากกว่า 0 ซึ่งดูเหมือนเป็นค่า p แบบดั้งเดิมเล็กน้อย

คำถามของฉันคือว่านี่คือการตอบสนองที่สามารถตอบสนองผู้ตรวจสอบหรือมันจะทำให้เกิดความสับสนมากขึ้น?

อัปเดต 10 ตุลาคม: เราเขียนบทความใหม่พร้อมคำแนะนำในใจ กระดาษได้รับการยอมรับดังนั้นฉันจะย้ำความคิดเห็นก่อนหน้าของฉันว่านี่เป็นคำแนะนำที่เป็นประโยชน์จริงๆ!

ประการแรกการชี้แจงอย่างรวดเร็ว: ถึงแม้ว่าความเป็นไปได้นั้นไม่ใช่ส่วนหลัง แต่ p-values ​​นั้นไม่ได้ขัดแย้งกับการอนุมานแบบเบย์มากนักโดยปกติจะเป็นเพียงสิ่งที่แตกต่างกันด้วยเหตุผลทั้งหมดที่ช่วงความเชื่อมั่นอาจหรือไม่สอดคล้องกับช่วงเวลาที่น่าเชื่อถือ (แม้ว่าจะไม่จำเป็นต้องเป็นสิ่งที่แตกต่างอย่างสิ้นเชิงดังที่แสดงโดยการตรวจสอบการคาดการณ์ด้านหลังซึ่งเกี่ยวข้องกับค่า p)

อย่างไรก็ตามฉันเดาว่าระดับความซับซ้อนนี้ไม่ใช่สิ่งที่ผู้ตรวจสอบมีอยู่ในใจ ฉันเดาว่าพวกเขาแค่ 'รู้' ว่าแบบจำลองทางสถิติมีความหมายว่ามีค่า p ดังนั้นพวกเขาจึงถามพวกเขา ดังนั้นคำถามยังคงอยู่: จะตอบอย่างไร

เมื่อ 'ผู้ตรวจทานต้องการตัว X' ฉันพบว่ามันมีประโยชน์ที่จะถามคำถามที่เกี่ยวข้องกับตัวเองสองข้อ:

1. แรงจูงใจ: พวกเขาต้องการให้ X ทำอะไรให้พวกเขา

2. การสร้างใหม่อย่างมีเหตุผล: สิ่งที่มีเหตุผลคล้ายกันที่สุดที่พวกเขาอาจขอแทน X ได้หากพวกเขาต้องการทำสิ่งนั้น?

จากนั้นให้พวกเขาว่าแทน

ข้อได้เปรียบของผู้ตรวจสอบที่โง่เขลา (ซึ่งอาจเป็นคนฉลาดและถูกต้องเกี่ยวกับกระดาษ) ก็คือพวกเขาไม่ค่อยมีความคิดที่ชัดเจนว่าพวกเขาหมายถึงอะไรเมื่อพวกเขาถามหา X ซึ่งหมายความว่าถ้าคุณสร้างพวกเขาถามคำถามที่ดีกว่า จะเป็นเนื้อหาที่จะเห็นคุณตอบมันแทน

ในกรณีของคุณอาจเป็นไปได้ว่าผู้ตรวจทานต้องการการวิเคราะห์ความถี่คู่ขนานแม้ว่าฉันจะสงสัยก็ตาม สิ่งที่ฉันคิดว่าคุณต้องการร่วมงานด้วยคือคำแนะนำของผู้ตรวจสอบว่าพวกเขาต้องการค่า p เป็น 'เพื่อให้เข้าใจแบบจำลอง' ดีขึ้น ฉันคิดว่างานของคุณคือการแยกวิเคราะห์ในลักษณะที่ทำให้ผู้ตรวจสอบฟังดูฉลาด สันนิษฐานว่ามีประโยคต่อไปนี้ไม่กี่สิ่งที่ไม่ชัดเจนจากกระดาษ บางทีอาจมีเอฟเฟกต์ที่น่าสนใจสำหรับผู้ตรวจสอบซึ่งไม่สามารถสร้างขึ้นใหม่จากระยะขอบพารามิเตอร์ของคุณหรือปริมาณบางอย่างที่จะให้ความสว่างแก่สิ่งที่แบบจำลองจะพูดเกี่ยวกับกรณีที่สนใจกับพวกเขา

หากคุณสามารถระบุข้อกังวลเหล่านี้ได้จากนั้นคุณสามารถสรุปคำตอบของคุณในแบบฟอร์มต่อไปนี้ (คำขอต้นฉบับในวงเล็บเหลี่ยม):

"ผู้ตรวจสอบ [เรียกร้องค่า p-value สำหรับเงื่อนไขการตอบโต้] กังวลว่ามันไม่ชัดเจนจากการนำเสนอของเราว่า A มีความหลากหลายกับ B อย่างไรดังนั้นในรูปที่ 2 เราแสดง ... " หรือ "ผู้ตรวจสอบสงสัยว่า สมมติฐานที่ว่าเอฟเฟ็กต์ของ A เป็นศูนย์] เกี่ยวกับทิศทางของเอฟเฟ็กต์ของ A. ตารางที่ 3 แสดงให้เห็นว่าแบบจำลองนี้ให้ความน่าจะเป็น 99% ว่านี่เป็นเชิงลบ "หรือ" ผู้วิจารณ์วิจารณ์ว่า มีเพียง A] เปรียบเทียบกับแบบจำลองของเราที่มีเพียง A. เราตอบคำถามนี้โดยเปรียบเทียบกับ ... โดยใช้ DIC / คำนวณ a Bayes Factor / แสดงการอนุมานของเราเกี่ยวกับ A นั้นแข็งแกร่งสำหรับการรวม B "เป็นต้น

ในแต่ละกรณีจะมีการแปลคำขอดั้งเดิมและคำตอบอย่างใกล้ชิด

Caveats: กลยุทธ์นี้ดูเหมือนว่าจะทำงานได้ดีที่สุดเมื่อผู้ตรวจสอบเป็นผู้เชี่ยวชาญในเรื่องที่มีความเข้าใจในสถิติค่อนข้างต่ำ มันไม่ได้ทำงานร่วมกับนักวิจารณ์ที่มีความซับซ้อนทางสถิติที่ระบุตัวตนของตนเองซึ่งต้องการ X จริงๆเพราะพวกเขาชอบ Xs หรืออ่านเกี่ยวกับพวกเขาที่อื่น ฉันไม่มีข้อเสนอแนะสำหรับหลัง

ในที่สุดฉันขอแนะนำว่าอย่าพูดอะไรเกี่ยวกับศาสนาแม้แต่เล็กน้อยเกี่ยวกับเบย์ซึ่งเป็นกระบวนทัศน์ที่แตกต่างกันและคำถามของผู้ตรวจสอบก็ไม่มีเหตุผลอะไร แม้ว่าสิ่งนี้จะเป็นจริงมันทำให้ทุกคนไม่พอใจที่ไม่ได้รับผลประโยชน์ที่แท้จริง