การป้องกันการสุ่มตัวอย่างสำคัญของ Pareto ทำให้ราบรื่น (PSIS-LOO) จากความล้มเหลว

เมื่อเร็ว ๆ นี้ฉันเริ่มใช้การสุ่มตัวอย่างความสำคัญแบบพาเรนต์แบบเรียบง่ายจาก Pareto การตรวจสอบความถูกต้องแบบ cross-one-out (PSIS-LOO) ที่อธิบายไว้ในเอกสารเหล่านี้:

• Vehtari, A. , & Gelman, A. (2015) การสุ่มตัวอย่างสำคัญของ Pareto ทำให้ราบรื่น พิมพ์ล่วงหน้า arXiv ( ลิงก์ )
• Vehtari, A. , Gelman, A. , & Gabry, J. (2016) การประเมินรูปแบบเบย์ในทางปฏิบัติโดยใช้การตรวจสอบความถูกต้องแบบลาก่อนและ WAIC คำนำหน้า arXiv ( ลิงก์ )

สิ่งนี้แสดงให้เห็นถึงวิธีการที่น่าสนใจอย่างมากในการประเมินแบบจำลองนอกตัวอย่างเนื่องจากช่วยให้สามารถทำการ LOO-CV ด้วยการเรียกใช้ MCMC เดียวและถูกกล่าวหาว่าดีกว่าเกณฑ์ข้อมูลที่มีอยู่เช่น WAIC

$\hat{k}_i$$\hat{k}_i \gtrsim 0.7$

น่าเศร้าที่ฉันพบว่าในการใช้วิธีการนี้กับปัญหาของฉันสำหรับโมเดลส่วนใหญ่ที่น่าสนใจฉันพบว่า$\hat{k}_i \gg 0.7$ใหญ่ ไม่น่าแปลกใจที่รายงานความน่าจะเป็นบางอย่างของ Log รายงานนั้นค่อนข้างไร้สาระ (เทียบกับชุดข้อมูลอื่น) ในฐานะที่เป็นการตรวจสอบอีกครั้งฉันได้ทำการตรวจสอบความถูกต้องแบบข้าม 10 ครั้งแบบดั้งเดิม (และใช้เวลานาน) พบว่าในกรณีข้างต้น PSIS-LOO ให้ผลที่ผิดพลาดอย่างมาก -fold CV สำหรับรุ่นที่$\hat{k}_i \ll 0.7$ ) สำหรับบันทึกฉันใช้MATLAB ในการใช้งาน PSIS-LOO โดย Aki Vehtari

บางทีฉันอาจโชคร้ายมากที่ปัญหาปัจจุบันและแรกของฉันที่ฉันใช้วิธีนี้คือ "ยาก" สำหรับ PSIS-LOO แต่ฉันสงสัยว่ากรณีนี้อาจเป็นเรื่องธรรมดา สำหรับกรณีเช่นของฉันกระดาษ Vehtary, Gelman & Gabry เพียงแค่พูดว่า:

แม้ว่าค่า PSIS นั้นจะมีความแปรปรวนแน่นอนเมื่อผู้ใช้ควรพิจารณาการสุ่มตัวอย่างโดยตรงจากสำหรับปัญหาใช้ -fold cross- การตรวจสอบหรือใช้รูปแบบที่แข็งแกร่งมากขึ้น$\hat{k} > 0.7$$p(\theta^s |y_{−i})$$i$$k$

สิ่งเหล่านี้เห็นได้ชัด แต่ไม่ใช่วิธีการแก้ปัญหาในอุดมคติเพราะพวกเขาใช้เวลานานหรือต้องการเล่นซอเพิ่มเติม (ฉันขอขอบคุณที่ MCMC และการประเมินแบบจำลองล้วนเกี่ยวกับการเล่นซอ แต่สิ่งที่ดีกว่า)

มีวิธีการทั่วไปที่เราสามารถใช้ล่วงหน้าเพื่อพยายามป้องกันไม่ให้ PSIS-LOO ล้มเหลวหรือไม่? ฉันมีความคิดเบื้องต้นบางอย่าง แต่ฉันสงสัยว่ามีวิธีแก้ปัญหาเชิงประจักษ์ที่ผู้คนใช้กันอยู่แล้ว

สำหรับบันทึกที่ผมโพสต์คำถามคล้ายกับสแตนรายชื่อผู้ใช้ทางที่คุณสามารถหาได้ที่นี่ ฉันได้รับคำตอบจากหนึ่งในผู้เขียนกระดาษต้นฉบับ PSIS-LOO และผู้เขียนคนอื่นของสแตน สิ่งที่ตามมาคือสรุปส่วนตัวของฉัน

คำตอบสั้น ๆ คือไม่มีวิธีการทั่วไปที่รู้จักกันเพื่อป้องกัน PSIS-LOO จากความล้มเหลว ถ้า PSIS-LOO ล้มเหลวนั่นเป็นเพราะโมเดลมีปัญหาและการแก้ไขนั้นจำเป็นต้องทิ้งไว้กับผู้ใช้

โดยเฉพาะอย่างยิ่งเหตุผลที่ PSIS-LOO อาจล้มเหลวมักเกิดจากการกระจายอย่างน้อยหนึ่งครั้งนั้นถูกเลื่อนและ / หรือกว้างกว่าหลังเต็มรูปแบบน่าจะเกิดจากการสังเกตที่มีอิทธิพล

ฉันคิดว่าคุณสามารถลองใช้วิธีการแบ่งเบาบรรเทาด้านหลังในรูปแบบบางอย่างเพื่อแก้ปัญหานี้ ความคิดไม่จำเป็นต้องผิด แต่มันก็ชี้ให้เห็นว่า:

• ตำราเรียนการแบ่งเบาบรรเทาหลังยังคงต้องใช้จำนวนมากโดยกรณีเล่นซอเพื่อหาระดับอุณหภูมิที่เหมาะสมเนื่องจากไม่มีวิธีที่ชัดเจนและไม่ทราบวิธีการทำ (โดยบังเอิญด้วยเหตุนี้สแตนไม่ได้รวมการแบ่งเบาคู่ขนาน);
• หากคุณใช้ระดับอุณหภูมิมากกว่าสองระดับ (เนื่องจากอาจจำเป็นต้องมีวิธีการที่แข็งแกร่ง) วิธีการคำนวณต้นทุนขั้นสุดท้ายที่ใช้ในการตรวจสอบความถูกต้อง K-fold หรือการใช้ MCMC ในการแจกแจงลูปที่มีปัญหา

กล่าวโดยย่อหาก PSIS-LOO ล้มเหลวดูเหมือนว่าจะยากที่จะได้รับวิธีการที่มีความแข็งแกร่งและทั่วไปเหมือนกับซอฟต์แวร์แก้ไขอย่างง่ายอื่น ๆ นั่นคือเหตุผลที่ Vehtari, Gelman & Gabry แนะนำวิธีการเหล่านั้นตามใบเสนอราคาที่ฉันโพสต์ในคำถามเดิมของฉัน