ควรเปรียบเทียบแบบจำลองเอฟเฟกต์ผสมและหรือตรวจสอบความถูกต้องอย่างไร

รุ่นเอฟเฟกต์ผสม (เชิงเส้น) เป็นอย่างไรเมื่อเปรียบเทียบกับแบบอื่น ฉันรู้ว่าสามารถใช้การทดสอบอัตราส่วนความน่าจะเป็นได้ แต่วิธีนี้ไม่ได้ผลหากแบบจำลองหนึ่งไม่ใช่ 'ส่วนย่อย' ของแบบจำลองอื่นที่ถูกต้องหรือไม่

การประมาณของตัวแบบ df นั้นตรงไปตรงมาเสมอหรือไม่? จำนวนผลกระทบคงที่ + จำนวนองค์ประกอบความแปรปรวนโดยประมาณ? เราเพิกเฉยต่อการประมาณผลกระทบแบบสุ่มหรือไม่?

สิ่งที่เกี่ยวกับการตรวจสอบ? ความคิดแรกของฉันคือการตรวจสอบข้าม แต่การพับแบบสุ่มอาจไม่ทำงานเนื่องจากโครงสร้างของข้อมูล วิธีการของ 'ปล่อยให้หนึ่งวิชา / กลุ่มออก' เหมาะสมหรือไม่? สิ่งที่เกี่ยวกับการออกจากการสังเกตหนึ่ง

Mallows Cp สามารถตีความได้ว่าเป็นการประมาณการข้อผิดพลาดในการทำนายแบบจำลอง การเลือกแบบจำลองผ่าน AIC พยายามลดข้อผิดพลาดในการคาดการณ์ให้น้อยที่สุด (ดังนั้น Cp และ AIC ควรเลือกแบบจำลองเดียวกันหากข้อผิดพลาดคือ Gaussian ฉันเชื่อ) นี่หมายความว่า AIC หรือ Cp สามารถใช้เพื่อเลือกโมเดลเอฟเฟกต์เชิงเส้น 'ที่ดีที่สุด' จากการรวบรวมโมเดลที่ไม่ซ้อนกันบางส่วนในแง่ของการคาดการณ์ข้อผิดพลาดหรือไม่? (หากพวกเขาสอดคล้องกับข้อมูลเดียวกัน) BIC ยังคงมีแนวโน้มที่จะเลือกรูปแบบ 'ของจริง' ในบรรดาผู้สมัครหรือไม่?

ฉันยังอยู่ภายใต้ความประทับใจว่าเมื่อเปรียบเทียบโมเดลเอฟเฟกต์ผสมผ่าน AIC หรือ BIC เราจะนับเฉพาะเอฟเฟกต์คงที่เป็น 'พารามิเตอร์' ในการคำนวณไม่ใช่โมเดลจริง df

มีวรรณคดีที่ดีในหัวข้อเหล่านี้หรือไม่? การสอบสวน cAIC หรือ mAIC นั้นคุ้มค่าหรือไม่ พวกเขามีแอปพลิเคชันเฉพาะนอก AIC หรือไม่

ปัญหาหลักในการเลือกแบบจำลองในแบบผสมคือการกำหนดองศาอิสระ (df) ของแบบจำลองอย่างแท้จริง ในการคำนวณ df ของตัวแบบผสมนั้นจะต้องกำหนดจำนวนของพารามิเตอร์โดยประมาณรวมถึงเอฟเฟกต์แบบคงที่และแบบสุ่ม และสิ่งนี้ไม่ตรงไปตรงมา บทความนี้โดย Jiming Jiang และคนอื่น ๆ (2008) ที่มีชื่อว่า "วิธีการรั้วสำหรับการเลือกแบบผสม" สามารถนำไปใช้ในสถานการณ์เช่นนี้ได้ งานที่เกี่ยวข้องใหม่นี้เป็นหนึ่งโดย Greven เอส & Kneib, T. (2010) ได้รับสิทธิ "ในการทำงานของขอบและเงื่อนไข AIC ในหลากหลายรูปแบบเชิงเส้น" หวังว่านี่จะเป็นประโยชน์

วิธีหนึ่งในการเปรียบเทียบแบบจำลอง (ไม่ว่าจะผสมหรืออย่างอื่น) คือการพล็อตผลลัพธ์ สมมติว่าคุณ havae แบบ A และแบบ B; ผลิตค่าติดตั้งจากแต่ละและกราฟพวกเขากับแต่ละอื่น ๆ ในพล็อตกระจาย หากค่าใกล้เคียงกันมาก (ใช้วิจารณญาณของคุณว่าเป็นจริงหรือไม่) ให้เลือกแบบจำลองที่ง่ายกว่า อีกแนวคิดหนึ่งคือการหาความแตกต่างระหว่างค่าติดตั้งและกราฟเหล่านี้เทียบกับค่าอิสระ คุณสามารถสร้างความหนาแน่นของความแตกต่าง โดยทั่วไปฉันเป็นผู้แสดงที่ไม่ได้ใช้การทดสอบทางสถิติเพื่อเปรียบเทียบแบบจำลอง (แม้ว่า AIC และตัวแปรจะมีคุณธรรม) แต่ใช้วิจารณญาณ แน่นอนว่าสิ่งนี้มีข้อได้เปรียบ (ไม่) ในการไม่ให้คำตอบที่แม่นยำ