เมื่อใดที่ฉัน * ไม่ * อนุญาตให้เอฟเฟกต์คงที่เพื่อเปลี่ยนแปลงระดับเอฟเฟกต์แบบสุ่มในโมเดลเอฟเฟกต์ผสม

16

ด้วยตัวแปรที่คาดการณ์ (P), เอฟเฟกต์แบบสุ่ม (R) และเอฟเฟกต์คงที่ (F) เราสามารถใส่เอฟเฟกต์ผสม * สองรูปแบบ ( ไวยากรณ์lme4 ):

m1 = lmer( P ~ (1|R) + F )
m2 = lmer( P ~ (1+F|R) + F)

ตามที่ฉันเข้าใจแล้วรุ่นที่สองคือรุ่นที่อนุญาตให้เอฟเฟกต์คงที่ในระดับที่แตกต่างกันของเอฟเฟกต์แบบสุ่ม

ในการวิจัยของฉันฉันมักจะใช้แบบจำลองเอฟเฟกต์ผสมเพื่อวิเคราะห์ข้อมูลจากการทดลองที่ดำเนินการในผู้เข้าร่วมหลายคน ฉันจำลองผู้เข้าร่วมว่าเป็นเอฟเฟกต์แบบสุ่มและการทดลองเชิงทดลองเป็นเอฟเฟกต์คงที่ ฉันคิดว่ามันสมเหตุสมผลแล้วที่จะให้ระดับที่เอฟเฟกต์คงที่มีผลต่อประสิทธิภาพในการทดสอบนั้นแตกต่างกันไปตามผู้เข้าร่วม อย่างไรก็ตามฉันมีปัญหาในการจินตนาการภายใต้สถานการณ์ที่ฉันไม่ควรอนุญาตให้มีผลกระทบคงที่ในระดับที่แตกต่างกันของผลสุ่มดังนั้นคำถามของฉันคือ:

เมื่อใดที่เราไม่ควรอนุญาตให้ใช้เอฟเฟกต์คงที่ในการปรับระดับเอฟเฟกต์แบบสุ่ม

mixed-model

— ไมค์ลอเรนซ์
แหล่งที่มา

ฉันยังไม่เข้าใจไวยากรณ์ lme4 อย่างสมบูรณ์ดังนั้นฉันอยากรู้คำตอบ แต่ฉันมีลางสังหรณ์ที่เกี่ยวข้องกับความแตกต่างดังต่อไปนี้: P คือระยะเวลาที่นักเรียนใช้ทำการบ้าน R คือการรักษาในระดับชั้นเรียนและ F คือนักเรียน (เราควรให้เอฟเฟกต์แบบสุ่มสำหรับชั้นเรียนด้วย) ถ้านักเรียนทุกคนต้องได้รับการรักษา R ทุกครั้งที่แตกต่างกันระดับของ F จะเทียบเคียงกันในแต่ละชั้น หากเราวัดทั้งโรงเรียนพร้อมกันเรามีนักเรียนที่แตกต่างกันในแต่ละชั้นเรียนดังนั้นระดับ F ในชั้นเรียนที่แตกต่างกันจึงไม่มีอะไรเกี่ยวข้องกัน

— โทมัสเลวีน

11

ฉันไม่ใช่ผู้เชี่ยวชาญในการสร้างแบบจำลองเอฟเฟกต์แบบผสม แต่คำถามจะตอบได้ง่ายกว่าหากถูกนำมาใช้ซ้ำในบริบทการสร้างแบบจำลองการถดถอยเชิงลำดับชั้น ดังนั้นการสังเกตของเราจึงมีสองดัชนีและกับ index แสดงถึงสมาชิกคลาสและสมาชิกของคลาส โมเดลลำดับชั้นทำให้เราพอดีกับการถดถอยเชิงเส้นที่ค่าสัมประสิทธิ์แปรผันไปตามแต่ละคลาส: $P_{ij}$ $F_{ij}$ $i$ $j$

Y_{i j} = β_{0 i} + β_{1 i} F_{i j}

$Y_{ij}=\beta_{0i}+\beta_{1i}F_{ij}$

นี่คือการถดถอยระดับแรกของเรา การถดถอยระดับที่สองจะทำในสัมประสิทธิ์การถดถอยครั้งแรก:

\begin{aligned} β_{0 i} & = γ_{00} + u_{0 i} \\ β_{1 i} & = γ_{01} + u_{1 i} \end{aligned}

$\begin{align*} \beta_{0i}&=\gamma_{00}+u_{0i}\\ \beta_{1i}&=\gamma_{01}+u_{1i} \end{align*}$

เมื่อเราแทนที่สิ่งนี้ในการถดถอยระดับแรกเราจะได้

\begin{aligned} Y_{i j} & = (γ_{0} + u_{0 i}) + (γ_{01} + u_{1 i}) F_{i j} \\ = γ_{0} + u_{0 i} + u_{1 i} F_{i j} + γ_{01} F_{i j} \end{aligned}

$\begin{align*} Y_{ij}&=(\gamma_0+u_{0i})+(\gamma_{01}+u_{1i})F_{ij}\\ &=\gamma_0+u_{0i}+u_{1i}F_{ij}+\gamma_{01}F_{ij} \end{align*}$

$\gamma$ $u$ $\gamma$ $u$

รูปแบบที่ฉันเขียนลงนั้นสอดคล้องกับlmerไวยากรณ์

P ~ (1+F|R) + F

$\beta_{1i}=\gamma_{01}$

\begin{aligned} Y_{i j} = γ_{0} + u_{0 i} + γ_{01} F_{i j} \end{aligned}

$\begin{align*} Y_{ij}=\gamma_0+u_{0i}+\gamma_{01}F_{ij} \end{align*}$

ซึ่งสอดคล้องกับlmerไวยากรณ์

P ~ (1|R) + F

ดังนั้นตอนนี้คำถามจะกลายเป็นเมื่อเราสามารถแยกคำผิดพลาดออกจากการถดถอยระดับที่สองได้หรือไม่ คำตอบที่ยอมรับได้คือเมื่อเราแน่ใจว่า regressors (ที่นี่เราไม่ได้มี แต่เราสามารถรวมพวกเขาพวกเขาเป็นค่าคงที่ในชั้นเรียนตามธรรมชาติ) ในการถดถอยระดับที่สองอธิบายความแปรปรวนของสัมประสิทธิ์ในชั้นเรียนอย่างเต็มที่

$F_{ij}$ $u_{1i}$

หมายเหตุ ฉันแค่ให้คำอธิบายเกี่ยวกับพีชคณิตเท่านั้น แต่ฉันคิดว่าการนึกถึงมันง่ายกว่าที่จะนึกถึงตัวอย่างที่ใช้โดยเฉพาะ

— mpiktas
แหล่งที่มา

สมการแรกควรมีเงื่อนไขข้อผิดพลาดเช่นกัน:

Y_{i j} = β_{0 i} + β_{1 i} F_{i j} + e_{i j}

$Y_{ij}=β_{0i}+β_{1i}F_{ij}+e_{ij}$

— Nikita Samoylov

ใช่ แต่ฉันละไว้เพื่อความชัดเจนฉันคิดว่า

— mpiktas

10

คุณสามารถนึกถึง "เอฟเฟกต์คงที่" เป็น "เอฟเฟ็กต์แบบสุ่ม" ที่มีองค์ประกอบผลต่างเป็นศูนย์

ดังนั้นคำตอบง่ายๆว่าทำไมคุณถึงไม่ยอมให้เอฟเฟกต์คงที่นั้นแตกต่างกันไปก็คือหลักฐานที่ไม่เพียงพอสำหรับองค์ประกอบความแปรปรวน "ใหญ่พอ" หลักฐานควรมาจากทั้งข้อมูลก่อนหน้าและข้อมูล สิ่งนี้สอดคล้องกับหลักการ "occam's razor" พื้นฐาน: อย่าทำให้แบบจำลองของคุณซับซ้อนเกินกว่าที่จะเป็น

ฉันมักจะคิดถึงโมเดลเชิงเส้นผสมในวิธีต่อไปนี้เขียนการถดถอยหลายแบบดังนี้

Y = X β + Z u + e

$Y=X\beta+Zu+e$

ดังนั้นคือส่วนที่ "คงที่" ของแบบจำลองคือส่วนที่ "สุ่ม" และคือรูปแบบ OLS ที่เหลือ เรามีสำหรับ "ผลสุ่ม" แปรปรวนพารามิเตอร์และI) สิ่งนี้ให้ผลมาตรฐานซึ่งหมายความว่าเรามี: $X\beta$ $Zu$ $e$ $u\sim N(0,D(\theta))$ $\theta$ $e\sim N(0,\sigma^{2}I)$ $(Zu+e)\sim N(0,ZD(\theta)Z^{T}+\sigma^{2}I)$

Y \sim N (X β, Z D (θ) Z^{T} + σ^{2} I)

$Y\sim N(X\beta,ZD(\theta)Z^{T}+\sigma^{2}I)$

เปรียบเทียบสิ่งนี้กับการถดถอย OLS (ซึ่งมี ) และเราจะได้รับ: $Z=0$

Y \sim N (X β, σ^{2} I)

$Y\sim N(X\beta,\sigma^{2}I)$

ดังนั้นส่วน "แบบสุ่ม" ของโมเดลสามารถมองเห็นเป็นวิธีการระบุข้อมูลก่อนหน้าเกี่ยวกับโครงสร้างความสัมพันธ์ของเสียงหรือองค์ประกอบข้อผิดพลาดในโมเดล OLS โดยทั่วไปถือว่าข้อผิดพลาดใด ๆ จากส่วนที่คงที่ของแบบจำลองในกรณีหนึ่งนั้นไม่มีประโยชน์สำหรับการทำนายข้อผิดพลาดอื่น ๆ แม้ว่าเราจะรู้ส่วนที่แน่นอนของแบบจำลองด้วยความมั่นใจก็ตาม การเพิ่มเอฟเฟกต์แบบสุ่มนั้นเป็นการบอกว่าคุณคิดว่าข้อผิดพลาดบางอย่างน่าจะมีประโยชน์ในการทำนายข้อผิดพลาดอื่น ๆ

— probabilityislogic
แหล่งที่มา

5

นี่เป็นคำถามเก่าที่มีคำตอบที่ดีมาก แต่ฉันคิดว่ามันสามารถได้รับประโยชน์จากคำตอบใหม่เพื่อตอบรับมุมมองที่เป็นจริงมากขึ้น

เมื่อใดที่เราไม่ควรอนุญาตให้ใช้เอฟเฟกต์คงที่ในการปรับระดับเอฟเฟกต์แบบสุ่ม

ฉันจะไม่แก้ไขปัญหาที่อธิบายไว้แล้วในคำตอบอื่น ๆ แต่ฉันจะอ้างถึงตอนนี้ที่มีชื่อเสียงถึงแม้ว่าฉันอยากจะพูดว่า "เสียชื่อ" บทความโดย Barr et al (2013) มักจะเรียกว่า "Keep it maximal"

Barr, DJ, Levy, R. , Scheepers, C. และ Tily, HJ, 2013. โครงสร้างผลแบบสุ่มสำหรับการทดสอบสมมติฐานยืนยัน: เก็บไว้ให้มากที่สุด วารสารหน่วยความจำและภาษา, 68 (3), pp.255-278

ในบทความนี้ผู้เขียนยืนยันว่าผลกระทบคงที่ทั้งหมดควรได้รับอนุญาตให้แตกต่างกันไปตามระดับของปัจจัยการจัดกลุ่ม (การสกัดแบบสุ่ม) ข้อโต้แย้งของพวกเขานั้นค่อนข้างน่าสนใจ - โดยพื้นฐานแล้วโดยที่ไม่ยอมให้พวกเขาเปลี่ยนแปลงมันเป็นข้อ จำกัด ของรูปแบบ นี่คือคำอธิบายที่ดีในคำตอบอื่น ๆ อย่างไรก็ตามอาจมีปัญหาร้ายแรงเกี่ยวกับวิธีการนี้ซึ่งอธิบายโดย Bates el al (2015):

เบตส์, D. , Kliegl, R. , Vasishth, S. และ Baayen, H. , 2015. แบบจำลองผสม พิมพ์ล่วงหน้าarXiv arXiv: 1506.04967

เป็นที่น่าสังเกตว่า Bates เป็นผู้เขียนหลักของlme4แพ็คเกจสำหรับรุ่นผสมที่เหมาะสมใน R ซึ่งอาจเป็นแพคเกจที่ใช้กันอย่างแพร่หลายสำหรับรุ่นดังกล่าว เบตส์เอตอัลโปรดทราบว่าในแอปพลิเคชันในโลกแห่งความเป็นจริงจำนวนมากข้อมูลจะไม่สนับสนุนโครงสร้างเอฟเฟกต์แบบสุ่มสูงสุดบ่อยครั้งเนื่องจากมีการสังเกตจำนวนไม่เพียงพอในแต่ละคลัสเตอร์สำหรับตัวแปรที่เกี่ยวข้อง สิ่งนี้สามารถประจักษ์เองในรูปแบบที่ล้มเหลวในการบรรจบกันหรือเป็นเอกพจน์ในลักษณะพิเศษแบบสุ่ม คำถามจำนวนมากในเว็บไซต์นี้เกี่ยวกับโมเดลดังกล่าวยืนยันได้ พวกเขายังทราบด้วยว่า Barr et al ใช้การจำลองที่ค่อนข้างง่ายโดยมีเอฟเฟกต์แบบสุ่ม "well-behaved" เป็นพื้นฐานสำหรับกระดาษของพวกเขา Bates et al แนะนำวิธีต่อไปนี้แทน:

เราเสนอ (1) เพื่อใช้ PCA เพื่อกำหนดมิติความแปรปรวนร่วม - ความแปรปรวนร่วมของโครงสร้างสุ่ม - ผล (2) เพื่อ จำกัด พารามิเตอร์ความสัมพันธ์เริ่มแรกให้เป็นศูนย์โดยเฉพาะอย่างยิ่งเมื่อความพยายามเริ่มต้นเพื่อให้พอดีกับแบบจำลองสูงสุด และ (3) เพื่อวางองค์ประกอบความแปรปรวนที่ไม่มีนัยสำคัญและพารามิเตอร์สหสัมพันธ์ที่เกี่ยวข้องจากโมเดล

ในกระดาษเดียวกันพวกเขายังทราบ:

ที่สำคัญความล้มเหลวในการบรรจบกันนั้นไม่ได้เกิดจากความบกพร่องของอัลกอริทึมการประมาณค่า แต่เป็นผลที่ตามมาจากการพยายามให้พอดีกับแบบจำลองที่ซับซ้อนเกินกว่าจะรองรับข้อมูลได้อย่างเหมาะสม

และ:

ไม่จำเป็นต้องใช้แบบจำลองสูงสุดเพื่อป้องกันข้อสรุปเชิงอนุรักษ์นิยม การป้องกันนี้จัดทำขึ้นอย่างสมบูรณ์โดยรุ่นที่ครอบคลุมซึ่งได้รับคำแนะนำจากความคาดหวังที่สมจริงเกี่ยวกับความซับซ้อนที่ข้อมูลสามารถรองรับได้ ในสถิติเช่นเดียวกับที่อื่น ๆ ในด้านวิทยาศาสตร์ความประหยัดเป็นคุณธรรมไม่ใช่เป็นรอง

Bates et al (2015)

จากมุมมองที่มีการนำมาใช้มากขึ้นการพิจารณาเพิ่มเติมที่ควรทำคือกระบวนการสร้างข้อมูลหรือไม่ทฤษฎีทางชีววิทยา / กายภาพ / เคมีที่รองรับข้อมูลควรเป็นแนวทาง

— โรเบิร์ตลอง
แหล่งที่มา

"บ่อยครั้งเนื่องจากมีจำนวนการสังเกตไม่เพียงพอในแต่ละกลุ่ม" คุณสามารถอธิบายเพิ่มเติมเกี่ยวกับเรื่องนี้ได้หรือไม่ ฉันคิดว่าจำนวนขั้นต่ำต่อคลัสเตอร์คือ 1? นี่คือคำตอบที่คุณยอมรับได้ที่นี่: stats.stackexchange.com/questions/388937/…

— LuckyPal

@ LuckyPal คำถามที่คุณเชื่อมโยงกับเป็นเรื่องเกี่ยวกับการสกัดกั้นแบบสุ่มอันนี้เป็นเรื่องเกี่ยวกับความลาดชันแบบสุ่ม คุณจะประเมินความชันสำหรับขนาดตัวอย่างที่ 1 ได้อย่างไร

— Robert Long

จุดที่ถ่าย ขอบคุณ! +1 แต่เราสามารถประมาณความชันคงที่ได้ด้วยการสังเกตเพียงครั้งเดียวต่อหนึ่งคลัสเตอร์ถ้ามีกลุ่มเพียงพอใช่ไหม ดูเหมือนว่าจะแปลกสักหน่อย บางทีเมื่อมีปัญหาการลู่เข้ากับความชันแบบสุ่มเนื่องจากขนาดตัวอย่างการประมาณค่าความชัน - ไม่ว่าจะเป็นการสุ่มหรือไม่ - อาจเป็นปัญหาโดยทั่วไปหรือไม่

— LuckyPal

@ LuckyPal ใช่การประมาณค่าความชันคงที่นั้นอยู่ในทุกกลุ่มดังนั้นจึงไม่ใช่ปัญหา ฉันยอมรับว่าการประมาณความชันแบบสุ่มกับกลุ่มเล็ก ๆ อาจทำให้เกิดปัญหาการลู่เข้า แต่ก็ไม่ควรส่งผลกระทบต่อการประเมินความชันคงที่

— Robert Long