เอฟเฟกต์คงที่และเอฟเฟกต์แบบสุ่มเมื่อความเป็นไปได้ทั้งหมดรวมอยู่ในรูปแบบเอฟเฟกต์แบบผสม

ในรูปแบบเอฟเฟ็กต์แบบผสมคำแนะนำคือการใช้เอฟเฟกต์แบบคงที่เพื่อประเมินพารามิเตอร์หากรวมระดับที่เป็นไปได้ทั้งหมด (เช่นทั้งชายและหญิง) ขอแนะนำให้ใช้เอฟเฟกต์แบบสุ่มเพื่ออธิบายตัวแปรหากระดับที่รวมอยู่เป็นเพียงตัวอย่างแบบสุ่มจากประชากร (ผู้ป่วยที่ลงทะเบียนจากจักรวาลของผู้ป่วยที่เป็นไปได้) และคุณต้องการประเมินค่าเฉลี่ยและความแปรปรวนของประชากรแทนวิธีการ ของระดับปัจจัยบุคคล

ฉันสงสัยว่าคุณจำเป็นต้องใช้เหตุผลแบบคงที่ในลักษณะนี้หรือไม่ พิจารณาการศึกษาว่าขนาดเท้า / รองเท้าเปลี่ยนแปลงอย่างไรผ่านการพัฒนาและมีความสัมพันธ์กับการพูดความสูงน้ำหนักและอายุ ${\rm Side}$ชัดเจนจะต้องรวมอยู่ในรูปแบบใดบัญชีสำหรับความจริงที่ว่าการวัดในช่วงหลายปีที่ซ้อนกันอยู่ในเท้าที่กำหนดและไม่เป็นอิสระ ยิ่งกว่านั้นทางขวาและซ้ายเป็นไปได้ทั้งหมดที่มีอยู่ นอกจากนี้อาจเป็นความจริงที่ว่าสำหรับผู้เข้าร่วมที่ได้รับเท้าขวาของพวกเขามีขนาดใหญ่กว่า (หรือเล็กกว่า) จากซ้ายของพวกเขา อย่างไรก็ตามถึงแม้ว่าขนาดเท้าจะแตกต่างกันบ้างระหว่างเท้าสำหรับทุกคน แต่ก็ไม่มีเหตุผลที่จะเชื่อว่าเท้าขวาโดยเฉลี่ยจะมีขนาดใหญ่กว่าเท้าซ้าย หากพวกเขาอยู่ในตัวอย่างของคุณนี่อาจเป็นเพราะบางอย่างเกี่ยวกับพันธุศาสตร์ของคนในตัวอย่างของคุณแทนที่จะเป็นสิ่งที่อยู่ภายในถึงเท้าขวา ในที่สุดดูเหมือนว่าเป็นพารามิเตอร์ที่สร้างความรำคาญไม่ใช่สิ่งที่คุณสนใจจริงๆ ${\rm side}$

ให้ฉันสังเกตว่าฉันทำตัวอย่างนี้ขึ้น มันอาจจะไม่ดีเลย มันเป็นเพียงการทำความเข้าใจ สำหรับสิ่งที่ฉันรู้การมีเท้าขวาขนาดใหญ่และเท้าซ้ายขนาดเล็กเป็นสิ่งจำเป็นเพื่อความอยู่รอดในยุคหิน

ในกรณีเช่นนี้มันจะสมเหตุสมผลหรือไม่ที่จะรวมในโมเดลเป็นเอฟเฟกต์แบบสุ่ม? อะไรคือข้อดีและข้อเสียของการใช้เอฟเฟกต์คงที่และแบบสุ่มที่นี่ ${\rm side}$

ปัญหาทั่วไปที่มีเอฟเฟกต์ "ตายตัว" และ "สุ่ม" ก็คือพวกมันไม่ได้นิยามในลักษณะที่สอดคล้องกัน Andrew Gelman พูดหลายคน:

(1) เอฟเฟกต์คงที่นั้นคงที่สำหรับแต่ละบุคคลและเอฟเฟกต์แบบสุ่มจะแตกต่างกันไป ยกตัวอย่างเช่นในการศึกษาการเจริญเติบโตรูปแบบที่มีดักสุ่ม ฉันและคงความลาดชันขสอดคล้องกับการขนานเส้นสำหรับบุคคลที่แตกต่างกันฉันหรือรูปแบบY ฉันT = ฉัน + ขที$a_i$$b$$i$$y_{it} = a_i + b_t$ทีKreft และ De Leeuw (1998) จึงแยกความแตกต่างระหว่างค่าสัมประสิทธิ์คงที่และแบบสุ่ม

(2) เอฟเฟกต์ได้รับการแก้ไขหากพวกมันน่าสนใจในตัวเองหรือสุ่มถ้ามีความสนใจในประชากรพื้นฐาน Searle, Casella และ McCulloch (1992, Section 1.4) สำรวจความแตกต่างในเชิงลึกนี้

(3)“ เมื่อตัวอย่างหมดจำนวนประชากรตัวแปรที่เกี่ยวข้องจะได้รับการแก้ไข เมื่อกลุ่มตัวอย่างมีขนาดเล็ก (กล่าวคือเล็กน้อย) ส่วนหนึ่งของประชากรตัวแปรที่เกี่ยวข้องจะถูกสุ่ม "(Green and Tukey, 1960)

(4)“ หากผลกระทบถือว่าเป็นค่าที่รับรู้ของตัวแปรสุ่มมันจะเรียกว่าผลกระทบแบบสุ่ม” (LaMotte, 1983)

(5) ผลกระทบคงที่มีการประมาณโดยใช้กำลังสองน้อยที่สุด (หรือโดยทั่วไปความน่าจะเป็นสูงสุด) และการสุ่มประเมินด้วยการหดตัว ("การทำนายเชิงเส้นตรงที่เป็นกลาง" ในคำศัพท์ของ Robinson, 1991) คำจำกัดความนี้เป็นมาตรฐานในวรรณคดีการสร้างแบบจำลองหลายระดับ (ดูตัวอย่างเช่น Snijders และ Bosker, 1999, มาตรา 4.2) และในสาขาเศรษฐศาสตร์

และสังเกตว่าพวกเขาไม่สอดคล้องกัน ในหนังสือของเขาการวิเคราะห์ข้อมูลโดยใช้การถดถอยและโมเดลหลายระดับ / ลำดับชั้นเขามักจะหลีกเลี่ยงการใช้คำเหล่านั้นและในงานของพวกเขาเขามุ่งเน้นไปที่คงที่หรือแตกต่างกันระหว่างกลุ่มดักและลาดเพราะ

ผลกระทบคงสามารถดูเป็นกรณีพิเศษของผลกระทบแบบสุ่มซึ่งในความแปรปรวนในระดับสูง (ในรูปแบบ (1.1) นี้จะเป็น ) ตั้ง0หรือ∞ ดังนั้นในกรอบการทำงานของเราพารามิเตอร์การถดถอยทั้งหมดคือ "สุ่ม" และคำว่า "หลายระดับ" นั้นครอบคลุมทุกอย่าง$\sigma^2_\alpha$$0$$\infty$

นี่เป็นความจริงโดยเฉพาะอย่างยิ่งกับกรอบ Bayesian - ที่ใช้กันทั่วไปสำหรับโมเดลผสม - ที่ผลกระทบทั้งหมดจะถูกสุ่มต่อ หากคุณกำลังคิดแบบเบย์คุณจะไม่กังวลกับผลกระทบ "คงที่" และการประมาณจุดและไม่มีปัญหากับการรักษาเอฟเฟกต์ทั้งหมดแบบสุ่ม

ยิ่งฉันอ่านหัวข้อนี้มากเท่าไหร่ฉันก็ยิ่งเชื่อว่านี่เป็นการอภิปรายเชิงอุดมการณ์เกี่ยวกับสิ่งที่เราสามารถคาดการณ์ได้ (หรือควร) และสิ่งที่เราสามารถคาดเดาได้เท่านั้น (ที่นี่ฉันสามารถอ้างถึงคำตอบของคุณเอง ) คุณใช้เอฟเฟ็กต์แบบสุ่มถ้าคุณมีตัวอย่างแบบสุ่มของผลลัพธ์ที่เป็นไปได้ดังนั้นคุณจึงไม่กังวลเกี่ยวกับการประมาณการรายบุคคลและคุณให้ความสำคัญกับผลกระทบของประชากร ดังนั้นคำตอบของคำถามของคุณขึ้นอยู่กับว่าคุณคิดอย่างไรถ้าคุณต้องการหรือสามารถประเมินผลกระทบถาวรที่ได้รับจากข้อมูลของคุณ หากระดับที่เป็นไปได้ทั้งหมดจะรวมอยู่ในข้อมูลของคุณคุณสามารถประมาณค่าเอฟเฟกต์คงที่เช่นในตัวอย่างของคุณจำนวนของระดับอาจมีขนาดเล็กและโดยทั่วไปจะไม่ดีสำหรับการประเมินผลแบบสุ่ม มีบางความต้องการน้อยที่สุดสำหรับเรื่องนี้

อาร์กิวเมนต์สถานการณ์กรณีที่ดีที่สุด

สมมติว่าคุณมีข้อมูลไม่ จำกัด จำนวนและพลังการคำนวณไม่ จำกัด ในกรณีนี้คุณสามารถจินตนาการถึงการประมาณค่าเอฟเฟกต์ต่างๆได้ตามที่กำหนดเนื่องจากเอฟเฟกต์คงที่จะช่วยให้คุณมีความยืดหยุ่นมากขึ้น อย่างไรก็ตามแม้ในกรณีนี้พวกเราส่วนใหญ่ยังลังเลที่จะใช้เอฟเฟกต์คงที่สำหรับทุกสิ่ง

ตัวอย่างเช่นลองจินตนาการว่าคุณต้องการจำลองผลการสอบของโรงเรียนในบางภูมิภาคและคุณมีข้อมูลเกี่ยวกับโรงเรียน 100 แห่งในภูมิภาค ในกรณีนี้คุณสามารถคุกคามโรงเรียนได้รับการแก้ไข - เนื่องจากคุณมีข้อมูลในทุกระดับ - แต่ในทางปฏิบัติคุณอาจคิดว่าพวกเขาเป็นแบบสุ่ม ทำไมถึงเป็นอย่างนั้น?

1. เหตุผลหนึ่งคือโดยทั่วไปในกรณีเช่นนี้คุณไม่สนใจผลกระทบของแต่ละโรงเรียน (และเป็นการยากที่จะเปรียบเทียบทั้งหมด) แต่เป็นความแปรปรวนทั่วไประหว่างโรงเรียน

2. อีกข้อโต้แย้งหนึ่งในที่นี้ก็คือ โดยทั่วไปแล้วคุณจะไม่สนใจโมเดล "อิทธิพลที่เป็นไปได้ทุกรูปแบบ" ดังนั้นในโมเดลของคุณคุณต้องรวมเอฟเฟกต์ถาวรที่คุณต้องการทดสอบและควบคุมแหล่งที่มาอื่น ๆ ของความผันแปร สิ่งนี้ทำให้โมเดลเอฟเฟ็กต์ผสมเข้ากับวิธีคิดทั่วไปเกี่ยวกับการสร้างแบบจำลองทางสถิติซึ่งคุณประมาณบางสิ่งและควบคุมสิ่งอื่น ๆ ด้วยข้อมูลที่ซับซ้อน (หลายระดับหรือลำดับชั้น) คุณมีเอฟเฟกต์มากมายที่จะรวมดังนั้นคุณจึงขู่ว่าจะเป็น "คงที่" และบางส่วนเป็น "สุ่ม" เพื่อควบคุมพวกมัน

3. ในสถานการณ์นี้คุณจะไม่นึกถึงโรงเรียนเพราะแต่ละโรงเรียนมีความเป็นเอกลักษณ์มีอิทธิพลต่อผลลัพธ์ แต่เป็นเรื่องเกี่ยวกับโรงเรียนที่มีอิทธิพลโดยทั่วไป ดังนั้นข้อโต้แย้งนี้ก็คือเราเชื่อว่ามันเป็นไปไม่ได้จริง ๆ ที่จะประเมินผลกระทบที่เป็นเอกลักษณ์ของแต่ละโรงเรียน

แบบจำลองเอฟเฟกต์ผสมอยู่ในระหว่าง "สถานการณ์ทุกอย่างคงที่" และ "ทุกอย่างสุ่ม" ข้อมูลที่เราพบทำให้เราลดความคาดหวังของเราเกี่ยวกับการประเมินทุกอย่างเป็นเอฟเฟกต์คงที่ดังนั้นเราตัดสินใจว่าเอฟเฟกต์ใดที่เราต้องการเปรียบเทียบและเอฟเฟ็กต์ที่เราต้องการควบคุมหรือมีความรู้สึกทั่วไปเกี่ยวกับอิทธิพล ไม่เพียงเกี่ยวกับข้อมูล แต่ยังรวมถึงวิธีที่เราคิดถึงข้อมูลในขณะที่สร้างแบบจำลอง

บทสรุปผู้บริหาร

มีการกล่าวบ่อยครั้งว่าหากระดับปัจจัยที่เป็นไปได้ทั้งหมดรวมอยู่ในแบบจำลองผสมแล้วปัจจัยนี้ควรถือว่าเป็นผลคงที่ สิ่งนี้ไม่เป็นความจริงสำหรับเหตุผลสองประการที่แยกจากกัน:

(1) หากจำนวนของระดับมีขนาดใหญ่จากนั้นก็สามารถทำให้การพิจารณาปัจจัย [ข้าม] เป็นแบบสุ่ม

ฉันเห็นด้วยกับ @Tim และ @RobertLong ที่นี่: หากปัจจัยมีระดับจำนวนมากที่รวมอยู่ในแบบจำลอง (เช่นเช่นทุกประเทศในโลกหรือโรงเรียนทั้งหมดในประเทศหรือประชากรทั้งหมดของ มีการสำรวจอาสาสมัคร ฯลฯ ) จากนั้นไม่มีอะไรผิดปกติกับการรักษาแบบสุ่ม --- นี่อาจเป็นเรื่องที่น่าสังเวชมากกว่าอาจทำให้เกิดการหดตัว ฯลฯ

lmer(size ~ age + subjectID)                     # fixed effect
lmer(size ~ age + (1|subjectID))                 # random effect

(2) หากปัจจัยซ้อนอยู่ในเอฟเฟกต์แบบสุ่มอื่นจะต้องถือว่าเป็นแบบสุ่มโดยไม่ขึ้นอยู่กับจำนวนระดับ

มีความสับสนอย่างมากในหัวข้อนี้ (ดูความคิดเห็น) เพราะคำตอบอื่น ๆ เกี่ยวกับกรณีที่ # 1 ข้างต้น แต่ตัวอย่างที่คุณให้ไว้เป็นตัวอย่างของสถานการณ์ที่แตกต่างนั่นคือกรณีนี้ # 2 ที่นี่มีเพียงสองระดับ (เช่นไม่ใช่ "จำนวนมาก"!) และพวกเขาจะหมดความเป็นไปได้ทั้งหมด แต่พวกมันจะซ้อนอยู่ในเอฟเฟกต์แบบสุ่มอีกครั้งซึ่งให้ผลแบบสุ่มซ้อนกัน

lmer(size ~ age + (1|subject) + (1|subject:side)  # side HAS to be random

---

การอภิปรายรายละเอียดของตัวอย่างของคุณ

ด้านและวิชาในการทดสอบจินตภาพของคุณมีความเกี่ยวข้องเช่นชั้นเรียนและโรงเรียนในตัวอย่างแบบลำดับชั้นมาตรฐาน บางทีแต่ละโรงเรียน (# 1, # 2, # 3 ฯลฯ ) มีคลาส A และคลาส B และทั้งสองคลาสนี้ควรจะเหมือนกัน คุณจะไม่โมเดลคลาส A และ B เป็นเอฟเฟกต์คงที่ที่มีสองระดับ นี่จะเป็นความผิดพลาด แต่คุณจะไม่จำลองคลาส A และ B เป็นเอฟเฟกต์แบบสุ่ม "แยก" (เช่นข้าม) ที่มีสองระดับเช่นกัน นี่จะเป็นความผิดพลาดด้วย คุณจะสร้างแบบจำลองชั้นเรียนเป็นเอฟเฟกต์แบบซ้อนภายในโรงเรียน

ดูที่นี่: เอฟเฟกต์แบบสุ่มเปรียบเทียบข้ามซ้อน: พวกมันแตกต่างกันอย่างไรและพวกเขาระบุอย่างถูกต้องใน lme4 อย่างไร

$i=1\ldots n$$j=1,2$

$$\text{Size}_{ijk} = \mu+\alpha\cdot\text{Height}_{ijk}+\beta\cdot\text{Weight}_{ijk}+\gamma\cdot\text{Age}_{ijk}+\epsilon_i + \color{red}{\epsilon_{ij}} + \epsilon_{ijk}$$ $$\epsilon_i\sim\mathcal N(0,\sigma^2_\mathrm{subjects}),\quad\quad\text{Random intercept for each subject}$$ $$\color{red}{\epsilon_{ij}}\sim\mathcal N(0,\sigma^2_\text{subject-side}),\quad\quad\text{Random int. for side nested in subject}$$ $$\epsilon_{ijk}\sim\mathcal N(0,\sigma^2_\text{noise}),\quad\quad\text{Error term}$$

ในขณะที่คุณเขียนเอง "ไม่มีเหตุผลที่จะเชื่อว่าเท้าขวาโดยเฉลี่ยจะใหญ่กว่าเท้าซ้าย" ดังนั้นจึงไม่มีผล "ทั่วโลก" (ไม่คงที่หรือข้ามสุ่ม) ของเท้าขวาหรือซ้ายเลย; แทนแต่ละเรื่องสามารถคิดว่ามีเท้า "หนึ่ง" และเท้า "อีก" และความแปรปรวนนี้เราควรรวมไว้ในแบบจำลอง ฟุต "หนึ่ง" และ "อีก" เหล่านี้ซ้อนอยู่ภายในตัวแบบจึงมีเอฟเฟกต์แบบซ้อนกัน

รายละเอียดเพิ่มเติมในการตอบกลับความคิดเห็น [ก.ย. 26]

โมเดลของฉันด้านบนมี Side เป็นเอฟเฟกต์แบบซ้อนภายในวิชา นี่คือรูปแบบอื่นที่แนะนำโดย @Robert โดยที่ Side เป็นเอฟเฟกต์คงที่:

$$\text{Size}_{ijk} = \mu+\alpha\cdot\text{Height}_{ijk}+\beta\cdot\text{Weight}_{ijk}+\gamma\cdot\text{Age}_{ijk} + \color{red}{\delta\cdot\text{Side}_j}+\epsilon_i + \epsilon_{ijk}$$

$ij$

มันไม่สามารถ

สิ่งนี้เป็นจริงสำหรับโมเดลสมมุติของ @ gung โดยมี Side เป็นเอฟเฟกต์แบบสุ่มข้าม:

$$\text{Size}_{ijk} = \mu+\alpha\cdot\text{Height}_{ijk}+\beta\cdot\text{Weight}_{ijk}+\gamma\cdot\text{Age}_{ijk} +\epsilon_i + \color{red}{\epsilon_j} + \epsilon_{ijk}$$

มันล้มเหลวในการบัญชีสำหรับการอ้างอิงเช่นกัน

การสาธิตผ่านการจำลอง [ต.ค. 2]

นี่คือการสาธิตโดยตรงในอาร์

ฉันสร้างชุดข้อมูลของเล่นด้วยห้าวิชาที่วัดที่เท้าทั้งสองเป็นเวลาห้าปีติดต่อกัน ผลกระทบของอายุเป็นเส้นตรง แต่ละวิชามีการสกัดกั้นแบบสุ่ม และแต่ละเรื่องมีหนึ่งเท้า (ทั้งซ้ายหรือขวา) มีขนาดใหญ่กว่าอีกเท้าหนึ่ง

set.seed(17)

demo = data.frame(expand.grid(age = 1:5,
                              side=c("Left", "Right"),
                              subject=c("Subject A", "Subject B", "Subject C", "Subject D", "Subject E")))
demo$size = 10 + demo$age + rnorm(nrow(demo))/3

for (s in unique(demo$subject)){
  # adding a random intercept for each subject 
  demo[demo$subject==s,]$size = demo[demo$subject==s,]$size + rnorm(1)*10

  # making the two feet of each subject different     
  for (l in unique(demo$side)){
    demo[demo$subject==s & demo$side==l,]$size = demo[demo$subject==s & demo$side==l,]$size + rnorm(1)*7
  }
}

plot(1:50, demo$size)

ขออภัยในทักษะ R อันยิ่งใหญ่ของฉัน นี่คือลักษณะของข้อมูล (จุดห้าจุดต่อเนื่องแต่ละจุดเป็นหนึ่งฟุตของหนึ่งคนที่วัดได้ในช่วงหลายปีที่ผ่านมาแต่ละจุดสิบจุดติดต่อกันเป็นสองฟุตของบุคคลเดียวกัน):

ตอนนี้เราสามารถใส่โมเดลได้หลายแบบ:

require(lme4)
summary(lmer(size ~ age + side + (1|subject), demo))
summary(lmer(size ~ age + (1|side) + (1|subject), demo))
summary(lmer(size ~ age + (1|subject/side), demo))

ทุกรุ่นมีเอฟเฟกต์ตายตัวageและเอฟเฟกต์แบบสุ่มsubjectแต่ให้การปฏิบัติsideแตกต่างกัน

1. sideage$t=1.8$

2. sideage$t=1.4$

3. sideage$t=37$

สิ่งนี้แสดงให้เห็นอย่างชัดเจนว่าsideควรถือว่าเป็นผลแบบซ้อน

ในที่สุดในความคิดเห็น @Robert แนะนำให้รวมผลกระทบทั่วโลกของการsideเป็นตัวแปรควบคุม เราสามารถทำได้ในขณะที่รักษาเอฟเฟกต์แบบซ้อนไว้:

summary(lmer(size ~ age + side + (1|subject/side), demo))
summary(lmer(size ~ age + (1|side) + (1|subject/side), demo))

side$t=0.5$side

วิธีเพิ่มคำตอบอื่น ๆ :

ฉันไม่คิดว่าคุณจำเป็นต้องใช้เหตุผลเสมอในลักษณะที่อธิบายไว้ใน OP แม้ว่าคำจำกัดความ / แนวทางปกติสำหรับเมื่อปฏิบัติต่อปัจจัยที่สุ่มไม่ตรงฉันอาจจะยังคงทำตัวเป็นแบบสุ่มเมื่อมีจำนวนมากในระดับเพื่อให้การรักษาปัจจัยตามคงที่จะใช้หลายองศา อิสระและส่งผลให้รูปแบบยุ่งยากและน้อยกว่า

หากคุณกำลังพูดถึงสถานการณ์ที่คุณรู้ว่ามีปัจจัยที่น่าสนใจในระดับที่เป็นไปได้ทั้งหมดและยังมีข้อมูลในการประเมินเอฟเฟกต์แน่นอนว่าคุณไม่จำเป็นต้องแสดงระดับด้วยเอฟเฟกต์แบบสุ่ม

เหตุผลที่คุณต้องการตั้งค่าเอฟเฟกต์แบบสุ่มให้กับปัจจัยนั้นเป็นเพราะคุณต้องการอนุมานผลของทุกระดับของปัจจัยนั้นซึ่งโดยทั่วไปจะไม่ทราบ ในการอนุมานแบบนั้นคุณกำหนดสมมติฐานว่าผลกระทบของทุกระดับเป็นการกระจายตัวแบบปกติโดยทั่วไป แต่ด้วยการตั้งค่าปัญหาของคุณคุณสามารถประเมินผลกระทบของทุกระดับ ดังนั้นจึงไม่จำเป็นต้องตั้งค่าเอฟเฟกต์แบบสุ่มและกำหนดสมมติฐานเพิ่มเติม

มันเหมือนกับสถานการณ์ที่คุณสามารถรับค่าทั้งหมดของประชากร (ทำให้คุณรู้ว่าค่าเฉลี่ยจริง) แต่คุณพยายามที่จะสุ่มตัวอย่างจากประชากรจำนวนมากและใช้ทฤษฎีบทขีด จำกัด กลางเพื่อประมาณการการกระจายตัวตัวอย่างแล้ว ทำการอนุมานค่าเฉลี่ยที่แท้จริง