ฉันเพิ่งอ่านบทความนี้ซึ่งอธิบายถึงวิธีการคำนวณความสามารถในการทำซ้ำ (ความน่าเชื่อถือหรือความสัมพันธ์ภายในอินทราเน็ต) ของการวัดผ่านการสร้างแบบจำลองเอฟเฟกต์ผสม รหัส R จะเป็น:

#fit the model
fit = lmer(dv~(1|unit),data=my_data)

#obtain the variance estimates
vc = VarCorr(fit)
residual_var = attr(vc,'sc')^2
intercept_var = attr(vc$id,'stddev')[1]^2

#compute the unadjusted repeatability
R = intercept_var/(intercept_var+residual_var)

#compute n0, the repeatability adjustment
n = as.data.frame(table(my_data$unit))
    k = nrow(n)
    N = sum(n$Freq)
n0 = (N-(sum(n$Freq^2)/N))/(k-1)

#compute the adjusted repeatability
Rn = R/(R+(1-R)/n0)

ฉันเชื่อว่าวิธีการนี้สามารถใช้ในการคำนวณความน่าเชื่อถือของเอฟเฟกต์ (เช่นผลรวมความเปรียบต่างของตัวแปรที่มี 2 ระดับ) ดังที่:

#make sure the effect variable has sum contrasts
contrasts(my_data$iv) = contr.sum

#fit the model
fit = lmer(dv~(iv|unit)+iv,data=my_data)

#obtain the variance estimates
vc = VarCorr(fit)
residual_var = attr(vc,'sc')^2
effect_var = attr(vc$id,'stddev')[2]^2

#compute the unadjusted repeatability
R = effect_var/(effect_var+residual_var)

#compute n0, the repeatability adjustment
n = as.data.frame(table(my_data$unit,my_data$iv))
k = nrow(n)
N = sum(n$Freq)
    n0 = (N-(sum(n$Freq^2)/N))/(k-1)

#compute the adjusted repeatability
Rn = R/(R+(1-R)/n0)

คำถามสามข้อ:

การคำนวณข้างต้นเพื่อให้ได้การประมาณค่าจุดของความสามารถในการทำซ้ำของเอฟเฟกต์ทำให้รู้สึกหรือไม่?
เมื่อฉันมีตัวแปรหลายตัวที่ฉันต้องการประเมินซ้ำการเพิ่มพวกเขาทั้งหมดให้พอดี (เช่นlmer(dv~(iv1+iv2|unit)+iv1+iv2) ดูเหมือนว่าจะให้ค่าการประเมินซ้ำที่สูงกว่าการสร้างแบบจำลองแยกสำหรับแต่ละเอฟเฟกต์ สิ่งนี้ทำให้เกิดความรู้สึกคำนวณกับฉันเนื่องจากการรวมของเอฟเฟ็กต์หลายอย่างมีแนวโน้มที่จะลดความแปรปรวนที่เหลืออยู่ แต่ฉันไม่แน่ใจว่าการประเมินความสามารถในการทำซ้ำที่เกิดขึ้นนั้นถูกต้อง ที่พวกเขา?
ดังกล่าวข้างต้นกระดาษอ้างให้เห็นว่าโปรไฟล์โอกาสอาจช่วยฉันได้รับช่วงความเชื่อมั่นสำหรับการประมาณการการทำซ้ำ แต่เท่าที่ฉันสามารถบอกconfint(profile(fit))ให้เพียงช่วงเวลาสำหรับการตัดและผลกระทบความแปรปรวนในขณะที่ผมยังจะต้องช่วงเวลาสำหรับการแปรปรวนที่เหลือในการคำนวณ ช่วงเวลาสำหรับการทำซ้ำได้หรือไม่

mixed-model reliability intraclass-correlation repeatability spss factor-analysis survey modeling cross-validation error curve-fitting mediation correlation clustering sampling machine-learning probability classification metric r project-management optimization svm python dataset quality-control checking clustering distributions anova factor-analysis exponential poisson-distribution generalized-linear-model deviance machine-learning k-nearest-neighbour r hypothesis-testing t-test r variance levenes-test bayesian software bayesian-network regression repeated-measures least-squares change-scores variance chi-squared variance nonlinear-regression regression-coefficients multiple-comparisons p-value r statistical-significance excel sampling sample r distributions interpretation goodness-of-fit normality-assumption probability self-study distributions references theory time-series clustering econometrics binomial hypothesis-testing variance t-test paired-comparisons statistical-significance ab-test r references hypothesis-testing t-test normality-assumption wilcoxon-mann-whitney central-limit-theorem t-test data-visualization interactive-visualization goodness-of-fit

— ไมค์ลอเรนซ์
แหล่งที่มา

ฉันคิดว่าฉันสามารถตอบคำถามของคุณอย่างน้อยที่สุดเกี่ยวกับการประเมินความสามารถในการทำซ้ำที่ไม่ได้ปรับปรุงเช่นความสัมพันธ์ภายในคลาสสิก (ICCs) สำหรับการประเมินความสามารถในการทำซ้ำ "ที่ปรับแล้ว" ฉันอ่านผ่านกระดาษที่คุณเชื่อมโยงและไม่เห็นว่าสูตรที่คุณใช้สามารถพบได้ที่ไหนในกระดาษ? จากการแสดงออกทางคณิตศาสตร์ดูเหมือนว่าเป็นการทำซ้ำของคะแนนเฉลี่ย (มากกว่าคะแนนแต่ละคะแนน) แต่มันไม่ชัดเจนว่านี่เป็นส่วนสำคัญของคำถามของคุณอยู่แล้วดังนั้นฉันจะไม่สนใจมัน

(1. ) การคำนวณข้างต้นสำหรับการได้รับการประมาณค่าจุดของความสามารถในการทำซ้ำของเอฟเฟกต์ทำให้รู้สึกหรือไม่?

ใช่นิพจน์ที่คุณเสนอนั้นสมเหตุสมผล แต่จำเป็นต้องแก้ไขสูตรที่เสนอของคุณเล็กน้อย ด้านล่างฉันแสดงให้เห็นว่ามีวิธีใดที่จะได้ค่าสัมประสิทธิ์การทำซ้ำที่คุณเสนอ ฉันหวังว่าสิ่งนี้จะอธิบายความหมายของสัมประสิทธิ์และอธิบายว่าทำไมมันจึงเป็นที่พึงปรารถนาที่จะปรับเปลี่ยนเล็กน้อย

เพื่อเริ่มต้นก่อนอื่นลองหาค่าสัมประสิทธิ์การทำซ้ำในกรณีแรกของคุณและชี้แจงว่ามันหมายถึงอะไรและมาจากที่ใด การทำความเข้าใจสิ่งนี้จะช่วยให้เราเข้าใจกรณีที่สองที่ซับซ้อนมากขึ้น

ดักแบบสุ่มเท่านั้น

$i$ $j$

y_{i j} = β_{0} + u_{0 j} + e_{i j},

$y_{ij} = \beta_0 + u_{0j} + e_{ij},$

u_{0 j}

$u_{0j}$

σ_{u_{0}}^{2}

$\sigma^2_{u_0}$

e_{i j}

$e_{ij}$

σ_{e}^{2}

$\sigma^2_e$

$x$ $y$

c o r r = \frac{c o v (x, y)}{\sqrt{v a r (x) v a r (y)}} .

$corr = \frac{cov(x, y)}{\sqrt{var(x)var(y)}}.$

$x$ $y$ $j$

I C C = \frac{c o v (β_{0} + u_{0 j} + e_{i_{1} j}, β_{0} + u_{0 j} + e_{i_{2} j})}{\sqrt{v a r (β_{0} + u_{0 j} + e_{i_{1} j}) v a r (β_{0} + u_{0 j} + e_{i_{2} j})}},

$ICC = \frac{cov(\beta_0 + u_{0j} + e_{i_1j}, \beta_0 + u_{0j} + e_{i_2j})}{\sqrt{var(\beta_0 + u_{0j} + e_{i_1j})var(\beta_0 + u_{0j} + e_{i_2j})}},$

I C C = \frac{σ_{u_{0}}^{2}}{σ_{u_{0}}^{2} + σ_{e}^{2}} .

$ICC = \frac{\sigma^2_{u_0}}{\sigma^2_{u_0} + \sigma^2_e}.$

การสกัดกั้นแบบสุ่มและความลาดชันแบบสุ่ม

ตอนนี้สำหรับกรณีที่สองเราต้องอธิบายให้ชัดเจนก่อนว่า "ความน่าเชื่อถือของเอฟเฟ็กต์คืออะไร (เช่นผลรวมความเปรียบต่างของตัวแปรที่มี 2 ระดับ)" - คำพูดของคุณ

$i$ $j$ $k$ $x$

y_{i j k} = β_{0} + β_{1} x_{k} + u_{0 j} + u_{1 j} x_{k} + e_{i j k},

$y_{ijk} = \beta_0 + \beta_1x_k + u_{0j} + u_{1j}x_k + e_{ijk},$

σ_{u_{0}}^{2}

$\sigma^2_{u_0}$

σ_{u_{1}}^{2}

$\sigma^2_{u_1}$

σ_{u_{01}}

$\sigma_{u_{01}}$

e_{i j}

$e_{ij}$

σ_{e}^{2}

$\sigma^2_e$

$j$ $i$

$x$ $|x_1|=|x_2|=x$

y_{i_{1} j k_{2}} - y_{i_{1} j k_{1}} = (β_{0} - β_{0}) + β_{1} (x_{k_{2}} - x_{k_{1}}) + (u_{0 j} - u_{0 j}) + u_{1 j} (x_{k_{2}} - x_{k_{1}}) + (e_{i_{1} j k_{2}} - e_{i_{1} j k_{1}}) = 2 x β_{1} + 2 x u_{1 j} + e_{i_{1} j k_{2}} - e_{i_{1} j k_{1}}

$y_{i_1jk_2}-y_{i_1jk_1}=(\beta_0-\beta_0)+\beta_1(x_{k_2}-x_{k_1})+(u_{0j}-u_{0j})+u_{1j}(x_{k_2}-x_{k_1})+(e_{i_1jk_2}-e_{i_1jk_1}) \\=2x\beta_1+2xu_{1j}+e_{i_1jk_2}-e_{i_1jk_1}$

y_{i_{2} j k_{2}} - y_{i_{2} j k_{1}} = 2 x β_{1} + 2 x u_{1 j} + e_{i_{2} j k_{2}} - e_{i_{2} j k_{1}} .

$y_{i_2jk_2}-y_{i_2jk_1}=2x\beta_1+2xu_{1j}+e_{i_2jk_2}-e_{i_2jk_1}.$

I C C = \frac{c o v (2 x β_{1} + 2 x u_{1 j} + e_{i_{1} j k_{2}} - e_{i_{1} j k_{1}}, 2 x β_{1} + 2 x u_{1 j} + e_{i_{2} j k_{2}} - e_{i_{2} j k_{1}})}{\sqrt{v a r (2 x β_{1} + 2 x u_{1 j} + e_{i_{1} j k_{2}} - e_{i_{1} j k_{1}}) v a r (2 x β_{1} + 2 x u_{1 j} + e_{i_{2} j k_{2}} - e_{i_{2} j k_{1}})}},

$ICC = \frac{cov(2x\beta_1+2xu_{1j}+e_{i_1jk_2}-e_{i_1jk_1}, 2x\beta_1+2xu_{1j}+e_{i_2jk_2}-e_{i_2jk_1})}{\sqrt{var(2x\beta_1+2xu_{1j}+e_{i_1jk_2}-e_{i_1jk_1})var(2x\beta_1+2xu_{1j}+e_{i_2jk_2}-e_{i_2jk_1})}},$

I C C = \frac{2 x^{2} σ_{u_{1}}^{2}}{2 x^{2} σ_{u_{1}}^{2} + σ_{e}^{2}} .

$ICC = \frac{2x^2\sigma^2_{u_1}}{2x^2\sigma^2_{u_1} + \sigma^2_e}.$

x

$x$

x

$x$

$x$ $\pm\frac{1}{\sqrt{2}}$

(2. ) เมื่อฉันมีตัวแปรหลายตัวที่มีความสามารถในการทำซ้ำฉันต้องการประมาณการเพิ่มพวกเขาทั้งหมดให้พอดี (เช่นlmer(dv~(iv1+iv2|unit)+iv1+iv2) ดูเหมือนว่าจะให้ผลการประเมินความสามารถในการทำซ้ำที่สูงกว่าการสร้างแบบจำลองแยกต่างหากสำหรับแต่ละเอฟเฟ็กต์ สิ่งนี้ทำให้เกิดความรู้สึกคำนวณกับฉันเนื่องจากการรวมหลายเอฟเฟกต์มีแนวโน้มที่จะลดความแปรปรวนที่เหลือ แต่ฉันไม่แน่ใจว่าการประเมินความสามารถในการทำซ้ำที่เกิดขึ้นนั้นถูกต้อง ที่พวกเขา?

ผมเชื่อว่าการทำงานผ่านมาเช่นเดียวกับที่นำเสนอข้างต้นสำหรับรุ่นที่มีการพยากรณ์หลายมีความลาดชันแบบสุ่มของตัวเองจะแสดงให้เห็นว่าค่าสัมประสิทธิ์การทำซ้ำข้างต้นจะยังคงเป็นที่ถูกต้องยกเว้นสำหรับภาวะแทรกซ้อนเพิ่มว่าคะแนนความแตกต่างที่เรามีความสนใจแนวคิดในขณะนี้จะ มีคำจำกัดความแตกต่างกันเล็กน้อย: เราสนใจในความสัมพันธ์ที่คาดหวังของความแตกต่างระหว่างค่าเฉลี่ยที่ปรับหลังจากการควบคุมสำหรับตัวทำนายอื่น ๆ ในแบบจำลอง

หากผู้ทำนายคนอื่นเป็นผู้ตั้งฉากกับตัวทำนายความสนใจ (เช่นในการทดลองที่สมดุล) ฉันจะคิดว่าค่าสัมประสิทธิ์การทำซ้ำของ ICC / การทำซ้ำที่กล่าวถึงข้างต้นควรทำงานโดยไม่มีการดัดแปลงใด ๆ หากพวกเขาไม่ใช่ orthogonal คุณจะต้องแก้ไขสูตรเพื่อพิจารณาสิ่งนี้ซึ่งอาจซับซ้อน แต่หวังว่าคำตอบของฉันได้ให้คำแนะนำเกี่ยวกับสิ่งที่อาจมีลักษณะ

— Jake Westfall
แหล่งที่มา

$R$ $R_n$

การคำนวณซ้ำของเอฟเฟกต์จากโมเดล lmer

ดักแบบสุ่มเท่านั้น

การสกัดกั้นแบบสุ่มและความลาดชันแบบสุ่ม