การคำนวณความน่าเชื่อถือระหว่างผู้ใช้ใน R พร้อมกับจำนวนเรตติ้งที่หลากหลาย?

วิกิพีเดียแสดงให้เห็นว่าวิธีหนึ่งที่จะดูที่ความน่าเชื่อถือระหว่างผู้ประเมินคือการใช้แบบจำลองผลกระทบแบบสุ่มเพื่อคำนวณintraclass สัมพันธ์ ตัวอย่างของความสัมพันธ์ภายใน intraclass พูดถึงการมอง

\frac{σ_{α}^{2}}{σ_{α}^{2} + σ_{ϵ}^{2}}

$\frac{\sigma_\alpha^2}{\sigma_\alpha^2+\sigma_\epsilon^2}$

จากแบบจำลอง

Y_{i j} = μ + α_{i} + ϵ_{i j}

$Y_{ij} = \mu + \alpha_i + \epsilon_{ij}$

"ที่ Y _IJเป็นเจ^THสังเกตในฉัน^THกลุ่มμเป็นค่าเฉลี่ยโดยรวมไม่มีใครสังเกต, α _ฉันเป็นผลสุ่มสังเกตร่วมกันโดยค่าทั้งหมดในกลุ่ม i และε _IJเป็นคำที่ไม่มีใครสังเกตเสียง."

นี่เป็นรูปแบบที่น่าสนใจโดยเฉพาะอย่างยิ่งเพราะในข้อมูลของฉันไม่มีผู้ให้คะแนนทุกสิ่ง (แม้ว่าส่วนใหญ่จะได้อันดับ 20+) และสิ่งต่าง ๆ ได้รับการจัดอันดับเป็นจำนวนตัวแปรหลายครั้ง (โดยปกติ 3-4)

คำถาม # 0: "group i" ในตัวอย่างนั้น ("group i") เป็นการจัดกลุ่มสิ่งต่าง ๆ หรือไม่

คำถาม # 1: ถ้าฉันกำลังมองหาความน่าเชื่อถือระหว่างผู้ประเมินฉันไม่จำเป็นต้องมีโมเดลเอฟเฟกต์แบบสุ่มที่มีสองคำหนึ่งคำสำหรับผู้ประเมินและอีกหนึ่งสำหรับสิ่งที่ได้รับการจัดอันดับ ท้ายที่สุดแล้วทั้งคู่มีรูปแบบที่เป็นไปได้

คำถาม # 2: ฉันจะแสดงโมเดลนี้ใน R ได้ดีที่สุดอย่างไร

ดูเหมือนว่าคำถามนี้มีข้อเสนอที่ดูดี:

lmer(measurement ~ 1 + (1 | subject) + (1 | site), mydata)

ฉันดูคำถาม สองสาม ข้อและไวยากรณ์ของพารามิเตอร์ "random" สำหรับ lme นั้นทึบแสงสำหรับฉัน ฉันอ่านหน้าช่วยเหลือของ lmeแต่คำอธิบายสำหรับ "random" นั้นไม่สามารถเข้าใจได้โดยไม่มีตัวอย่าง

คำถามนี้เป็นคำถามที่ค่อนข้างคล้ายกับยาว รายการของคำถามกับนี้ที่อยู่ใกล้ที่สุด อย่างไรก็ตามรายละเอียดส่วนใหญ่ไม่ได้ระบุที่อยู่ R

r reliability random-effects-model agreement-statistics

— dfrankow
แหล่งที่มา

โมเดลเอฟเฟกต์ผสมและเอฟเฟกต์แบบสุ่มจะถูกเข้ารหัสด้วยวิธีเดียวกันในอาร์ดูที่ncbi.nlm.nih.gov/pmc/articles/PMC3402032สำหรับข้อมูล tuto เพิ่มเติม!

— noé

แบบจำลองที่คุณอ้างถึงในคำถามของคุณเรียกว่า "แบบทางเดียว" สันนิษฐานว่าเอฟเฟกต์แถวสุ่มเป็นแหล่งที่มาของความแปรปรวนอย่างเป็นระบบเท่านั้น ในกรณีของความน่าเชื่อถือระหว่างผู้ใช้แถวจะสอดคล้องกับวัตถุของการวัด (เช่นตัวแบบ)

แบบจำลองทางเดียว :โดยที่เป็นค่าเฉลี่ยสำหรับวัตถุทั้งหมดคือเอฟเฟกต์แถวและเป็นเอฟเฟกต์ที่เหลือ
$x_{i j} = μ + r_{i} + w_{i j}$ $x_{ij} = \mu + r_i + w_{ij}$ $\mu$ $r_i$ $w_{ij}$

อย่างไรก็ตามยังมี "รุ่นสองทาง" สิ่งเหล่านี้ถือว่ามีความแปรปรวนที่เกี่ยวข้องกับเอฟเฟกต์แถวแบบสุ่มรวมถึงผลแบบคอลัมน์แบบสุ่มหรือแบบคงที่ ในกรณีของความน่าเชื่อถือระหว่างผู้ใช้คอลัมน์จะสอดคล้องกับแหล่งที่มาของการวัด (เช่นผู้ประเมิน)

แบบจำลองสองทาง :โดยที่คือค่าเฉลี่ยสำหรับทุกคน วัตถุเป็นเอฟเฟกต์แถวเป็นเอฟเฟกต์คอลัมน์คือเอฟเฟกต์การโต้ตอบและคือเอฟเฟกต์ที่เหลือ ความแตกต่างระหว่างสองรุ่นนี้คือการรวมหรือแยกผลกระทบจากการโต้ตอบ
$x_{i j} = μ + r_{i} + c_{j} + r c_{i j} + e_{i j}$ $x_{ij} = \mu + r_i + c_j + rc_{ij} + e_{ij}$ $x_{i j} = μ + r_{i} + c_{j} + e_{i j}$ $x_{ij} = \mu + r_i + c_j + e_{ij}$ $\mu$ $r_i$ $c_j$ $rc_{ij}$ $e_{ij}$

กำหนดรูปแบบสองทางคุณสามารถคำนวณหนึ่งในสี่ของค่าสัมประสิทธิ์ ICC: ความสอดคล้องคะแนนเดียว ICC (C, 1), ความสอดคล้องคะแนนเฉลี่ย ICC (C, k), ข้อตกลงคะแนนเดียว ICC (A, 1) หรือ ข้อตกลงคะแนนเฉลี่ย ICC (A, k) คะแนน ICC แบบเดี่ยวจะใช้กับการวัดเดี่ยว (เช่นผู้ประเมินรายบุคคล) ในขณะที่คะแนนเฉลี่ย ICCs นำไปใช้กับการวัดค่าเฉลี่ย (เช่นค่าเฉลี่ยของผู้ประเมินทั้งหมด) ความสอดคล้องกัน ICCs ไม่รวมความแปรปรวนของคอลัมน์จากความแปรปรวนของตัวส่วน (เช่นการอนุญาตให้ผู้ให้ข้อมูลเปลี่ยนวิธีการของตนเอง) ในขณะที่ข้อตกลง ICCs รวมถึงความแปรปรวนของคอลัมน์ในความแปรปรวนของตัวหาร (เช่นต้องการให้ผู้ประเมินแตกต่างกัน $x_{ij}$ $\bar{x}_i$

นี่คือคำจำกัดความถ้าคุณถือว่าผลคอลัมน์แบบสุ่ม:

ข้อกำหนดแบบสุ่มผลสองทาง ICC (มีหรือไม่มีเอฟเฟกต์การโต้ตอบ) :
$I C C (C, 1) = \frac{σ_{r}^{2}}{σ_{r}^{2} + (σ_{r c}^{2} + σ_{e}^{2})} or \frac{σ_{r}^{2}}{σ_{r}^{2} + σ_{e}^{2}}$ $ICC(C,1) = \frac{\sigma_r^2}{\sigma_r^2 + (\sigma_{rc}^2 + \sigma_e^2)}\text{ or }\frac{\sigma_r^2}{\sigma_r^2 + \sigma_e^2}$ $I C C (C, k) = \frac{σ_{r}^{2}}{σ_{r}^{2} + (σ_{r c}^{2} + σ_{e}^{2}) / k} or \frac{σ_{r}^{2}}{σ_{r}^{2} + σ_{e}^{2} / k}$ $ICC(C,k) = \frac{\sigma_r^2}{\sigma_r^2 + (\sigma_{rc}^2 + \sigma_e^2)/k}\text{ or }\frac{\sigma_r^2}{\sigma_r^2 + \sigma_e^2/k}$ $I C C (A, 1) = \frac{σ_{r}^{2}}{σ_{r}^{2} + (σ_{c}^{2} + σ_{r c}^{2} + σ_{e}^{2})} or \frac{σ_{r}^{2}}{σ_{r}^{2} + (σ_{c}^{2} + σ_{e}^{2})}$ $ICC(A,1) = \frac{\sigma_r^2}{\sigma_r^2 + (\sigma_c^2 + \sigma_{rc}^2 + \sigma_e^2)}\text{ or }\frac{\sigma_r^2}{\sigma_r^2 + (\sigma_c^2 + \sigma_e^2)}$ $ผม ค ค (A, k) = \frac{σ_{R}^{2}}{σ_{R}^{2} + (σ_{ค}^{2} + σ_{R ค}^{2} + σ_{อี}^{2}) / k} หรือ \frac{σ_{R}^{2}}{σ_{R}^{2} + (σ_{ค}^{2} + σ_{อี}^{2}) / k}$ $ICC(A,k) = \frac{\sigma_r^2}{\sigma_r^2 + (\sigma_c^2 + \sigma_{rc}^2 + \sigma_e^2)/k}\text{ or }\frac{\sigma_r^2}{\sigma_r^2 + (\sigma_c^2 + \sigma_e^2)/k}$

คุณสามารถประมาณค่าเหล่านี้โดยใช้ค่าเฉลี่ยกำลังสองจาก ANOVA:

การประมาณค่า ICC แบบสองทาง :
$ผม ค ค (ค, 1) = \frac{M S_{R} - M S_{E}}{M S_{R} + (k - 1) M S_{E}}$ $ICC(C,1) = \frac{MS_R - MS_E}{MS_R + (k-1)MS_E}$ $ผม ค ค (ค, k) = \frac{M S_{R} - M S_{E}}{M S_{R}}$ $ICC(C,k) = \frac{MS_R-MS_E}{MS_R}$ $ผม ค ค (A, 1) = \frac{M S_{R} - M S_{E}}{M S_{R} + (k - 1) M S_{E} + k / n (M S_{ค} - M S_{E})}$ $ICC(A,1) = \frac{MS_R-MS_E}{MS_R + (k-1)MS_E + k/n(MS_C-MS_E)}$ $ผม ค ค (A, k) = \frac{M S_{R} - M S_{E}}{M S_{R} + (M S_{ค} - M S_{E}) / n}$ $ICC(A,k) = \frac{MS_R-MS_E}{MS_R + (MS_C-MS_E)/n}$

คุณสามารถคำนวณค่าสัมประสิทธิ์เหล่านี้ใน R โดยใช้แพคเกจ irr :

icc(ratings, model = c("oneway", "twoway"),
type = c("consistency", "agreement"),
unit = c("single", "average"), r0 = 0, conf.level = 0.95)

อ้างอิง

McGraw, KO, & Wong, SP (1996) การหาข้อสรุปเกี่ยวกับสัมประสิทธิ์สหสัมพันธ์อินทราเน็ต วิธีการทางจิตวิทยา, 1 (1), 30–46

Shrout, PE, & Fleiss, JL (1979) สหสัมพันธ์ Intraclass: ใช้ในการประเมินความน่าเชื่อถือของผู้ประเมิน กระดานข่าวทางจิตวิทยา, 86 (2), 420–428

— Jeffrey Girard
แหล่งที่มา

ขอบคุณสำหรับคำตอบที่ยอดเยี่ยม! ในแบบจำลองสองทางภายใน icc ใน R เราจะแสดงการเลือกแบบสุ่มของผู้ประเมินต่อแถวได้อย่างไร ฉันหมายความว่าลองนึกภาพเรามีสระว่ายน้ำ 100 คนและแต่ละคนมีคะแนนประมาณ 5-10 คน สถานการณ์ดังกล่าวสามารถจัดการได้ด้วยแพ็คเกจ ICC หรือไม่

— michal

ผู้ทดสอบแต่ละคนควรมีคอลัมน์ของตนเองในเมทริกซ์ที่คุณป้อนไปยังฟังก์ชัน icc มิฉะนั้นการคำนวณจะเหมือนกันสำหรับโมเดลเอฟเฟกต์แบบสุ่มและผสม - ความแตกต่างหลักคือในการตีความ (วิธีพิจารณาผลลัพธ์โดยทั่วไป)

— Jeffrey Girard

ขอบคุณสำหรับคำตอบ! ฉันพยายามที่จะทำเช่นนั้นโดยส่วนใหญ่มี NA ในเซลล์ (และมีเพียงไม่กี่ค่าที่มีตัวเลขจริงต่อคอลัมน์ซึ่งผู้ประเมินรายหนึ่งจัดอันดับเรื่องที่สอดคล้องกับแถว) อย่างไรก็ตามในผลลัพธ์ฉันได้รับข้อความแจ้งว่าไม่มีการบันทึกหัวเรื่อง (เช่นหัวเรื่อง = 0 Raters = 9) บางทีอาจหมายความว่าไม่ว่าที่ใดก็ตามที่พบ NA อย่างน้อยหนึ่งแถวจะถูกกรองออกทั้งหมด? แต่แล้วฉันจะแสดงถึงการให้คะแนนที่ขาดหายไปจากผู้ประเมินได้อย่างไร?

— michal

อืมนั่นอาจเป็นข้อ จำกัด ของฟังก์ชั่น icc เฉพาะนี้ ฉันมีสคริปต์ MATLAB ที่สามารถจัดการกับสถานการณ์นี้ คุณมีสิทธิ์เข้าถึง MATLAB หรือไม่

— Jeffrey Girard

ใช่ตรวจสอบเว็บไซต์ของฉัน: mreliability.jmgirard.com

— Jeffrey Girard