จะทำอย่างไรเมื่อ CFA เหมาะสมกับหลายรายการที่ไม่ดี


9

ฉันไม่แน่ใจว่าจะดำเนินการอย่างไรกับ CFA im นี้ในภาษาลาวา ฉันมีตัวอย่างของผู้เข้าร่วม 172 คน (ฉันรู้ว่าไม่มากนักสำหรับ CFA) และ 28 รายการที่มีเครื่องชั่ง Likert 7 จุดที่ควรโหลดในเจ็ดปัจจัย ฉันทำ CFA ด้วย„ mlm“ - ตัวประเมินผล แต่โมเดลพอดีนั้นแย่มาก (χ2 (df = 329) = 739.36; ดัชนีเปรียบเทียบแบบพอดี (CFI) = .69 รากมาตรฐานที่ได้มาตรฐานหมายถึงส่วนที่เหลือเป็นตาราง (SRMR) = 10 รูตหมายถึงความคลาดเคลื่อนกำลังสองของการประมาณ (RMSEA) =. 09; RMSEA ช่วงความเชื่อมั่น 90% (CI) = [.08, .10]

ฉันได้ลองทำสิ่งต่อไปนี้แล้ว:

  • แบบจำลอง bifactor ที่มีปัจจัยวิธีหนึ่งทั่วไป -> ไม่ได้มาบรรจบกัน

  • ตัวประมาณสำหรับข้อมูลลำดับ („ WLSMV“) -> โมเดลพอดี: (χ2 (df = 329) = 462; ดัชนีพอดีเปรียบเทียบ (CFI) = .81; รากที่ได้มาตรฐานหมายถึงสแควร์เรตที่เหลือ (SRMR) =. 09; ของการประมาณ (RMSEA) =. 05; RMSEA 90% ช่วงความเชื่อมั่น (CI) = [.04, .06]

  • การลดโมเดลโดยรายการที่โหลดปัจจัยและเพิ่มความแปรปรวนร่วมระหว่างรายการเฉพาะ -> โมเดลพอดี: χ2 (df = 210) = 295; ดัชนีความพอดี (CFI) = .86; รูตมาตรฐานที่ได้มาตรฐานหมายถึงสแควร์ส่วนที่เหลือ (SRMR) =. 08; ค่าเฉลี่ยของข้อผิดพลาดกำลังสองของการประมาณ (RMSEA) =. 07; RMSEA ช่วงความเชื่อมั่น 90% (CI) = [.06, .08]

ตอนนี้คำถามของฉัน:

  • ฉันควรทำอย่างไรกับโมเดลดังกล่าว

  • สิ่งที่จะถูกต้องทางสถิติที่จะทำ?

  • รายงานว่าไม่เหมาะสมหรือไม่เหมาะสม และรุ่นไหน?

ฉันยินดีที่จะมีการสนทนากับคุณเกี่ยวกับเรื่องนี้

นี่คือเอาต์พุต lavaan ของ CFA ของรุ่นดั้งเดิม:

    lavaan (0.5-17.703) converged normally after  55 iterations

                                              Used       Total
  Number of observations                           149         172

  Estimator                                         ML      Robust
  Minimum Function Test Statistic              985.603     677.713
  Degrees of freedom                               329         329
  P-value (Chi-square)                           0.000       0.000
  Scaling correction factor                                  1.454
    for the Satorra-Bentler correction

Model test baseline model:

  Minimum Function Test Statistic             2461.549    1736.690
  Degrees of freedom                               378         378
  P-value                                        0.000       0.000

User model versus baseline model:

  Comparative Fit Index (CFI)                    0.685       0.743
  Tucker-Lewis Index (TLI)                       0.638       0.705

Loglikelihood and Information Criteria:

  Loglikelihood user model (H0)              -6460.004   -6460.004
  Loglikelihood unrestricted model (H1)      -5967.202   -5967.202

  Number of free parameters                        105         105
  Akaike (AIC)                               13130.007   13130.007
  Bayesian (BIC)                             13445.421   13445.421
  Sample-size adjusted Bayesian (BIC)        13113.126   13113.126

Root Mean Square Error of Approximation:

  RMSEA                                          0.116       0.084
  90 Percent Confidence Interval          0.107  0.124       0.077  0.092
  P-value RMSEA <= 0.05                          0.000       0.000

Standardized Root Mean Square Residual:

  SRMR                                           0.096       0.096

Parameter estimates:

  Information                                 Expected
  Standard Errors                           Robust.sem

                   Estimate  Std.err  Z-value  P(>|z|)   Std.lv  Std.all
Latent variables:
  IC =~
    PTRI_1r           1.000                               1.093    0.691
    PTRI_7            1.058    0.118    8.938    0.000    1.156    0.828
    PTRI_21           0.681    0.142    4.793    0.000    0.744    0.582
    PTRI_22           0.752    0.140    5.355    0.000    0.821    0.646
  IG =~
    PTRI_10           1.000                               0.913    0.600
    PTRI_11r          0.613    0.152    4.029    0.000    0.559    0.389
    PTRI_19           1.113    0.177    6.308    0.000    1.016    0.737
    PTRI_24           0.842    0.144    5.854    0.000    0.769    0.726
  DM =~
    PTRI_15r          1.000                               0.963    0.673
    PTRI_16           0.892    0.118    7.547    0.000    0.859    0.660
    PTRI_23           0.844    0.145    5.817    0.000    0.813    0.556
    PTRI_26           1.288    0.137    9.400    0.000    1.240    0.887
  IM =~
    PTRI_13           1.000                               0.685    0.609
    PTRI_14           1.401    0.218    6.421    0.000    0.960    0.814
    PTRI_18           0.931    0.204    4.573    0.000    0.638    0.604
    PTRI_20r          1.427    0.259    5.514    0.000    0.978    0.674
  IN =~
    PTRI_2            1.000                               0.839    0.612
    PTRI_6            1.286    0.180    7.160    0.000    1.080    0.744
    PTRI_12           1.031    0.183    5.644    0.000    0.866    0.523
    PTRI_17r          1.011    0.208    4.872    0.000    0.849    0.613
  EN =~
    PTRI_3            1.000                               0.888    0.687
    PTRI_8            1.136    0.146    7.781    0.000    1.008    0.726
    PTRI_25           0.912    0.179    5.088    0.000    0.810    0.620
    PTRI_27r          1.143    0.180    6.362    0.000    1.015    0.669
  RM =~
    PTRI_4r           1.000                               1.114    0.700
    PTRI_9            0.998    0.105    9.493    0.000    1.112    0.786
    PTRI_28           0.528    0.120    4.403    0.000    0.588    0.443
    PTRI_5            0.452    0.149    3.037    0.002    0.504    0.408

Covariances:
  IC ~~
    IG                0.370    0.122    3.030    0.002    0.371    0.371
    DM                0.642    0.157    4.075    0.000    0.610    0.610
    IM                0.510    0.154    3.308    0.001    0.681    0.681
    IN                0.756    0.169    4.483    0.000    0.824    0.824
    EN                0.839    0.169    4.979    0.000    0.865    0.865
    RM                0.644    0.185    3.479    0.001    0.529    0.529
  IG ~~
    DM                0.380    0.103    3.684    0.000    0.433    0.433
    IM                0.313    0.096    3.248    0.001    0.501    0.501
    IN                0.329    0.107    3.073    0.002    0.429    0.429
    EN                0.369    0.100    3.673    0.000    0.455    0.455
    RM                0.289    0.116    2.495    0.013    0.284    0.284
  DM ~~
    IM                0.530    0.120    4.404    0.000    0.804    0.804
    IN                0.590    0.122    4.839    0.000    0.731    0.731
    EN                0.588    0.105    5.619    0.000    0.688    0.688
    RM                0.403    0.129    3.132    0.002    0.376    0.376
  IM ~~
    IN                0.439    0.126    3.476    0.001    0.763    0.763
    EN                0.498    0.121    4.128    0.000    0.818    0.818
    RM                0.552    0.122    4.526    0.000    0.723    0.723
  IN ~~
    EN                0.735    0.167    4.402    0.000    0.987    0.987
    RM                0.608    0.141    4.328    0.000    0.650    0.650
  EN ~~
    RM                0.716    0.157    4.561    0.000    0.724    0.724


Variances:
    PTRI_1r           1.304    0.272                      1.304    0.522
    PTRI_7            0.613    0.153                      0.613    0.314
    PTRI_21           1.083    0.199                      1.083    0.662
    PTRI_22           0.940    0.141                      0.940    0.582
    PTRI_10           1.483    0.257                      1.483    0.640
    PTRI_11r          1.755    0.318                      1.755    0.849
    PTRI_19           0.868    0.195                      0.868    0.457
    PTRI_24           0.530    0.109                      0.530    0.473
    PTRI_15r          1.121    0.220                      1.121    0.547
    PTRI_16           0.955    0.200                      0.955    0.564
    PTRI_23           1.475    0.219                      1.475    0.691
    PTRI_26           0.417    0.120                      0.417    0.213
    PTRI_13           0.797    0.113                      0.797    0.629
    PTRI_14           0.468    0.117                      0.468    0.337
    PTRI_18           0.709    0.134                      0.709    0.635
    PTRI_20r          1.152    0.223                      1.152    0.546
    PTRI_2            1.178    0.251                      1.178    0.626
    PTRI_6            0.942    0.191                      0.942    0.447
    PTRI_12           1.995    0.235                      1.995    0.727
    PTRI_17r          1.199    0.274                      1.199    0.625
    PTRI_3            0.882    0.179                      0.882    0.528
    PTRI_8            0.910    0.131                      0.910    0.472
    PTRI_25           1.048    0.180                      1.048    0.615
    PTRI_27r          1.273    0.238                      1.273    0.553
    PTRI_4r           1.294    0.242                      1.294    0.510
    PTRI_9            0.763    0.212                      0.763    0.382
    PTRI_28           1.419    0.183                      1.419    0.804
    PTRI_5            1.269    0.259                      1.269    0.833
    IC                1.194    0.270                      1.000    1.000
    IG                0.833    0.220                      1.000    1.000
    DM                0.927    0.181                      1.000    1.000
    IM                0.470    0.153                      1.000    1.000
    IN                0.705    0.202                      1.000    1.000
    EN                0.788    0.177                      1.000    1.000
    RM                1.242    0.257                      1.000    1.000

2
ฉันรู้สึกว่าข้อมูลนั้นไม่สอดคล้องกับแบบจำลองเช่นคุณมีความสัมพันธ์ที่สูงมากระหว่างปัจจัยต่างๆ พยายามดูวิธีแก้ปัญหาที่ได้มาตรฐานเพื่อให้ได้สหสัมพันธ์แทนการแปรปรวนร่วม (และที่การโหลดมาตรฐานด้วย) บางทีคุณอาจต้องการยุบปัจจัยบางอย่าง บางทีคุณอาจต้องการเพิ่มปัจจัยวิธีสำหรับรายการที่มีรหัสกลับหากคุณมีบางอย่าง - ซึ่งมักจะปรับปรุงให้พอดี
hplieninger

1
ฉันได้ลองพิจารณาไอเท็มที่มีรหัสกลับด้านด้วยปัจจัยวิธีแล้ว ปรับปรุงความพอดี แต่ไม่มาก ฉันต้องการยุบปัจจัยหนึ่งหรือสองตัว แต่ฉันถูก "ผูกมัด" เพื่อยึดติดกับโซลูชันตัวประกอบ 7 หลักที่ตั้งสมมติฐานไว้ และถึงแม้ว่าฉันจะทรุดตัว แต่พอดีไม่ได้ดีขึ้นมาก
teeglaze

คำตอบ:


14

1. ย้อนกลับไปที่การวิเคราะห์ปัจจัยเชิงสำรวจ

หากคุณได้รับ CFA ที่แย่มากมันก็มักจะเป็นสัญญาณว่าคุณกระโดดเร็วเกินไปที่ CFA คุณควรกลับไปที่การวิเคราะห์ปัจจัยเชิงสำรวจเพื่อเรียนรู้เกี่ยวกับโครงสร้างการทดสอบของคุณ หากคุณมีตัวอย่างขนาดใหญ่ (ในกรณีที่คุณไม่มี) คุณสามารถแยกตัวอย่างของคุณให้มีตัวอย่างเชิงสำรวจและตัวอย่างยืนยันได้

  • ใช้ขั้นตอนการวิเคราะห์ปัจจัยเชิงสำรวจเพื่อตรวจสอบว่าจำนวนของปัจจัยทางทฤษฎีดูเหมือนสมเหตุสมผลหรือไม่ ฉันจะตรวจสอบพล็อตหินกรวดเพื่อดูว่ามันแนะนำอะไร จากนั้นฉันจะตรวจสอบเมทริกซ์การโหลดตัวประกอบแบบหมุนด้วยจำนวนตัวประกอบทางทฤษฎีรวมทั้งปัจจัยตัวใดตัวหนึ่งหรือสองตัวและน้อยกว่าหนึ่งหรือสองตัว คุณมักจะเห็นสัญญาณของการแยกหรือต่ำกว่าปัจจัยโดยดูที่การฝึกอบรมการโหลดปัจจัยดังกล่าว
  • ใช้การวิเคราะห์ปัจจัยเชิงสำรวจเพื่อระบุรายการที่มีปัญหา โดยเฉพาะอย่างยิ่งรายการที่โหลดมากที่สุดในปัจจัยที่ไม่ใช่เชิงทฤษฎีรายการที่มีการโหลดข้ามขนาดใหญ่รายการที่ไม่โหลดสูงในปัจจัยใด ๆ

ประโยชน์ของ EFA ก็คือมันให้อิสระมากมายดังนั้นคุณจะได้เรียนรู้มากขึ้นเกี่ยวกับโครงสร้างของการทดสอบมากกว่าที่คุณจะมองจากเฉพาะดัชนีการปรับเปลี่ยน CFA

อย่างไรก็ตามหวังว่าจากกระบวนการนี้คุณอาจพบปัญหาและแนวทางแก้ไขเล็กน้อย ตัวอย่างเช่นคุณอาจวางบางรายการ คุณอาจอัปเดตโมเดลเชิงทฤษฎีของคุณว่ามีกี่ปัจจัยและอื่น ๆ

2. ปรับปรุงการวิเคราะห์ปัจจัยยืนยันที่เหมาะสม

มีหลายจุดที่สามารถทำที่นี่:

CFA ในเครื่องชั่งที่มีหลายรายการต่อเครื่องชั่งมักจะทำงานได้ไม่ดีตามมาตรฐานดั้งเดิม สิ่งนี้มักนำไปสู่ผู้คน (และโปรดทราบว่าฉันคิดว่าคำตอบนี้มักจะโชคร้าย) เพื่อจัดรูปแบบรายการสิ่งของหรือใช้เพียงสามหรือสี่รายการต่อสเกล ปัญหาคือโครงสร้าง CFA ที่เสนอโดยทั่วไปล้มเหลวในการจับความแตกต่างเล็กน้อยในข้อมูล (เช่นการโหลดข้ามขนาดเล็กรายการภายในการทดสอบที่มีความสัมพันธ์มากกว่าสิ่งอื่นเล็กน้อยปัจจัยรบกวนเล็กน้อย) สิ่งเหล่านี้ถูกขยายด้วยหลายรายการต่อสเกล

นี่คือการตอบสนองต่อสถานการณ์ข้างต้น:

  • ทำ SEM เชิงสำรวจที่ช่วยให้การโหลดข้ามขนาดเล็กและข้อกำหนดที่เกี่ยวข้องต่างๆ
  • ตรวจสอบดัชนีการปรับเปลี่ยนและรวมการดัดแปลงที่เหมาะสมที่สุดบางส่วน เช่นจำนวนชิ้นส่วนที่เหลือซึ่งมีความสัมพันธ์กับสเกล การโหลดข้ามสองสามครั้ง ดูในmodificationindices(fit)lavaan
  • ใช้การแยกรายการเพื่อลดจำนวนตัวแปรที่สังเกตได้

ข้อคิดเห็นทั่วไป

ดังนั้นโดยทั่วไปหากคุณเป็นนางแบบ CFA ไม่ดีจริงๆให้กลับไปที่ EFA เพื่อเรียนรู้เพิ่มเติมเกี่ยวกับเครื่องชั่งของคุณ อีกทางเลือกหนึ่งหาก EFA ของคุณดีและ CFA ของคุณดูไม่ดีนักเนื่องจากปัญหาที่ทราบกันดีว่ามีหลายรายการต่อสเกลแล้วแนวทาง CFA มาตรฐานตามที่กล่าวไว้ข้างต้นมีความเหมาะสม


1
ขอบคุณมากสำหรับคำแนะนำของคุณ ฉันได้กลับไปที่ EFA แล้ว แต่ด้วยคำแนะนำของคุณฉันพบว่ามีหลายรายการที่ไม่โหลดตามความเหมาะสม ฉันถูกล่อลวงให้ยุบโมเดลเป็น 5 ปัจจัยแทนที่จะเป็น 7 ปัจจัยทางทฤษฎี แต่ศาสตราจารย์ของฉันจะไม่เห็นด้วย แต่ก็ไม่เป็นไร น่าเสียดายที่โมเดลแฟคเตอร์ 7 รายการที่มี 4 รายการแต่ละรายการไม่สามารถใช้งานได้ (ไม่ว่าจะมีการแก้ไขอะไร) ฉันจะรายงาน CFA ที่ลดลง (ด้วย 7 ปัจจัย + สิ่งประดิษฐ์ 1 รายการ, 3 รายการ) ที่แทบจะไม่พอดี (CFI = .89, RMSEA = .067, SRMR = .069) แต่มันดีที่สุดที่ฉันได้รับ
teeglaze

1
ps Jeromy ฉันชอบบล็อกของคุณ มันช่วยฉันได้มากและจะทำในอนาคต :) ขอบคุณ!
teeglaze

4

ฉันจะพยายามทำให้โมเดล bifactor มาบรรจบกัน ลองปรับค่าเริ่มต้น ... ซึ่งอาจเป็นวิธีที่คาวดังนั้นโปรดจำไว้และตีความด้วยความระมัดระวัง อ่านเกี่ยวกับอันตรายของการตีความแบบจำลองที่ต่อต้านการบรรจบกันหากคุณต้องการที่จะระมัดระวังอย่างแท้จริง - ฉันยอมรับว่าฉันยังไม่ได้ทำสิ่งนี้มากนักในการศึกษา SEM ดังนั้นฉันขอแนะนำให้ทำสิ่งที่คุณต้องทำเพื่อให้แบบจำลอง มาบรรจบกันส่วนใหญ่เพื่อประโยชน์ของคุณ ฉันไม่รู้ว่ามันจะเหมาะกับการตีพิมพ์ แต่ถ้าเห็นได้ชัดว่าไม่ใช่เพราะโมเดล bifactor นั้นไม่พอดีก็อาจเป็นเรื่องดีที่คุณจะรู้

มิฉะนั้นดูเหมือนว่าคุณจะทำข้อมูลให้มากที่สุดเท่าที่จะทำได้ AFAIK (ฉันได้มองลึกลงไปในช่วงนี้สำหรับโครงการระเบียบวิธีของตัวเองดังนั้นโปรดแก้ไขให้ฉันถ้าฉันผิด !!), การประเมิน WLSMV ในการlavaanใช้เกณฑ์จากความสัมพันธ์ polychoric ซึ่งเป็นวิธีที่ดีที่สุดที่จะได้รับแบบที่ดี ดัชนีออกจาก CFA ของข้อมูลลำดับ สมมติว่าคุณได้ระบุรุ่นของคุณอย่างถูกต้อง (หรืออย่างน้อยที่สุดอย่างเหมาะสม) นั่นคือทั้งหมดที่คุณทำได้ การลบรายการที่มีการโหลดต่ำและการประมาณค่าความแปรปรวนร่วมระหว่างรายการได้อย่างอิสระแม้จะไปได้ไกล แต่คุณก็ลองเช่นกัน

แบบจำลองของคุณไม่เหมาะสมกับมาตรฐานทั่วไปอย่างที่คุณอาจทราบ แน่นอนคุณไม่ควรพูดว่าเหมาะสมเมื่อไม่เป็นเช่นนั้น สิ่งนี้ใช้กับสถิติพอดีทั้งหมดที่คุณรายงานที่นี่โชคไม่ดี (ฉันคิดว่าคุณหวังว่ามันจะเหมาะสม) สถิติการฟิตของคุณบางอย่างนั้นค่อนข้างแย่ไม่เลวเลยทีเดียว(RMSEA = .05 นั้นยอมรับได้) แต่โดยรวมแล้วมันไม่มีข่าวดีและคุณมีความรับผิดชอบที่จะซื่อสัตย์ถ้าคุณจะเผยแพร่ ผลลัพธ์เหล่านี้ ฉันหวังว่าคุณจะทำได้ FWIW

ไม่ว่าจะด้วยวิธีใดคุณอาจพิจารณารวบรวมข้อมูลเพิ่มเติมหากทำได้ ที่สามารถช่วยได้ขึ้นอยู่กับว่าคุณทำอะไร หากวัตถุประสงค์ของคุณคือการทดสอบสมมติฐานยืนยันคุณได้ "มอง" ที่ข้อมูลของคุณและจะขยายอัตราข้อผิดพลาดของคุณหากคุณนำมาใช้ใหม่ในตัวอย่างที่ขยายดังนั้นถ้าคุณไม่สามารถตั้งค่าชุดข้อมูลนี้และทำซ้ำทั้งหมด สดใหม่ที่ใหญ่กว่าคุณมีสถานการณ์ที่ยากลำบากในการจัดการ หากคุณสนใจที่จะประเมินค่าพารามิเตอร์และลดช่วงความเชื่อมั่นให้แคบลงฉันคิดว่าการรวบรวมข้อมูลให้มากที่สุดเท่าที่จะทำได้รวมถึงสิ่งที่คุณได้ใช้ไปแล้ว หากคุณสามารถรับข้อมูลเพิ่มเติมได้คุณอาจได้ดัชนีที่พอดีซึ่งจะทำให้การประมาณการพารามิเตอร์ของคุณน่าเชื่อถือยิ่งขึ้น หวังว่ามันจะดีพอ


+1 ที่ยิ่งใหญ่สำหรับ @ Jeromy เช่นกัน: กลับไปที่ EFA การวิเคราะห์ bifactor เชิงสำรวจก็เป็นอีกทางเลือกเช่นกัน มีแม้กระทั่งบทความสองสามเรื่องเกี่ยวกับ SEM เชิงสำรวจ (ซึ่งเขายังกล่าวถึง!) ที่นั่นฉันยังต้องอ่าน ... อีกครั้งสิ่งเหล่านี้ไม่ใช่ CFA ในแบบที่คุณอาจต้องการ แต่ถ้าวัตถุประสงค์ของคุณเหมาะสมกับวิธีการเหล่านี้ ตัวเลือกอาจยังไม่หมด
Nick Stauner

1
รูปแบบ bifactor จะรวมกันเมื่อลบหนึ่งรายการ แต่ความฟิตยังไม่ดีจริงๆและปัจจัยยังคงมีความสัมพันธ์สูง ฉันคิดว่าตัวเลือกของฉันหมดลงแล้ว อย่างไรก็ตามเรากำลังรวบรวมข้อมูลเพิ่มเติมเพื่อให้มีการประมาณการที่น่าเชื่อถือมากขึ้น ขอบคุณสำหรับการตอบกลับของคุณ!
teeglaze
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.