การประเมินความน่าเชื่อถือของแบบสอบถาม: มิติรายการที่มีปัญหาและควรใช้อัลฟ่าแลมบ์ดา 6 หรือดัชนีอื่น ๆ หรือไม่?


16

ฉันกำลังวิเคราะห์คะแนนที่ได้รับจากผู้เข้าร่วมการทดลอง ฉันต้องการประเมินความน่าเชื่อถือของแบบสอบถามซึ่งประกอบด้วย 6 รายการที่มีวัตถุประสงค์เพื่อประเมินทัศนคติของผู้เข้าร่วมที่มีต่อผลิตภัณฑ์

ฉันคำนวณอัลฟ่าของครอนบาครักษาสิ่งของทั้งหมดในระดับเดียว (อัลฟาประมาณ 0.6) และลบทีละรายการ (ครั้งอัลฟาสูงสุดมีค่าประมาณ 0.72) ฉันรู้ว่าอัลฟาสามารถประเมินและประเมินค่าสูงไปน้อยได้ขึ้นอยู่กับจำนวนรายการและมิติข้อมูลของโครงสร้างพื้นฐาน ดังนั้นฉันจึงแสดง PCA การวิเคราะห์นี้พบว่ามีองค์ประกอบหลักสามประการที่อธิบายความแปรปรวนได้ประมาณ 80% ดังนั้นคำถามของฉันเกี่ยวกับฉันจะดำเนินการต่อไปได้อย่างไร

  • ฉันต้องทำการคำนวณอัลฟ่าในแต่ละส่วนข้อมูลเหล่านี้หรือไม่
  • ฉันได้ลบรายการที่มีผลต่อความน่าเชื่อถือหรือไม่

นอกจากนี้การค้นหาบนเว็บฉันพบว่ามีการวัดความน่าเชื่อถืออีกอย่างหนึ่งคือ lambda6 ของ guttman

  • ความแตกต่างที่สำคัญระหว่างการวัดนี้กับอัลฟ่าคืออะไร?
  • แลมบ์ดามีคุณค่าที่ดีอย่างไร

เพื่อให้แน่ใจว่าฉันเข้าใจถูกต้อง: 6 รายการ = 3 มิติที่พบกับ PCA
chl

1
(1) ขนาดตัวอย่างของคุณคืออะไร (2) มาตราส่วนถูกออกแบบมาให้มีมิติเดียวหรือไม่? (3) เครื่องชั่งมีการกำหนดอย่างดีด้วยวิธีการให้คะแนนมาตรฐานหรือไม่?
Jeromy Anglim

คำตอบ:


19

ฉันคิดว่า @Jeromy พูดถึงสิ่งที่จำเป็นแล้วดังนั้นฉันจะมุ่งเน้นไปที่การวัดความน่าเชื่อถือ

อัลฟาของครอนบาคเป็นดัชนีที่ขึ้นกับตัวอย่างที่ใช้ในการตรวจสอบความน่าเชื่อถือของเครื่องมือ มันไม่มากไปกว่าตัวบ่งชี้ความแปรปรวนที่แบ่งปันโดยรายการทั้งหมดที่พิจารณาในการคำนวณคะแนนสเกล ดังนั้นจึงไม่ควรสับสนกับการวัดความน่าเชื่อถือแบบสัมบูรณ์และไม่ใช้กับเครื่องมือหลายมิติโดยรวม ผลที่ตามมามีการตั้งสมมติฐานดังต่อไปนี้: (a) ไม่มีความสัมพันธ์ที่เหลือ (b) รายการมีการโหลดที่เหมือนกันและ (c) สเกลเป็นมิติเดียว ซึ่งหมายความว่ากรณีเดียวที่อัลฟาจะเป็นหลักเช่นเดียวกับความน่าเชื่อถือเป็นกรณีของการโหลดปัจจัยที่สูงอย่างสม่ำเสมอไม่มีข้อผิดพลาดร่วมและเครื่องมือมิติเดียว (1) เนื่องจากความแม่นยำของมันขึ้นอยู่กับข้อผิดพลาดมาตรฐานของความสัมพันธ์ระหว่างรายการมันขึ้นอยู่กับการแพร่กระจายของความสัมพันธ์ของรายการซึ่งหมายความว่าอัลฟาจะสะท้อนช่วงของความสัมพันธ์นี้โดยไม่คำนึงถึงแหล่งที่มาหรือช่วงของช่วงนี้ ประเด็นนี้ส่วนใหญ่จะกล่าวถึงใน (2) เป็นที่น่าสังเกตว่าเมื่ออัลฟ่าเท่ากับ 0.70 เกณฑ์ความน่าเชื่อถือที่อ้างอิงอย่างกว้างขวางสำหรับการเปรียบเทียบกลุ่ม (3,4) ข้อผิดพลาดมาตรฐานของการวัดจะมากกว่าครึ่งหนึ่ง (0.55) ส่วนเบี่ยงเบนมาตรฐาน ยิ่งไปกว่านั้นครอนบาคอัลฟ่าเป็นตัววัดความสอดคล้องภายในมันไม่ได้เป็นตัวชี้วัดของ unidimensionality และไม่สามารถใช้เพื่ออนุมาน unidimensionality (5) ในที่สุดเราสามารถพูด LJ Cronbach ได้

สัมประสิทธิ์เป็นอุปกรณ์คร่าวๆที่ไม่นำมาสู่พื้นผิวรายละเอียดปลีกย่อยจำนวนมากที่แสดงถึงส่วนประกอบของความแปรปรวน โดยเฉพาะอย่างยิ่งการตีความที่เกิดขึ้นในการประเมินในปัจจุบันจะได้รับการประเมินที่ดีที่สุดผ่านการใช้ข้อผิดพลาดมาตรฐานของการวัด --- Cronbach & Shavelson, (6)

มีข้อผิดพลาดอื่น ๆ อีกมากมายที่ถูกกล่าวถึงในเอกสารหลายฉบับในช่วง 10 ปีที่ผ่านมา (เช่น 7-10)

λ3λ6ωเสื้อωชั่วโมงβ (แทนที่ FA ด้วยการวิเคราะห์กลุ่มลำดับชั้นสำหรับการอภิปรายทั่วไปเพิ่มเติมดูที่ (12,13)) และให้การเปรียบเทียบแบบจำลองตามดัชนีทั้งหมด

อ้างอิง

  1. Raykov, T. (1997) ความน่าเชื่อถือของสเกลค่าสัมประสิทธิ์อัลฟ่าของครอนบาคและการละเมิดความเท่าเทียมกันสำคัญสำหรับส่วนประกอบที่เป็นส่วนประกอบคงที่ การวิจัยพฤติกรรมหลายตัวแปร , 32, 329-354
  2. Cortina, JM (1993) สัมประสิทธิ์อัลฟ่าคืออะไร? การตรวจสอบของทฤษฎีและการประยุกต์ใช้งาน วารสารจิตวิทยาประยุกต์ , 78 (1), 98-104
  3. Nunnally, JC และ Bernstein, IH (1994) ทฤษฎีไซโครเมทริกซ์ ชุด McGraw-Hill ในจิตวิทยารุ่นที่สาม
  4. De Vaus, D. (2002) การวิเคราะห์ข้อมูลทางสังคมศาสตร์ ลอนดอน: ปราชญ์สิ่งพิมพ์
  5. Danes, JE และ Mann, OK (1984) แบบจำลองการวัดมิติและสมการโครงสร้างพร้อมตัวแปรแฝง วารสารวิจัยธุรกิจ , 12, 337-352
  6. Cronbach, LJ และ Shavelson, RJ (2004) ความคิดของฉันในปัจจุบันสัมประสิทธิ์แอลฟาและ successorprocedures การวัดทางการศึกษาและจิตวิทยา , 64 (3), 391-418
  7. Schmitt, N. (1996) การใช้ประโยชน์และการละเมิดของค่าสัมประสิทธิ์อัลฟา การประเมินทางจิตวิทยา 8 (4) 350-353
  8. Iacobucci, D. และ Duhachek, A. (2003) Advancing อัลฟา: การวัดความน่าเชื่อถือด้วยความเชื่อมั่น วารสารจิตวิทยาผู้บริโภค , 13 (4), 478-487
  9. Shevlin, M. , Miles, JNV, Davies, MNO และ Walker, S. (2000) สัมประสิทธิ์อัลฟา: ตัวบ่งชี้ความน่าเชื่อถือที่มีประโยชน์? บุคลิกภาพและความแตกต่างระหว่างบุคคล , 28, 229-237
  10. Fong, DYT, Ho, SY และ Lam, TH (2010) การประเมินผลของความน่าเชื่อถือภายในในการปรากฏตัวของการตอบสนองที่ไม่สอดคล้อง สุขภาพและคุณภาพชีวิตผลลัพธ์ , 8, 27
  11. Guttman, L. (1945) พื้นฐานสำหรับการวิเคราะห์ความน่าเชื่อถือแบบทดสอบซ้ำ Psychometrika , 10 (4), 255-282
  12. Zinbarg, RE, Revelle, W. , Yovel, I. , และ Li, W. (2005) ครอนบาคของαของ Revelle βและของแมคโดนัลด์ ωชั่วโมง: ความสัมพันธ์ระหว่างพวกเขากับแต่ละอื่น ๆ และสอง conceptualizations ทางเลือกของความน่าเชื่อถือ Psychometrika , 70 (1), 123-133
  13. Revelle ดับบลิวและ Zinbarg, RE (2009) ค่าสัมประสิทธิ์อัลฟ่าเบต้าโอเมก้าและ GLB นี้: ความคิดเห็นเกี่ยวกับ Sijtsma Psychometrika , 74 (1), 145-154

8

นี่คือความคิดเห็นทั่วไป:

  • PCA : การวิเคราะห์ PCA ไม่ได้ "เปิดเผยว่ามีองค์ประกอบหลักสามประการ" คุณเลือกที่จะแยกส่วนข้อมูลสามส่วนหรือใช้กฎข้อผิดพลาดเริ่มต้นบางอย่าง (โดยทั่วไปจะมีค่าเฉพาะมากกว่า 1) เพื่อตัดสินใจว่าจะแยกส่วนข้อมูลขนาดใด นอกจากนี้ค่าลักษณะเฉพาะที่มากกว่าหนึ่งมักแยกขนาดมากกว่าที่เป็นประโยชน์
  • การประเมินมิติข้อมูล:ฉันยอมรับว่าคุณสามารถใช้ PCA เพื่อประเมินมิติข้อมูลของรายการ อย่างไรก็ตามฉันพบว่าการดูพล็อตหินกรวดสามารถให้คำแนะนำที่ดีกว่าสำหรับจำนวนมิติ คุณอาจต้องการตรวจสอบนี้ออกหน้าโดยวิลเลียม Revelle การประเมินมิติขนาด
  • จะดำเนินการอย่างไร
    • หากเครื่องชั่งมีการจัดตั้งอย่างดีคุณอาจต้องการทิ้งไว้ตามที่เป็นอยู่ (สมมติว่าคุณสมบัติของเครื่องมีความเหมาะสมอย่างน้อยแม้ว่าในกรณีของคุณ 0.6 จะค่อนข้างแย่ตามมาตรฐานส่วนใหญ่)
    • หากเครื่องชั่งไม่ได้รับการยอมรับอย่างดีแล้วคุณควรพิจารณาในทางทฤษฎีว่ารายการใดมีจุดประสงค์เพื่อวัดและสำหรับวัตถุประสงค์ที่คุณต้องการใช้มาตรวัดผลลัพธ์ เนื่องจากคุณมีเพียงหกรายการคุณไม่มีพื้นที่มากพอที่จะสร้างเครื่องชั่งหลายเครื่องโดยไม่ต้องกังวลกับจำนวนรายการต่อเครื่องชั่ง ในเวลาเดียวกันมันเป็นความคิดที่ชาญฉลาดในการตรวจสอบว่ามีรายการที่เป็นปัญหาหรือไม่ขึ้นอยู่กับปัญหาพื้นเพดานหรือความน่าเชื่อถือต่ำ นอกจากนี้คุณอาจต้องการตรวจสอบว่ามีรายการใดที่จำเป็นต้องกลับรายการ
    • ฉันได้รวบรวมลิงค์ไปยังแหล่งข้อมูลทั่วไปเกี่ยวกับการพัฒนาในระดับที่คุณอาจพบว่ามีประโยชน์

คำถามต่อไปนี้ตอบคำถามของคุณโดยเฉพาะ:

  • ฉันต้องทำการคำนวณอัลฟ่าในแต่ละส่วนข้อมูลเหล่านี้หรือไม่
    • ดังที่คุณอาจรวบรวมจากการอภิปรายข้างต้นฉันไม่คิดว่าคุณควรปฏิบัติต่อข้อมูลของคุณราวกับว่าคุณมีสามมิติ มีข้อโต้แย้งหลายประการที่คุณสามารถทำได้ขึ้นอยู่กับวัตถุประสงค์และรายละเอียดของคุณดังนั้นจึงเป็นการยากที่จะบอกว่าจะทำอย่างไร ในกรณีส่วนใหญ่ฉันต้องการสร้างสเกลที่ดีอย่างน้อยหนึ่งรายการ (อาจลบรายการ) แทนที่จะเป็นสเกลสามอย่างที่ไม่น่าเชื่อถือ
  • ฉันได้ลบรายการที่มีผลต่อความน่าเชื่อถือหรือไม่
    • มันขึ้นอยู่กับคุณ. หากมีการสร้างสเกลแล้วคุณอาจเลือกที่จะไม่ หากขนาดตัวอย่างของคุณเล็กอาจเป็นความผิดปกติของการสุ่มตัวอย่าง อย่างไรก็ตามโดยทั่วไปฉันมีแนวโน้มที่จะลบรายการถ้ามันลดลงอัลฟาของคุณจาก 0.72 ถึง 0.60 ฉันยังตรวจสอบด้วยว่ารายการที่เป็นปัญหานี้ไม่ได้หมายถึงการกลับรายการจริงหรือไม่

ฉันจะออกจากการสนทนาของ lambda 6 ( พูดคุยโดย William Revelle ที่นี่ ) ให้คนอื่น ๆ


เรียน Jeromy ขอขอบคุณสำหรับการตอบกลับอย่างรวดเร็ว ฉันสับสนเล็กน้อย จากการอ่านบทความและกระทู้ต่าง ๆ ในฟอรั่มนี้ฉันได้เห็นแล้วว่าการวิเคราะห์ปัจจัยเชิงสำรวจ (Exploratory Factor Analysis) ถูกนำมาใช้เพื่อสอบสวนว่าแบบสอบถามนั้นสามารถนำมาพิจารณาในระดับมิติเดียวได้หรือไม่ ดังนั้นฉันสงสัยว่าวิธีใดเหมาะสมที่สุด (PCA หรือ EFA) คุณสามารถช่วยฉันได้ไหม? ขอบคุณ
giovanna

1
@giovanna เป็นคำถามที่ดี คุณอาจต้องการถามคำถามแยกต่างหากเกี่ยวกับปัญหาเฉพาะนี้ โดยทั่วไปแล้วฉันคิดว่าการกำหนดมิติเป็นศิลปะอย่างหนึ่ง จากมุมมองของภาคปฏิบัติฉันพบว่าฉันมักจะได้ผลลัพธ์ที่คล้ายกันไม่ว่าจะเป็น PCA หรือ EFA แต่ในทางทฤษฎี EFA นั้นสอดคล้องกับแนวคิดของปัจจัยแฝงที่ทำให้เกิดรายการที่สังเกตได้
Jeromy Anglim

@giovanna ขอบคุณสำหรับว่าเชื่อมโยงไปยังคำถามที่ตามมาคือstats.stackexchange.com/questions/11713/...สำหรับคนอื่น ๆ ที่อาจจะสนใจ
Jeromy Anglim
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.