จะลดจำนวนรายการโดยใช้การวิเคราะห์ปัจจัยความสอดคล้องภายในและทฤษฎีการตอบสนองข้อต่อได้อย่างไร?

ฉันกำลังอยู่ระหว่างการพัฒนาแบบสอบถามและฉันจะใช้หมายเลขที่กำหนดเองในตัวอย่างนี้เพื่ออธิบาย สำหรับบริบทฉันกำลังพัฒนาแบบสอบถามทางจิตวิทยาที่มีวัตถุประสงค์เพื่อประเมินรูปแบบความคิดที่ระบุโดยทั่วไปในบุคคลที่มีความวิตกกังวล รายการอาจมีลักษณะ "ฉันต้องตรวจสอบเตาอบซ้ำ ๆ เพราะฉันไม่แน่ใจว่าปิดแล้ว "

ฉันมีคำถาม 20 ข้อ (Likert 5 จุด) ซึ่งอาจประกอบด้วยหนึ่งหรือสองปัจจัย (โปรดทราบว่าในความเป็นจริงฉันมีคำถาม 200 คำถามซึ่งประกอบด้วย 10 เกล็ดและแต่ละสเกลอาจประกอบด้วยสองปัจจัย) ฉันยินดีที่จะลบรายการครึ่งหนึ่งทิ้งคำถาม 10 ข้อโดยหนึ่งในสองปัจจัย

ฉันคุ้นเคยกับการวิเคราะห์ปัจจัยเชิงสำรวจ (EFA) ความสอดคล้องภายใน (อัลฟาของครอนบาค) และเส้นโค้งลักษณะของรายการในทฤษฎีการตอบสนองข้อ (IRT) ฉันสามารถดูว่าฉันจะใช้วิธีการใดวิธีการหนึ่งต่อไปนี้เพื่อกำหนดว่ารายการใด "แย่ลง" ในระดับใด ๆ ฉันขอขอบคุณที่แต่ละวิธียังตอบคำถามที่แตกต่างกันถึงแม้ว่าพวกเขาอาจนำไปสู่ผลลัพธ์ที่คล้ายกันและฉันไม่แน่ใจว่า "คำถาม" อะไรสำคัญที่สุด

ก่อนที่เราจะเริ่มให้แน่ใจว่าฉันรู้ว่าฉันกำลังทำอะไรกับแต่ละวิธีเหล่านี้เป็นรายบุคคล

• เมื่อใช้ EFA ฉันจะระบุจำนวนปัจจัยและลบรายการที่โหลดน้อยที่สุด (ให้พูด <.30) กับปัจจัยที่เกี่ยวข้องหรือโหลดข้ามอย่างมีนัยสำคัญในหลาย ๆ ปัจจัย

• โดยใช้ความสอดคล้องภายในฉันจะลบรายการที่มี "อัลฟาถ้ารายการถูกลบ" ที่แย่กว่านั้น ฉันสามารถทำได้โดยสมมติหนึ่งปัจจัยในระดับของฉันหรือทำหลังจาก EFA เริ่มต้นเพื่อระบุจำนวนของปัจจัยและเรียกใช้อัลฟาของฉันสำหรับแต่ละปัจจัย

• ใช้ IRT ฉันจะลบรายการที่ไม่ได้ประเมินปัจจัยที่น่าสนใจตามตัวเลือกการตอบสนอง (5 Likert) ของพวกเขา ฉันจะเป็นโค้งลักษณะรายการไอ โดยทั่วไปฉันจะมองหาเส้นที่มีมุม 45 องศาจากตัวเลือกที่ 1 ในระดับ Likert จนถึงระดับ 5 ตามคะแนนแฝง ฉันสามารถทำได้โดยสมมติหนึ่งปัจจัยหรือทำหลังจาก
  EFA เริ่มต้นเพื่อระบุจำนวนของปัจจัยและจากนั้นเรียกใช้เส้นโค้งสำหรับแต่ละปัจจัย

ฉันไม่แน่ใจว่าจะใช้วิธีการใดในการระบุว่ารายการใดเป็น "ที่แย่ที่สุด" ที่สุด ฉันใช้สิ่งที่แย่ที่สุดในวงกว้างซึ่งรายการนั้นจะสร้างความเสียหายให้กับตัววัดทั้งในแง่ของความน่าเชื่อถือหรือความถูกต้องซึ่งทั้งสองอย่างมีความสำคัญเท่าเทียมกันกับฉัน สันนิษฐานว่าฉันสามารถใช้พวกมันร่วมกันได้ แต่ฉันก็ไม่แน่ใจเหมือนกัน

ถ้าฉันจะไปข้างหน้ากับสิ่งที่ฉันรู้ตอนนี้และให้ภาพที่ดีที่สุดของฉันฉันจะทำสิ่งต่อไปนี้:

1. ทำ EFA เพื่อระบุจำนวนของปัจจัย นอกจากนี้ยังลบรายการที่มีการโหลดที่ไม่ดีในปัจจัยที่เกี่ยวข้องเนื่องจากฉันไม่ต้องการให้รายการที่โหลดไม่ดีไม่ว่าพวกเขาจะทำอย่างไรในการวิเคราะห์อื่น ๆ
2. ทำ IRT และลบรายการที่ไม่ดีซึ่งตัดสินโดยการวิเคราะห์นั้นเช่นกันหากมีสิ่งใดเหลืออยู่จาก EFA
3. เพียงรายงานอัลฟ่าของครอนบาคและอย่าใช้เมตริกนั้นเป็นเครื่องมือในการลบรายการ

แนวทางทั่วไปใด ๆ ที่จะได้รับการชื่นชมอย่างมาก!

นี่คือรายการคำถามเฉพาะที่คุณสามารถตอบได้:

1. อะไรคือความแตกต่างในทางปฏิบัติระหว่างการลบรายการตามปัจจัยการบรรทุกและการลบรายการตามอัลฟ่าของ Chronbach (สมมติว่าคุณใช้เค้าโครงปัจจัยเดียวกันสำหรับการวิเคราะห์ทั้งสอง)

2. ฉันควรทำอะไรก่อน สมมติว่าฉันทำ EFA และ IRT ด้วยปัจจัยเดียวและทั้งสองระบุรายการต่าง ๆ ที่ควรลบการวิเคราะห์ที่ควรมีลำดับความสำคัญ?

ฉันไม่ยากที่จะทำการวิเคราะห์เหล่านี้ทั้งหมด แต่ฉันจะรายงานอัลฟาของ Chronbach โดยไม่คำนึงถึง ฉันรู้สึกว่าการทำเพียง IRT จะทำให้บางสิ่งหายไปและเช่นเดียวกับ EFA

ฉันไม่มีการอ้างอิง แต่นี่คือสิ่งที่ฉันแนะนำ:

Zeroth: ถ้าเป็นไปได้ให้แบ่งข้อมูลออกเป็นชุดฝึกอบรมและทดสอบ

ทำ EFA ก่อน ดูวิธีแก้ปัญหาต่าง ๆ เพื่อดูว่าคำถามใดเหมาะสมตามความรู้ของคำถาม คุณต้องทำสิ่งนี้ก่อนอัลฟาของครอนบาคไม่เช่นนั้นคุณจะไม่รู้ว่ารายการใดเป็นปัจจัย (การเรียกใช้อัลฟากับทุกรายการอาจไม่ใช่ความคิดที่ดี)

ถัดไปเรียกใช้อัลฟ่าและลบรายการที่มีความสัมพันธ์ต่ำกว่ามากในแต่ละปัจจัย ฉันจะไม่ตัดทอนโดยพลการฉันจะหาคนที่ต่ำกว่าคนอื่นมาก ดูว่าการลบสิ่งเหล่านั้นสมเหตุสมผลหรือไม่

สุดท้ายเลือกรายการที่มีระดับ "ความยาก" จาก IRT

จากนั้นถ้าเป็นไปได้ให้ทำสิ่งนี้ซ้ำในชุดทดสอบ แต่ไม่มีการสำรวจ นั่นคือดูว่าผลลัพธ์ที่พบในชุดการฝึกอบรมทำงานได้ดีเพียงใดในชุดทดสอบ

เกณฑ์ที่แนะนำทั้งสามข้อของคุณสามารถดำเนินการได้ใน IRT โดยเฉพาะ IRT หลายมิติที่เฉพาะเจาะจงมากขึ้น หากขนาดตัวอย่างของคุณมีขนาดใหญ่พอสมควรน่าจะเป็นวิธีที่สอดคล้องกันสำหรับแต่ละ subscale ด้วยวิธีนี้คุณจะได้รับประโยชน์จาก IRT สำหรับการสร้างแบบจำลองรายการอย่างอิสระ (ใช้แบบจำลองเล็กน้อยสำหรับบางรายการเครดิตบางส่วนทั่วไปหรือให้คะแนนสำหรับคนอื่น ๆ หรือถ้าเป็นไปได้ให้ตั้งค่าระดับการจัดอันดับ

MIRT นั้นมีความคิดเทียบเท่ากับการวิเคราะห์ตัวประกอบระดับรายการและดังนั้นจึงมีความสัมพันธ์ที่เทียบเท่า EFA เชิงเส้นสำหรับรายการไดโดโทมีและโพลีโทมีส ฉันไม่แน่ใจว่าฉันจะซื้อให้เป็นเกณฑ์ <.3 สำหรับการวางรายการหรือไม่เนื่องจากมันขึ้นอยู่กับบริบทและโครงสร้างของปัจจัย แรงขนาดเล็ก / เนินเขาไม่ได้ให้ข้อมูลเกี่ยวกับสถานที่มากตัด แต่ก็ยังอาจจะมีประโยชน์เนื่องจากพวกเขาสามารถนำเสนอฟังก์ชั่นข้อมูลที่กว้างขึ้นและแหลมน้อยในระดับของ\แอปพลิเคชั่นบางตัวใน CAT ใช้ประโยชน์จากรายการประเภทนี้ก่อนเช่นกันเนื่องจากพวกเขาให้กลุ่มข้อมูลที่กว้างขึ้นในช่วงต้นของการทดสอบ$\theta$

การวางรายการตามเกณฑ์ Cronbach นั้นค่อนข้างเหมือนกับการทิ้งรายการที่ให้ความน่าเชื่อถือของขอบเขต / การทดลองใน IRT ที่ดีขึ้นดังนั้นหากซอฟต์แวร์ที่คุณใช้สนับสนุนสถิติเหล่านี้คุณสามารถปฏิบัติตามกลยุทธ์เดียวกันได้โดยไม่ต้องออกกระบวนทัศน์ IRT ฉันอยากจะตรวจสอบฟังก์ชั่นข้อมูลมากกว่านี้เพื่อดูว่าการลบรายการนั้นมีผลกระทบอย่างรุนแรงต่อการวัดในระดับ (เกี่ยวข้องกับจุดตัด) แปลงข้อมูลเชิงสัมพันธ์มีประโยชน์ที่นี่เช่นกัน$\theta$

คุณสามารถลองลบรายการที่ไม่เป็นไปตามข้อกำหนดแบบมิติเดียวของซอฟต์แวร์ IRT ส่วนใหญ่ แต่ฉันไม่จำเป็นต้องแนะนำสิ่งนี้หากมีผลกระทบต่อการแสดงเชิงทฤษฎีของโครงสร้างที่มีอยู่ในมือ ในแอปพลิเคชันเชิงประจักษ์มักจะดีกว่าที่จะลองและทำให้แบบจำลองของเราสอดคล้องกับทฤษฎีของเราไม่ใช่วิธีอื่น ๆ นอกจากนี้นี่คือสิ่งที่แบบจำลอง bifactor / สองชั้นมีความเหมาะสมเนื่องจากคุณต้องการรวมรายการที่เป็นไปได้ทั้งหมดในขณะที่การบัญชีสำหรับความหลากหลายเชิงพหุในวิธีที่เป็นระบบและเป็นที่ต้องการในทางทฤษฎี