สูตรพยากรณ์ของสเปียร์แมน - บราวน์ได้รับผลกระทบจากคำถามที่มีปัญหาต่างกันอย่างไร

ผลลัพธ์ของสูตรพยากรณ์ Spearman-Brown ได้รับผลกระทบอย่างไรจากการมีคำถามทดสอบที่แตกต่างกันของความยากลำบากหรือผู้ให้คะแนนที่ง่ายหรือยาก มีข้อความหนึ่งที่กล่าวว่า SB ได้รับผลกระทบ แต่ไม่ได้ให้รายละเอียด (ดูใบเสนอราคาด้านล่าง)

Guion, R. M (2011) การประเมินการวัดและการทำนายสำหรับการตัดสินใจของบุคลากรรุ่นที่ 2 หน้า 477

"ความน่าเชื่อถือสามารถเพิ่มขึ้นได้โดยการรวมผู้ประเมินโดยใช้สมการ Spearman-Brown ... หากความน่าเชื่อถือของการจัดอันดับครั้งเดียวคือ 0.50 ความน่าเชื่อถือของการจัดอันดับแบบขนานสองสี่หรือหกจะอยู่ที่ประมาณ. 67, .80 และ. 86 ตามลำดับ "(Houston, Raymond, & Svec, 1991, p. 409) ฉันชอบใบเสนอราคานี้เนื่องจากคำโดยประมาณยอมรับว่าการประมาณการทางสถิติเป็นคำสั่ง "ตามค่าเฉลี่ย" ของสิ่งที่คาดว่าจะเกิดขึ้นหากทุกอย่างเป็นไปตามที่คาดการณ์ไว้ นอกเหนือจากนั้นคำผ่าตัดก็ขนาน คะแนนเฉลี่ย (หรือใช้ Spearman-Brown) หากผู้ประเมินหนึ่งรายตัวอย่างเช่นผ่อนปรนอย่างเป็นระบบเพียงไม่เหมาะสมกับสมมติฐาน ถ้าเรียงความแต่ละคนให้คะแนนโดยผู้ประเมินสองคนอีกคนหนึ่งจะผ่อนปรนมากกว่าอีกคนหนึ่งปัญหาดังกล่าวคือการใช้การทดสอบแบบปรนัยสองทางเลือกของความยากลำบากไม่เท่ากัน คะแนนที่ได้จากแบบทดสอบที่แตกต่างกัน ดังนั้นจึงเป็นการผสมกันระหว่างผู้อ่อนโยนและผู้ประเมินยาก ความน่าเชื่อถือของการจัดอันดับพูลถูกประเมินอย่างไม่ถูกต้องโดยสมการ Spearman-Brown ของทฤษฎีการทดสอบแบบดั้งเดิม เรื่องนั้นเลวร้ายยิ่งถ้าผู้พิพากษาแต่ละคนกำหนดโครงสร้างต่างกันเล็กน้อย "

แม้ว่าฉันจะรู้สึกว่ามีความขัดแย้งเล็กน้อยทั้ง "ข้อความที่น่านับถือ" และผู้ใช้ CV คนอื่น แต่สำหรับฉันแล้วดูเหมือนว่าสูตรสเปียร์แมน - บราวน์จะไม่ได้รับผลกระทบจากการมีปัญหาที่แตกต่างกัน เพื่อให้แน่ใจว่าสูตรสเปียร์แมน - บราวน์มักจะได้รับภายใต้สมมติฐานที่ว่าเรามีรายการคู่ขนานซึ่งมีความหมาย (เหนือสิ่งอื่นใด) ที่รายการนั้นมีความยากลำบากเท่ากัน แต่ปรากฎว่าข้อสมมติฐานนี้ไม่จำเป็น มันสามารถผ่อนคลายเพื่อให้เกิดปัญหาไม่เท่ากันและสูตรสเปียร์แมน - บราวน์จะยังคงอยู่ ฉันสาธิตสิ่งนี้ด้านล่าง

---

จำได้ว่าในทฤษฎีการทดสอบแบบดั้งเดิมการวัดจะถือว่าเป็นผลรวมของ "คะแนนจริง" องค์ประกอบและองค์ประกอบข้อผิดพลาดนั่นคือ กับและ uncorrelated ข้อสันนิษฐานของรายการแบบขนานคือรายการทั้งหมดมีคะแนนจริงเท่ากันแตกต่างกันในองค์ประกอบข้อผิดพลาดเท่านั้นแม้ว่าสิ่งเหล่านี้จะถือว่ามีความแปรปรวนเท่ากัน ในสัญลักษณ์สำหรับคู่ของรายการใดและT E X = T + E , T E X X ′ T = T $X$$T$$E$

$$X = T + E,$$ $T$$E$$X$$X'$T = T ′ + c $$T=T' \\\textrm{var}(E)=\textrm{var}(E').$$ เรามาดูกันว่าเกิดอะไรขึ้นเมื่อเราผ่อนคลายสมมติฐานแรกเช่นรายการอาจแตกต่างกันในความยากลำบากของพวกเขาแล้วได้รับความน่าเชื่อถือของคะแนนการทดสอบทั้งหมดภายใต้สมมติฐานใหม่เหล่านี้ สมมติว่าคะแนนจริงอาจแตกต่างกันไปจากค่าคงที่เพิ่มเติม แต่ข้อผิดพลาดยังคงมีความแปรปรวนเดียวกัน ในสัญลักษณ์ ความแตกต่างในความยากลำบากใด ๆ จะถูกจับโดยค่าคงที่สารเติมแต่ง ตัวอย่างเช่นถ้าแล้วคะแนนในมีแนวโน้มที่จะสูงกว่าคะแนนในเพื่อให้คือ "ง่ายขึ้น" กว่าX'เราอาจเรียกขนานเหล่านี้ว่าc ′ > 0 X X ′ X X $$T=T' + c' \\\textrm{var}(E)=\textrm{var}(E').$$ $c'>0$$X$$X'$$X$$X'$รายการคล้ายคลึงกับข้อสันนิษฐานของ "ความสำคัญเอกภาพ - เอกภาพ" ซึ่งผ่อนคลายแบบเอกภาพ - เอกภาพในลักษณะเดียวกัน

ทีนี้มาถึงความน่าเชื่อถือของแบบทดสอบของรายการนั้น ๆ พิจารณาการทดสอบที่ประกอบไปด้วยสิ่งของอย่างขนานกันโดยคือผลรวมที่ให้คะแนนการทดสอบ ความน่าเชื่อถือตามนิยามคืออัตราส่วนของความแปรปรวนของคะแนนจริงต่อความแปรปรวนของคะแนนที่สังเกตได้ เพื่อความน่าเชื่อถือของแต่ละรายการมันตามคำจำกัดความของความเท่าเทียมที่จำเป็นพวกเขามีความน่าเชื่อถือซึ่งเราแสดงด้วยด้วยเป็นความแปรปรวนของคะแนนจริงและความแปรปรวนของข้อผิดพลาด เพื่อความน่าเชื่อถือของคะแนนการทดสอบทั้งหมดก่อนอื่นเราจะตรวจสอบความแปรปรวนของคะแนนการทดสอบทั้งหมดซึ่งก็คือ ρ = σ 2 T / ( σ 2 T + σ 2 E ) σ $k$$\rho = \sigma^2_T/(\sigma^2_T+\sigma^2_E)$$\sigma^2_T$$\sigma^2_E$ Tσ 2 T σ 2 E k 2 σ 2

$$\begin{aligned} \textrm{var}(\sum_{i=1}^kT_i + E_i) &= \textrm{var}(\sum_{i=1}^kT + c_i + E_i) \\ &= k^2\sigma^2_T + k\sigma^2_E, \end{aligned}$$ โดยที่ (ไม่มีตัวห้อย) เป็นคะแนนจริงใด ๆ ที่คะแนนที่แท้จริงของไอเท็มสามารถเปลี่ยนไปเป็นผ่านทางคำศัพท์คงที่คือ คะแนนความแปรปรวนจริงและคือความแปรปรวนข้อผิดพลาด ขอให้สังเกตว่าเงื่อนไขคงที่เลื่อนออก! นี่คือกุญแจสำคัญ ดังนั้นความน่าเชื่อถือของคะแนนการทดสอบทั้งหมดคือ $T$$\sigma^2_T$$\sigma^2_E$ $$\begin{aligned} \frac{k^2\sigma^2_T}{k^2\sigma^2_T + k\sigma^2_E} &= \frac{k\sigma^2_T}{k\sigma^2_T + \sigma^2_X - \sigma^2_T} \\&= \frac{k\rho}{1+(k-1)\rho}, \end{aligned}$$ ซึ่งเป็นเพียงสูตร Spearman-Brown คลาสสิกไม่มีการเปลี่ยนแปลง สิ่งนี้แสดงให้เห็นว่าแม้เมื่อเปลี่ยน "ความยากลำบาก" ของรายการซึ่งกำหนดเป็นคะแนนเฉลี่ยของพวกเขาสูตรสเปียร์แมน - บราวน์ยังคงมีอยู่

@JeremyMiles ยกประเด็นที่น่าสนใจและสำคัญเกี่ยวกับสิ่งที่สามารถเกิดขึ้นได้เมื่อเราเพิ่มระยะเวลาในการทดสอบ "ในโลกแห่งความเป็นจริง" แต่อย่างน้อยตามสมมติฐานในอุดมคติของทฤษฎีการทดสอบแบบคลาสสิก แบบทดสอบ (ตรงกันข้ามกับสมมติฐานของทฤษฎีการตอบสนองข้อสอบรายการที่ทันสมัย!) เหตุผลพื้นฐานเดียวกันนี้คือเหตุผลที่เรามักพูดถึงความเป็นเอกภาพที่สำคัญมากกว่าความเป็นเอกภาพเนื่องจากผลลัพธ์ที่สำคัญส่วนใหญ่มีไว้สำหรับกรณีที่ผ่อนปรนมากขึ้นซึ่งความยากลำบากของรายการ (เช่นหมายถึง) อาจแตกต่างกัน

มันไม่ง่ายที่จะพูด

ก่อนอื่นสไปร์แมนบราวน์สันนิษฐานว่ารายการทดสอบ (หรือผู้ให้คะแนน) สุ่มตัวอย่างจากประชากรของรายการทดสอบ (หรือผู้ประเมิน) สิ่งนี้ไม่เป็นความจริงโดยเฉพาะอย่างยิ่งการทดสอบเพราะการสร้างรายการเพิ่มเติมนั้นยากและเป็นไปได้ว่าคุณจะใช้รายการที่ดีกว่าในการเริ่มต้น - จากนั้นคุณจะพบว่าการทดสอบนั้นต้องใช้เวลานานกว่า 'ขูดถัง' สำหรับรายการ

ประการที่สองรายการแตกต่างกันไปในความน่าเชื่อถือของพวกเขาและความน่าเชื่อถือไม่จำเป็นต้องเกี่ยวข้องกับความยากลำบาก (ถ้ามันช่วยให้คิดของความลาดชันและสกัดกั้นของเส้นโค้งลักษณะรายการในทฤษฎีการตอบสนองรายการ) อย่างไรก็ตามการคำนวณความน่าเชื่อถือ (พูดว่าอัลฟ่าของครอนบาคซึ่งเป็นรูปแบบของความสัมพันธ์ภายในระดับเดียวกัน) ถือว่าความน่าเชื่อถือมีความเท่าเทียมกันทั้งหมด เท่ากัน). มันเกือบผิดอย่างแน่นอน การเพิ่มรายการอาจสูงขึ้นและต่ำลง มันขึ้นอยู่กับรายการ

นี่คือวิธีคิดอีกวิธีหนึ่ง ฉันสุ่มเลือกตัวอย่างจากประชากรและคำนวณค่าเฉลี่ยและข้อผิดพลาดมาตรฐานของค่าเฉลี่ย ค่าเฉลี่ยนั้นจะเป็นตัวประมาณค่าเฉลี่ยของค่าเฉลี่ยประชากร จากนั้นฉันเพิ่มขนาดตัวอย่าง - ค่าคาดหวังของค่าเฉลี่ยเท่ากัน แต่ไม่น่าเป็นไปได้ที่มันจะเหมือนกันจริง ๆ - มันเกือบจะขึ้นหรือลงแน่นอน เช่นเดียวกับที่ฉันคาดว่าข้อผิดพลาดมาตรฐานจะเล็กลง แต่จำนวนที่ลดลงจะไม่สอดคล้องกัน (และเป็นไปไม่ได้ที่ข้อผิดพลาดมาตรฐานจะใหญ่ขึ้น)