รูปแบบการตรวจจับการโกงในการสอบแบบหลายคำถาม

คำถาม:

ฉันมีข้อมูลเลขฐานสองสำหรับคำถามสอบ (ถูกต้อง / ไม่ถูกต้อง) บุคคลบางคนอาจเคยเข้าถึงชุดคำถามและคำตอบที่ถูกต้องมาก่อน ฉันไม่รู้ว่าใครเป็นใครหรืออะไร หากไม่มีการโกงคิดว่าฉันจะรูปแบบน่าจะเป็นของการตอบสนองที่ถูกต้องสำหรับรายการที่$i$เป็น$logit((p_i = 1 | z)) = \beta_i + z$ที่$\beta_i$แสดงให้เห็นถึงความยากลำบากคำถามและ$z$คือความสามารถแฝงของแต่ละบุคคล นี่คือรูปแบบการตอบสนองข้อสอบที่ง่ายมากที่สามารถประมาณได้ด้วยฟังก์ชั่นเช่น Rasch LTM ของ () ในอาร์นอกจากนี้ยังมีการประมาณการZ J (ที่เจดัชนีบุคคล) ของตัวแปรแฝงฉันมีการเข้าถึงการประมาณการแยกต่างหากQญของตัวแปรแฝงเดียวกันซึ่งได้มาจากชุดข้อมูลอื่นที่ไม่สามารถทำการโกงได้$\hat{z}_j$$j$$\hat{q}_j$

เป้าหมายคือการระบุบุคคลที่น่าจะถูกโกงและสิ่งของที่พวกเขาถูกโกง คุณอาจใช้แนวทางอะไรบ้าง? β$\hat{\beta}_i$ , ซีเจและQญที่มีอยู่ทั้งหมดแม้จะเป็นครั้งแรกที่ทั้งสองจะมีอคติบางอย่างเกิดจากการโกง ตามหลักการแล้ววิธีแก้ปัญหาจะอยู่ในรูปแบบของการจัดกลุ่ม / การจัดกลุ่มความน่าจะเป็นแม้ว่าจะไม่จำเป็นก็ตาม แนวคิดเชิงปฏิบัติได้รับการต้อนรับอย่างสูงเช่นเดียวกับแนวทางที่เป็นทางการ$\hat{z}_j$$\hat{q}_j$

จนถึงตอนนี้ผมได้มีการเปรียบเทียบความสัมพันธ์ของคะแนนคำถามสำหรับคู่ของบุคคลที่มีสูงขึ้นเมื่อเทียบกับที่ลดลงQเจ- ซีเจคะแนน (ที่Qเจ- ซีเจเป็นดัชนีคร่าวๆของความน่าจะเป็นว่าพวกเขาโกง) ตัวอย่างเช่นผมเรียงบุคคลโดยQเจ- ซีเจแล้วพล็อตความสัมพันธ์ของคู่ต่อเนื่องของบุคคลคะแนนคำถาม ฉันยังพยายามวางแผนความสัมพันธ์เฉลี่ยของคะแนนสำหรับบุคคลที่มีคิวเจ- ซีเจ$\hat{q}_j -\hat{z}_j$$\hat{q}_j - \hat{z}_j$$\hat{q}_j - \hat{z}_j$$\hat{q}_j - \hat{z}_j$มีค่ามากกว่า quantile ของQเจ- ซีเจเป็นหน้าที่ของn ไม่มีรูปแบบที่ชัดเจนสำหรับทั้งสองวิธี$n^{th}$$\hat{q}_j - \hat{z}_j$$n$

---

UPDATE:

ฉันสิ้นสุดการรวมแนวคิดจาก @SheldonCooper และกระดาษ Freakonomics ที่เป็นประโยชน์ที่ @whuber ชี้ให้ฉันเห็น ความคิด / ความเห็น / วิจารณ์อื่น ๆ ยินดีต้อนรับ

Let เป็นคนที่ j ‘s คะแนนไบนารีกับคำถามฉัน ประมาณรูปแบบการตอบสนองรายการl o g ฉันt ( P r ( X ฉันj = 1 | z j ) = β ฉัน + z jโดยที่β ฉันเป็นพารามิเตอร์ความง่ายของรายการและz jเป็นตัวแปรความสามารถแฝง (เพิ่มเติม แบบจำลองที่ซับซ้อนสามารถทดแทนได้ฉันใช้ 2PL ในแอปพลิเคชันของฉัน) ตามที่ฉันพูดถึงในโพสต์ดั้งเดิมของฉันฉันมีการประมาณการ$X_{ij}$$j$$i$

$$logit(Pr(X_{ij} = 1 | z_j) = \beta_i + z_j,$$ $\beta_i$$z_j$ของตัวแปรความสามารถจากชุดข้อมูลที่แยกต่างหาก{yij}(รายการที่แตกต่างกัน, บุคคลเดียวกัน) ที่ไม่สามารถโกงได้ โดยเฉพาะ ^ q jเป็นค่าประมาณแบบเบย์เชิงประจักษ์จากแบบจำลองการตอบสนองไอเท็มเดียวกันกับด้านบน$\hat{q_j }$$\{y_{ij}\}$$\hat{q_j}$

ความน่าจะเป็นของคะแนนที่สังเกตได้ , เงื่อนไขเกี่ยวกับความง่ายของรายการและความสามารถของบุคคล, สามารถเขียนได้p i j = P r ( X i j = x i j | ^ β i , ^ q j ) = P i j ( ^ β i , ^ q j ) x i j ( 1 - P i j ( ^ β $x_{ij}$ที่ P i j ( ^ β i , ^ q j ) = i l o g i t ( ^ β i + ^ q j )คือความน่าจะเป็นที่คาดการณ์ของการตอบสนองที่ถูกต้อง, และฉันลิตรo กรัมฉันทีเป็น logit ผกผัน จากนั้นมีเงื่อนไขกับรายการและลักษณะบุคคลความน่าจะเป็นร่วมที่บุคคลนั้น

$$p_{ij} = Pr(X_{ij} = x_{ij} | \hat{\beta_i }, \hat{q_j }) = P_{ij}(\hat{\beta_i }, \hat{q_j })^{x_{ij}} (1 - P_{ij}(\hat{\beta_i }, \hat{q_j }))^{1-x_{ij}},$$ $P_{ij}(\hat{\beta_i }, \hat{q_j }) = ilogit(\hat{\beta_i} + \hat{q_j})$$ilogit$มีข้อสังเกต x เจเป็นพีเจ = Πฉันหน้าฉันเจ ,และในทำนองเดียวกันที่น่าจะร่วมกันว่ารายการผมมีข้อสังเกต x ฉันคือ P ฉัน = Πเจพีฉันเจ บุคคลที่มีต่ำสุดพีเจค่าคือบรรดาผู้ที่สังเกตได้คะแนนเป็นเงื่อนไขอย่างน้อยน่า - พวกเขาอาจจะเป็นคนขี้โกง รายการที่มีต่ำสุดพี$j$$x_j$ $$p_j = \prod_i p_{ij},$$ $i$$x_i$ $$p_i = \prod_j p_{ij}.$$ $p_j$$p_j$ค่าคือค่าที่มีความเป็นไปได้น้อยที่สุดตามเงื่อนไข - เป็นรายการที่รั่วไหล / ใช้ร่วมกันได้ วิธีนี้ต้องอาศัยบนสมมติฐานว่ารุ่นที่ถูกต้องและว่าคน ‘s คะแนนเป็น uncorrelated เงื่อนไขในลักษณะบุคคลและรายการ การละเมิดสมมติฐานที่สองไม่ใช่ปัญหา แต่ตราบใดที่ระดับความสัมพันธ์ไม่แตกต่างกันไปตามบุคคลและโมเดลสำหรับp i jสามารถปรับปรุงได้ง่าย (เช่นโดยการเพิ่มบุคคลหรือรายการเพิ่มเติม)$j$$p_{ij}$

ขั้นตอนเพิ่มเติมที่ฉันพยายามคือการใช้ r% ของคนที่มีโอกาสน้อยที่สุด (เช่นคนที่มีค่า r% ต่ำสุดของค่า p_j ที่เรียงลำดับ) คำนวณระยะทางเฉลี่ยระหว่างคะแนนที่สังเกตเห็นของพวกเขา x_j (ซึ่งควรสัมพันธ์กับผู้ที่มี r ต่ำ เป็นตัวโกงที่เป็นไปได้) และเขียนเป็น r = 0.001, 0.002, ... , 1.000 ระยะทางเฉลี่ยเพิ่มขึ้นสำหรับ r = 0.001 ถึง r = 0.025, สูงสุดและจากนั้นลดลงอย่างช้าๆจนถึงขั้นต่ำที่ r = 1 ไม่ใช่สิ่งที่ฉันหวังไว้

วิธีการเฉพาะกิจ

$\beta_i$$i$$j$$\beta_i + q_j$$q_j$เป็นเพียงอ็อฟเซ็ตคงที่) และเกณฑ์ในบางสถานที่ที่เหมาะสม (เช่น p (ถูกต้อง) <0.6 นี่เป็นชุดคำถามที่นักเรียนไม่น่าจะตอบได้อย่างถูกต้อง ตอนนี้คุณสามารถใช้การทดสอบสมมติฐานเพื่อดูว่ามีการละเมิดหรือไม่ในกรณีนี้นักเรียนอาจโกง (สมมติว่าแบบจำลองของคุณถูกต้อง) หนึ่งข้อแม้คือว่าหากมีคำถามดังกล่าวน้อยคุณอาจมีข้อมูลไม่เพียงพอที่การทดสอบจะเชื่อถือได้ นอกจากนี้ฉันไม่คิดว่าเป็นไปได้ที่จะตัดสินว่าคำถามใดที่เขาโกงเพราะเขามักจะมีโอกาส 50% ที่จะคาดเดา แต่ถ้าคุณสมมติว่านักเรียนหลายคนเข้าถึงคำถามชุดเดียวกันคุณสามารถเปรียบเทียบคำถามเหล่านี้กับนักเรียนและดูว่าคำถามใดที่ตอบบ่อยกว่าโอกาส

$q_j$$\beta_i$

หลักการวิธีการ

$c_j$$l_i$$a_{ij}$$j$$i$$c_j = 1$$l_i = 1$$a_{ij}$$logit(\beta_i + q_j)$$a_{ij}$$c_j$$l_i$

หากคุณต้องการเข้าใกล้แนวทางที่ซับซ้อนมากขึ้นคุณอาจดูแบบจำลองทฤษฎีการตอบกลับข้อสอบ จากนั้นคุณสามารถจำลองปัญหาของแต่ละคำถามได้ ฉันคิดว่านักเรียนที่ได้รับของที่ยากในขณะที่ขาดหายไปนั้นจะง่ายกว่าคนที่ทำตรงกันข้าม

เป็นเวลากว่าทศวรรษแล้วที่ฉันทำสิ่งนี้ แต่ฉันคิดว่ามันน่าจะเป็นไปได้ สำหรับรายละเอียดเพิ่มเติมดูที่หนังสือ psychometrics