ฉันจะใช้ข้อมูลนี้เพื่อปรับเทียบเครื่องหมายที่มีระดับความเอื้ออาทรต่าง ๆ ในการให้คะแนนนักเรียนได้อย่างไร

อาจารย์ 12 คนกำลังสอนนักเรียน 600 คน 12 กลุ่มที่สอนโดยครูเหล่านี้มีขนาดตั้งแต่ 40 ถึง 90 นักเรียนและเราคาดหวังความแตกต่างอย่างเป็นระบบระหว่างกลุ่มเพื่อนเนื่องจากนักศึกษาระดับบัณฑิตศึกษาได้รับการจัดสรรอย่างไม่เป็นสัดส่วนกับกลุ่มเพื่อนโดยเฉพาะและประสบการณ์ก่อนหน้านี้แสดงให้เห็นว่า นักศึกษาระดับปริญญาตรี

ครูได้ให้คะแนนเอกสารทั้งหมดในการศึกษาของพวกเขาและมอบหมายให้พวกเขาทำเครื่องหมายจาก 100

ครูแต่ละคนก็ดูกระดาษหนึ่งแผ่นที่สุ่มเลือกจากครูคนอื่นอีกสามคนและให้คะแนนจาก 100 ครูแต่ละคนมีเอกสารสามฉบับที่ครูอื่นทำเครื่องหมายไว้ กระดาษ 36 ชนิดที่แตกต่างกันได้ถูกทำเครื่องหมายด้วยวิธีนี้และฉันเรียกสิ่งนี้ว่าข้อมูลการสอบเทียบของฉัน

ฉันยังสามารถดูจำนวนนักศึกษาระดับบัณฑิตศึกษาในแต่ละกลุ่ม

คำถามของฉันคือ:

A) ฉันจะใช้ข้อมูลการสอบเทียบนี้เพื่อปรับเครื่องหมายต้นฉบับได้อย่างไรเพื่อให้มีความยุติธรรม โดยเฉพาะอย่างยิ่งฉันต้องการล้างออกให้มากที่สุดเท่าที่เป็นไปได้ผลกระทบของผู้ผลิตที่ใจกว้าง / ไม่สุภาพมากเกินไป

B) ข้อมูลการสอบเทียบของฉันมีความเหมาะสมเพียงใด ฉันไม่มีทางเลือกในจุดข้อมูลการสอบเทียบที่ค่อนข้าง จำกัด จำนวน 36 จุดที่ฉันได้รับในหลักสูตรนี้และไม่มีตัวเลือกในการรวบรวมเพิ่มเติมในระหว่างภาคการศึกษาปัจจุบัน อย่างไรก็ตามหากสถานการณ์นี้เกิดขึ้นอีกฉันอาจรวบรวมข้อมูลการสอบเทียบเพิ่มเติมหรือรวบรวมข้อมูลการสอบเทียบประเภทต่างๆ

คำถามนี้สัมพันธ์กับคำถามยอดนิยมที่ฉันถามที่: ฉันจะจัดการกับผลกระทบของเครื่องหมายที่มีระดับความเอื้ออาทรแตกต่างกันในเอกสารการให้เกรดของนักเรียนได้อย่างไร . อย่างไรก็ตามมันเป็นหลักสูตรที่แตกต่างกันและฉันไม่แน่ใจว่าการอ่านคำถามนั้นมีประโยชน์เพียงใดสำหรับพื้นหลังปัจจุบันนี้เนื่องจากปัญหาหลักที่เกิดขึ้นคือฉันไม่มีข้อมูลการสอบเทียบ

เสียงเช่นนี้เป็นโอกาสที่ดีที่จะใช้เมทริกซ์ระบบ recommender ตีนเป็ด สั้น ๆ นี้ทำงานดังนี้:

• นำการสังเกตของคุณไปไว้ในเมทริกซ์ที่สังเกตได้บางส่วน$M$ ที่ไหน $M_{ij}$ เป็นอาจารย์ที่ให้คะแนน $i$ มอบให้กับนักเรียน $j$.

• สมมติว่าเมทริกซ์นี้เป็นผลคูณด้านนอกของเวกเตอร์คุณลักษณะแฝง $\vec t$ และ $\vec s$--นั่นคือ, $M_{ij} = t_i s_j$.

• แก้ปัญหาสำหรับเวกเตอร์คุณลักษณะแฝงที่ลดข้อผิดพลาดในการสร้างใหม่กำลังสอง $\sum_{i,j} (t_is_j - M_{ij})^2$ (โดยที่ผลรวมช่วงเหนือเซลล์ที่สังเกตทั้งหมดของ $M$)

• คุณสามารถทำรูปแบบการเพิ่มความคาดหวังได้สูงสุดโดยแก้ไขการคาดเดา $\vec t$ และการแก้เพื่อ $\vec s$ ผ่านช่องสี่เหลี่ยมอย่างน้อยจากนั้นแก้ไขข้อผิดพลาดนั้น $\vec s$ และการแก้เพื่อ $\vec t$ และวนซ้ำจนกว่าการบรรจบกัน

โปรดสังเกตว่าสิ่งนี้ทำให้สมมติฐานที่ค่อนข้างแข็งแกร่งในรูปแบบของความลำเอียงของครู - โดยเฉพาะอย่างยิ่งถ้าคุณคิดว่าคุณสมบัติแฝงของนักเรียนเป็น "คะแนนจริง" ของพวกเขาแล้วอคติของครูคูณคะแนนจริงแต่ละโดยจำนวนคงที่ ( ทำให้มันเพิ่มขึ้นแทนคุณจะต้องแจกแจงคะแนนที่คุณแทรกเข้าไปในเมทริกซ์แล้วเรียนรู้เลขชี้กำลังของ "คะแนนจริง") ด้วยข้อมูลการสอบเทียบเพียงเล็กน้อยคุณอาจไม่สามารถทำได้ไกลโดยไม่ได้ตั้งสมมติฐานที่ชัดเจนของแบบฟอร์มนี้ แต่ถ้าคุณมีข้อมูลมากขึ้นคุณสามารถเพิ่มมิติที่สองของคุณสมบัติแฝง ฯลฯ (เช่นสมมติว่า$M_{ij} = \sum_{k=1}^n s_{ik} t_{kj}$ และลองลดข้อผิดพลาดการสร้างใหม่กำลังสองน้อยที่สุด)

แก้ไข: เพื่อให้มีปัญหาที่ชัดเจนคุณต้องมีการดำเนินการเมทริกซ์มากกว่าพารามิเตอร์แฝง (หรือคุณสามารถใช้การทำให้เป็นปกติบางชนิด) คุณเพิ่งจะได้ที่นี่ (คุณมีการสังเกต 636 ครั้งและพารามิเตอร์แฝง 612 ครั้ง) ดังนั้นการแยกตัวประกอบเมทริกซ์อาจทำงานได้ไม่ดีนัก - ฉันไม่ได้ทำงานกับพวกเขาในกลุ่มตัวอย่างขนาดเล็กเช่นนี้ดังนั้นฉันไม่รู้จริงๆ

หากการสอบเทียบพบว่าไม่เพียงพอที่จะใช้แบบจำลองผู้แนะนำที่ดีคุณสามารถลองใช้การถดถอยแบบหลายระดับScore ~ IsGradStudent + <whatever other student covariates you have> + (1|Teacher)(ละเว้นข้อมูลการสอบเทียบ) เพื่อแยกการประมาณค่าความลำเอียงของครูเพิ่มเติมจากนั้นตรวจสอบว่าอคตินี้สอดคล้องกับข้อมูลการสอบเทียบที่คุณ เอา. (คุณควรอนุญาตให้ครูต่างระดับกันถ้าเป็นไปได้) นี่เป็นแบบเฉพาะกิจมากกว่า แต่อาจทำให้คุณมีปัญหาในการรวบรวมข้อมูลที่รุนแรงน้อยลง

นี่คือวิธีการที่เกี่ยวข้องสองสามอย่าง

นำกระดาษจำนวนหนึ่งที่ทำเครื่องหมายโดยครูมากกว่าหนึ่งคนเนื่องจากเอกสารเหล่านี้มีข้อมูลมากที่สุดเกี่ยวกับเอฟเฟกต์ของครูและนอกเอกสารเหล่านั้นเอฟเฟกต์ของครูและกลุ่มคนจะสับสน หรือตัวทำนายอื่น ๆ เช่นคุณสามารถใช้ข้อมูลทั้งหมดได้ แต่จะทำให้ตัวแบบซับซ้อนขึ้นเล็กน้อย)

ติดป้ายชื่อนักเรียน $i=1,2, ... n$และเครื่องหมาย $j=1, 2, ...,m$. ปล่อยให้ชุดเครื่องหมายเป็น$y_{ij}, i=1,2, ... m$.

คุณต้องพิจารณาโมเดลของคุณก่อนว่าจะใช้เอฟเฟกต์มาร์กเกอร์อย่างไร มันเป็นสารเติมแต่งหรือไม่? มันทวีคูณหรือไม่? คุณจำเป็นต้องกังวลเกี่ยวกับผลกระทบของขอบเขต (เช่นจะมีผลบวกหรือ multiplicative ในระดับ logit จะดีกว่า)?

ลองนึกภาพตัวทำเครื่องหมายสองตัวบนกระดาษสองใบและจินตนาการว่าเครื่องหมายที่สองนั้นมีความเอื้อเฟื้อมากกว่า สมมติว่าเครื่องหมายแรกจะให้กระดาษ 30 และ 60 เครื่องหมายที่สองมีแนวโน้มที่จะเพิ่มจำนวนคงที่ของเครื่องหมาย (พูด 6 เครื่องหมาย) ให้กับทั้งสองหรือไม่ พวกเขามีแนวโน้มที่จะเพิ่มเปอร์เซ็นต์คงที่ (พูด 10% กับทั้งสองหรือ 3 คะแนนเทียบกับ 6 คะแนน)? เกิดอะไรขึ้นถ้าเครื่องหมายแรกให้ 99? - จะเกิดอะไรขึ้น? แล้ว 0 เกิดอะไรขึ้นถ้าเครื่องหมายที่สองมีน้ำใจน้อยกว่า จะเกิดอะไรขึ้นที่ 99 หรือ 0 (นี่คือเหตุผลที่ฉันพูดถึงโมเดล logit - หนึ่งอาจถือว่าเครื่องหมายเป็นสัดส่วนของเครื่องหมายที่เป็นไปได้ ($p_{ij}=m_{ij}/100$) จากนั้นเอฟเฟกต์เครื่องหมายอาจเพิ่มค่าคงที่ (พูด) ลงใน logit ของ $p$ - เช่น $\log(p_{ij}/(1-p_{ij})$)

(คุณมีข้อมูลไม่เพียงพอที่นี่เพื่อประเมินรูปแบบของความใจดีรวมถึงขนาดของมันคุณต้องเลือกแบบจำลองจากความเข้าใจในสถานการณ์คุณจะต้องละเว้นความเป็นไปได้ที่จะมีปฏิสัมพันธ์ด้วย มีข้อมูลสำหรับมัน)

ความเป็นไปได้ 1 - โมเดลเสริมแบบธรรมดา สิ่งนี้อาจเหมาะสมถ้าไม่มีเครื่องหมายอยู่ใกล้กับ 0 หรือ 100:

พิจารณารูปแบบเช่น $E(y_{ij}) = \mu_{i}+\tau_j$

นี่คือการวิเคราะห์ความแปรปรวนแบบสองทาง คุณต้องมีข้อ จำกัด ในเรื่องนี้ดังนั้นคุณอาจตั้งค่าการเบี่ยงเบนการเข้ารหัส / ตั้งค่าแบบจำลองเพื่อให้เอฟเฟกต์เครื่องหมายเป็น 0 หรือคุณอาจตั้งค่าแบบจำลองที่เครื่องหมายหนึ่งรายการเป็นพื้นฐาน (ซึ่งผลกระทบคือ 0 และเครื่องหมายของคุณ จะพยายามปรับเครื่องหมายอื่น ๆ ให้หันไปทาง)

จากนั้นนำไป $\hat{\tau}_j$ ค่าและปรับจำนวนประชากรของเครื่องหมายที่กว้างขึ้น $y_{kj}^\text{adj}=y_{kj}-\hat{\tau}_j$.

ความเป็นไปได้ที่ 2: โดยความคิดคล้าย ๆ กัน $E(y_{ij}) = \mu_{i}\tau_j$. ที่นี่คุณอาจพอดีกับโมเดลกำลังสองน้อยที่สุดแบบไม่เชิงเส้นหรือ GLM ที่มีล็อกลิงก์ คุณต้องมีข้อ จำกัด อีกครั้งใน$\tau$s

จากนั้นการปรับที่เหมาะสมจะถูกหารด้วย $\hat{\tau_j}$.

ความเป็นไปได้ที่ 3: สารเติมแต่งในระดับ logit สิ่งนี้อาจจะเหมาะสมกว่าหากเครื่องหมายบางอันมีค่าใกล้กับ 0 หรือ 100 ซึ่งจะมีลักษณะเป็นแบบทวีคูณสำหรับเครื่องหมายที่มีขนาดเล็กมาก ๆ เสริมสำหรับเครื่องหมายที่ทำตัวมิดชิดและทวีคูณแบบประมาณใน$1-p=(100-m)/100$สำหรับเครื่องหมายที่สูงมาก คุณอาจใช้การถดถอยเบต้าหรือ GLasi กึ่งทวินามพร้อมลิงค์บันทึกเพื่อให้เหมาะกับรุ่นนี้