นักเรียนประมาณ 600 คนมีคะแนนการประเมินอย่างกว้างขวางซึ่งสามารถสันนิษฐานได้ว่ามีความน่าเชื่อถือ / ความถูกต้องที่ดี การประเมินคะแนนจาก 100 และเป็นการทดสอบแบบปรนัยทำเครื่องหมายโดยคอมพิวเตอร์

นักเรียน 600 คนเหล่านั้นยังมีคะแนนในส่วนที่สองรองลงมาจากการประเมิน ในการประเมินชิ้นที่สองนี้พวกเขาถูกแบ่งออกเป็น 11 หมู่ด้วยนักเรียนระดับ 11 ที่แตกต่างกันและมีระดับความแปรปรวนระหว่างนักเรียนระดับใหญ่ในแง่ของ 'ความเอื้ออาทร' ของพวกเขาในการทำเครื่องหมายหรือขาด การประเมินครั้งที่สองนี้ได้คะแนนจาก 100

นักเรียนไม่ได้รับการมอบหมายให้มีการสุ่มและมีเหตุผลที่ดีที่จะคาดหวังความแตกต่างของระดับทักษะระหว่างกลุ่ม

ฉันได้นำเสนอด้วยภารกิจของการทำให้มั่นใจว่าความแตกต่างระหว่างตัวทำเครื่องหมายหมู่ตามการมอบหมายครั้งที่สองไม่เป็นประโยชน์ต่อนักเรียนแต่ละคนอย่างมีนัยสำคัญ / เสียเปรียบ

ความคิดของฉันคือการได้รับคะแนนหมู่ในการประเมินครั้งที่สองเพื่อให้สอดคล้องกับคะแนนหมู่ในครั้งแรกในขณะที่รักษาความแตกต่างระหว่างบุคคลภายในกลุ่ม เราควรสมมติว่าฉันมีเหตุผลที่ดีที่จะเชื่อว่าการทำงานของทั้งสองงานนั้นจะมีความสัมพันธ์กันสูง แต่เครื่องหมายนั้นแตกต่างกันอย่างมากในความเอื้ออาทรของพวกเขา

นี่เป็นวิธีที่ดีที่สุดหรือไม่? ถ้าไม่เป็นอะไร

มันจะได้รับการชื่นชมอย่างมากหากผู้ตอบสามารถให้คำแนะนำที่เป็นประโยชน์เกี่ยวกับวิธีการใช้โซลูชันที่ดีพูดใน R หรือ SPSS หรือ Excel

รู้วิธีการปรับพื้นถนนที่แตกต่างกันเป็นสิ่งที่ดี แต่ก็ยังไม่ได้บอกคุณว่าจะชดเชยการเรียนการ เพื่อความเรียบง่ายลองนึกภาพนักเรียนสองคน แม้ว่าเราจะสรุปเกรด 1 ได้อย่างต่อเนื่อง 5 คะแนนจะดีกว่าเกรด 2 แต่ก็ไม่ได้บอกคุณว่าจะทำอย่างไรกับนักเรียนสองคนที่ได้คะแนน 70 แต่ละคนโดยให้คะแนน 1 และ 1 โดยเกรด 2 เราบอกว่าเกรด 2 เป็นเครื่องหมายที่รุนแรงและเพิ่มขึ้นเป็น 70 ถึง 75 ในขณะที่รักษาเครื่องหมาย 70 ด้วยเกรด 1 ไม่เปลี่ยนแปลง? หรือว่าเราคิดว่าเกรด 1 เป็นแบบผ่อนปรนมากเกินไปให้นักเรียนของเขาลดเหลือ 65 คะแนนและไม่เปลี่ยนแปลง 70 ของเกรด 2? เราประนีประนอมครึ่งทางระหว่าง - ขยายไปถึงกรณีของคุณขึ้นอยู่กับค่าเฉลี่ยของนักเรียนระดับประถม 11 คน? มันเป็นคะแนนสัมบูรณ์ที่สำคัญดังนั้นการรู้ความเอื้ออาทรญาติจึงไม่เพียงพอ

ข้อสรุปของคุณอาจขึ้นอยู่กับว่า "วัตถุประสงค์" คุณรู้สึกว่าเครื่องหมายสุดท้ายแน่นอนควรเป็นอย่างไร แบบจำลองทางจิตหนึ่งจะเสนอนักเรียนแต่ละคนมีคะแนน "ถูกต้อง" - หนึ่งที่จะได้รับรางวัลโดยหัวหน้าผู้ประเมินถ้าพวกเขามีเวลาในการทำเครื่องหมายแต่ละกระดาษ - ซึ่งคะแนนที่สังเกตได้มีการประมาณ ในรุ่นนี้เกรดที่สังเกตต้องได้รับการชดเชยสำหรับเกรดของพวกเขาเพื่อที่จะนำพวกเขาเข้ามาใกล้ที่สุดเท่าที่จะเป็นไปได้ต่อเกรด "ของจริง" แบบจำลองอื่นอาจเป็นได้ว่าการให้คะแนนทั้งหมดเป็นแบบอัตนัยและเราพยายามที่จะเปลี่ยนระดับการสังเกตแต่ละจุดให้เป็นเครื่องหมายที่เราคาดการณ์ว่าจะได้รับรางวัลหากนักเรียนระดับประถมศึกษาทุกคนพิจารณากระดาษเดียวกันและถึงระดับการประนีประนอมหรือระดับเฉลี่ย ฉันพบว่ารุ่นที่สองน่าเชื่อถือน้อยกว่าเป็นวิธีแก้ปัญหาแม้ว่าการรับสมัครของผู้กระทำจะเหมือนจริงมากขึ้น ในการตั้งค่าการศึกษามักจะมีคนที่รับผิดชอบสูงสุดสำหรับการประเมินเพื่อให้แน่ใจว่านักเรียนได้รับ "เกรดที่พวกเขาสมควรได้รับ" แต่บทบาทนำนี้มีความรับผิดชอบให้อภัยกับนักเรียนระดับประถมที่เรารู้ว่าไม่เห็นด้วยอย่างชัดเจน จากนี้ไปฉันคิดว่าตรงนั้นเป็นเกรด "ถูกต้อง" ที่เรามุ่งหวังที่จะประเมิน แต่นี่เป็นข้อเสนอที่สามารถแข่งขันได้และอาจไม่เหมาะกับสถานการณ์ของคุณ

สมมติว่านักเรียน A, B, C และ D ทั้งหมดอยู่ในกลุ่มเดียวกัน "ควร" ให้คะแนนเป็น 75, 80, 85 และ 90 ตามลำดับ แต่นักเรียนระดับประถมของพวกเขามีคะแนน 5 คะแนนสูงเกินไป เราสังเกต 80, 85, 90 และ 95 และควรลบ 5 แต่การหาตัวเลขเพื่อลบนั้นเป็นปัญหา ไม่สามารถทำได้โดยการเปรียบเทียบผลลัพธ์ระหว่างกลุ่มเนื่องจากเราคาดว่ากลุ่มจะมีความสามารถเฉลี่ยแตกต่างกันไป ความเป็นไปได้อย่างหนึ่งคือการใช้ผลการทดสอบแบบปรนัยเพื่อทำนายคะแนนที่ถูกต้องในการมอบหมายครั้งที่สองจากนั้นใช้สิ่งนี้เพื่อประเมินความแปรปรวนระหว่างแต่ละเกรดและเกรดที่ถูกต้อง แต่การคาดการณ์นี้เป็นเรื่องไม่สำคัญหากคุณคาดหวังว่าค่าเฉลี่ยและส่วนเบี่ยงเบนมาตรฐานที่แตกต่างกันระหว่างการประเมินทั้งสองคุณไม่สามารถคาดเดาได้ว่าคะแนนการประเมินที่สองควรตรงกับอันดับแรก

นอกจากนี้นักเรียนยังมีความถนัดทางสัมพัทธ์แตกต่างกันในการประเมินแบบเลือกตอบและเขียน คุณสามารถปฏิบัติต่อสิ่งนั้นได้เช่นเดียวกับการสุ่มเอฟเฟกต์โดยการสร้างส่วนประกอบของคะแนน "ที่สังเกต" และ "จริง" ของนักเรียน แต่ไม่ได้คะแนนจากการคาดการณ์ หากกลุ่มมีความแตกต่างอย่างเป็นระบบและนักเรียนในกลุ่มมีแนวโน้มที่คล้ายกันดังนั้นเราไม่ควรคาดหวังว่าผลกระทบนี้จะเฉลี่ยเป็นศูนย์ภายในแต่ละกลุ่ม หากคะแนนเฉลี่ยที่ได้จากการสำรวจของกลุ่ม +5 เทียบกับที่คาดการณ์ไว้จะเป็นไปไม่ได้เพื่อตรวจสอบว่าสิ่งนี้เป็นผลมาจากนักเรียนระดับประถมศึกษาหรือไม่หมู่คนโดยเฉพาะอย่างยิ่งเหมาะที่ดีกว่าการประเมินเป็นลายลักษณ์อักษรกว่าแบบปรนัยหรือการรวมกันของทั้งสอง ในกรณีที่รุนแรงกลุ่มคนอาจมีความถนัดต่ำกว่าในการประเมินครั้งที่สอง แต่ก็มีมากกว่าที่จะได้รับการชดเชยจากผู้ที่ใจดีมาก - หรือในทางกลับกัน คุณไม่สามารถแยกสิ่งนี้ออกจากกัน มันอับอาย

ฉันยังสงสัยในความเพียงพอของรูปแบบการเติมง่าย ๆ สำหรับข้อมูลของคุณ นักเรียนระดับประถมอาจแตกต่างจากหัวหน้าผู้ประเมินไม่ใช่เพียงแค่เปลี่ยนสถานที่ แต่แพร่กระจายด้วย - แม้ว่าเพื่อน ๆ อาจมีความหลากหลายที่เหมือนกันคุณจึงไม่สามารถตรวจสอบการแพร่กระจายของคะแนนที่สังเกตได้ในแต่ละกลุ่มเพื่อตรวจสอบสิ่งนี้ ยิ่งกว่านั้นจำนวนมากของการแจกแจงมีคะแนนสูงใกล้กับค่าสูงสุดทางทฤษฎีที่ 100 ฉันคาดหวังว่าการแนะนำแบบไม่เป็นเชิงเส้นเนื่องจากการบีบอัดใกล้ระดับสูงสุด - เกรดที่กว้างขวางมากอาจให้เครื่องหมาย A, B, C และ D 85, 90, 94, 97 นี่เป็นการย้อนกลับที่ยากกว่าการลบค่าคงที่ ที่แย่กว่านั้นคุณอาจเห็น "การตัด" - นักเรียนที่เก่งมากอาจให้คะแนนพวกเขาเป็น 90, 95, 100, 100 สิ่งนี้เป็นไปไม่ได้เพื่อย้อนกลับและข้อมูลเกี่ยวกับประสิทธิภาพสัมพัทธ์ของ C และ D จะหายไปอย่างไม่สามารถกู้คืนได้

นักเรียนระดับประถมของคุณประพฤติแตกต่างกันมาก คุณแน่ใจหรือว่าพวกเขาแตกต่างกันในความเอื้ออาทรโดยรวมของพวกเขามากกว่าในความเอื้ออาทรของพวกเขาในองค์ประกอบต่างๆของการประเมิน? นี่อาจเป็นสิ่งที่ควรค่าแก่การตรวจสอบเนื่องจากสามารถนำเสนอภาวะแทรกซ้อนต่าง ๆ ได้เช่นเกรดที่สังเกตได้สำหรับ B อาจแย่กว่าของ A ถึงแม้ว่า B จะเป็น 5 จุดที่ "ดีกว่า" ถึงแม้ว่าเครื่องหมายที่จัดสรรไว้สำหรับนักเรียนแต่ละคน ของหัวหน้าผู้ประเมิน! สมมติว่าการประเมินถูกแบ่งระหว่าง Q1 (A ควรทำคะแนน 30/50, B 45/50) และ Q2 (A ควรทำคะแนน 45/50, B 35/50) ลองนึกภาพผู้ปราบจะผ่อนปรนมากในไตรมาสที่ 1 (เกรดสังเกต: A 40/50, B 50/50) แต่รุนแรงในไตรมาสที่ 2 (สังเกต: A 42/50, 30/50) จากนั้นเราสังเกตผลรวม 82 สำหรับ A และ 80 สำหรับ B. ถ้าคุณต้องพิจารณาคะแนนองค์ประกอบ

เนื้อหานี้เป็นความคิดเห็นเพิ่มเติมมากกว่าคำตอบในแง่ที่มันไม่ได้เสนอวิธีการแก้ปัญหาเฉพาะภายในขอบเขตเดิมของปัญหาของคุณ แต่ถ้านักเรียนระดับประถมของคุณจัดการเอกสารประมาณ 55 ฉบับแล้วละก็มันไม่ดีที่พวกเขาจะต้องดูที่ห้าหรือสิบเพิ่มเติมเพื่อจุดประสงค์ในการสอบเทียบ? คุณมีความคิดที่ดีเกี่ยวกับความสามารถของนักเรียนดังนั้นคุณสามารถเลือกตัวอย่างเอกสารจากด้านขวาของช่วงคะแนน จากนั้นคุณสามารถประเมินได้ว่าคุณต้องการชดเชยความเอื้ออาทรให้กับการทดสอบทั้งหมดหรือในแต่ละองค์ประกอบและว่าจะทำเช่นนั้นเพียงแค่เพิ่ม / ลบค่าคงที่หรือสิ่งที่ซับซ้อนกว่าเช่นการแก้ไข (เช่นถ้าคุณกังวลเกี่ยวกับการที่ไม่ เป็นเส้นตรงใกล้ 100) แต่คำเตือนเกี่ยวกับการแก้ไข: สมมติว่าหัวหน้าผู้ประเมินทำเครื่องหมายเอกสารห้าตัวอย่างเป็น 70, 75, 80, 85 และ 90 ในขณะที่เกรดให้คะแนนเป็น 80, 88, 84, 93 และ 96 ดังนั้นจึงมีความขัดแย้งเกี่ยวกับการสั่งซื้อ คุณอาจต้องการแมปคะแนนที่สังเกตได้จาก 96 ถึง 100 ลงในช่วงเวลา 90 ถึง 100 และคะแนนที่สังเกตได้จาก 93 ถึง 96 ลงในช่วง 85 ถึง 90 แต่ความคิดบางอย่างจำเป็นสำหรับเครื่องหมายด้านล่าง บางทีคะแนนที่สังเกตได้จาก 84 ถึง 93 ควรแมปกับช่วง 75 ถึง 85 อีกทางเลือกหนึ่งคือการถดถอย (อาจเป็นพหุนาม) เพื่อให้ได้สูตรสำหรับ "เกรดจริงที่คาดการณ์" จาก "เกรดที่สังเกต" บางทีคะแนนที่สังเกตได้จาก 84 ถึง 93 ควรแมปกับช่วง 75 ถึง 85 อีกทางเลือกหนึ่งคือการถดถอย (อาจเป็นพหุนาม) เพื่อให้ได้สูตรสำหรับ "เกรดจริงที่คาดการณ์" จาก "เกรดที่สังเกต" บางทีคะแนนที่สังเกตได้จาก 84 ถึง 93 ควรแมปกับช่วง 75 ถึง 85 อีกทางเลือกหนึ่งคือการถดถอย (อาจเป็นพหุนาม) เพื่อให้ได้สูตรสำหรับ "เกรดจริงที่คาดการณ์" จาก "เกรดที่สังเกต"

แบบจำลองที่ง่ายมาก:

ให้เป็นคะแนนของนักเรียนในการทดสอบ 1 และคะแนนของเขาในการทดสอบ 2 ให้เป็นพาร์ติชันของนักเรียนในกลุ่มเดิม$s_{1,i}$$i$$s_{2,i}$$A_1, \ldots, A_p$

แต่ละกลุ่มจะมีอคติโดยความแข็งแกร่งของนักเรียนและความสะดวกสบายของผู้เรียน สมมติว่านี่เป็นเอฟเฟ็กต์เสริมเราจึงถอยออกมาจากวิธีต่อไปนี้: เราจะลบคะแนนเฉลี่ยของหมู่ในการทดสอบครั้งแรกและเพิ่มคะแนนเฉลี่ยของหมู่ในการทดสอบครั้งที่สอง

เราคำนวณคะแนนที่ปรับแล้วดังต่อไปนี้$s'_1$

สุดท้ายรูปแบบคะแนนสุดท้ายกับน้ำหนักแล้วแต่จำนวนใดที่คุณพบที่เหมาะสม$s$

ข้อเสียคือนักเรียนแต่ละคนอาจถูกลงโทษหากผู้คนในกลุ่มของเขาเกิดโชคร้ายในการทดสอบครั้งที่สอง แต่เทคนิคทางสถิติใด ๆ ที่จะนำข้อเสียที่ไม่เป็นธรรมนี้

คุณทำไม่ได้ อย่างน้อยก็ไม่ใช่โดยไม่เก็บข้อมูลเพิ่มเติม เพื่อดูว่าทำไมอ่านความเห็นที่อัปโหลดจำนวนมากของ @ whuber ตลอดหัวข้อนี้

แก้ไข

ปัญหาที่แก้ไขได้ในคำตอบนี้คือการหานักเรียนระดับประถมที่ให้คะแนนน้อยกว่าแก่นักเรียนที่พวกเขาไม่ชอบ

โพสต์ต้นฉบับ

แนวทางของฉันซึ่งฉันคิดว่าง่ายต่อการติดตั้งจะเป็นดังนี้:

ให้แทนนักเรียนชั้นประถมศึกษาปีซึ่งเป็นกลุ่มที่ได้รับมอบหมาย 1 ให้แสดงถึงระดับสำหรับการมอบหมายครั้งที่สอง k ฉันy k , $\mu_{k, i}$$k$$i$$y_{k, i}$

1

สมมติว่าเป็นแบบจำลอง

α α ฉัน$y_{k, i} = \mu_{k, i} + \alpha + \tau e_{k, i}$ และประมาณสำหรับนักเรียนทุกคน นั่นคือเป็นที่คาดกันโดยไม่คำนึงถึงฉันมีความเป็นไปได้ที่เป็นศูนย์ แต่นักเรียนอาจเปลี่ยนผลการสอบของพวกเขาสำหรับการสอบปลายภาคที่ให้การเพิ่ม / ลดโดยรวม$\alpha$$\alpha$$i$$\alpha$

2

Letแสดงความเอื้ออาทรสำหรับเกรดจำนวนกลุ่มประชากรตามรุ่นผมจากนั้นสร้างและสมมติว่าเป็นแบบจำลองฉัน~ Y k , $G_i$$i$$\tilde{y}_{k, i}$

$y_{k, i} - \mu_{k, i} - \alpha = \tilde{y}_{k, i} = G_i + \sigma_i \tilde{e}_{k, i}$

และทำประมาณ 11 รายการของ และ$G$$\sigma$

3

ตอนนี้การสังเกตที่ผิดปกติเป็นสิ่งหนึ่งที่ปริมาณ

$T = \vert \frac{\tilde{y} - G_i}{\sigma_i} \vert$มีขนาดใหญ่ เลือกจำนวนที่มากที่สุดของเหล่านี้สำหรับทุกรุ่นและตรวจสอบพวกเขา

บันทึก

ทั้งหมดถือว่าเป็นเกาส์เซียน โดยปกติเกรดจะไม่กระจายดังนั้นแนวทางเกี่ยวกับขนาดของจึงยากที่จะให้$e$$T$

R-รหัส

ด้านล่างเป็นรหัสในอาร์โปรดทราบว่าในกรณีของคุณทั้ง mu และ y จะได้รับดังนั้นการสร้างแถวเมื่อพวกเขาได้รับการกำหนดหมายเลข rnorm-number ควรละเว้น ฉันรวมไว้เพื่อให้สามารถประเมินสคริปต์โดยไม่มีข้อมูล

mu_0 <- 50; 
alpha <- 5;
tau<- 10; 
# 0 Generate data for first assignment
mu <- matrix(rnorm(605, mu_0, tau), 11) 

# 1 Generate data for second assignment and estimate alpha
G <- rnorm(11, 0)*10;
for(i in 1:11){
    y[i,] <- rnorm(55, 0, sigma) + mu[i,] + alpha + G[i];
}

alpha_hat <- mean(y-mu)
alpha_hat

# 2 Form \tilde{y} and find unsual observations
ytilde <- y - mu - alpha_hat
T <- matrix(0, 11, 55);
for(i in 1:11){
    G_hat <- mean(ytilde[i,]);
    sigma_hat <- sd(ytilde[i,]);
    T[i,] <- order(abs(ytilde[i,] - G_hat)/sigma_hat)
}
# 3 Look at grader number 2 by
T[2,]

การรื้อฟื้นปัญหา: วิธีที่ดีที่สุดในการกำหนดเครื่องหมายการสอบสองส่วนด้วยเงื่อนไขที่กำหนดให้ส่วนที่สองต้องเผชิญกับความไม่แน่นอนที่มากขึ้นเนื่องจากช่วงของการประเมินเชิงคุณภาพของตัวแทนที่ได้รับมอบหมาย

ที่ไหน: ผู้ทดสอบหลัก = บุคคลที่รับผิดชอบสำหรับการสอบตัวแทนที่ได้รับมอบหมาย = คน (1 จาก 11) มอบหมายให้ทำเครื่องหมายพาร์ # 2 ของการสอบนักเรียน = คนที่สนุกกับการนั่งทำข้อสอบ

เป้าหมายรวมถึง: A) นักเรียนได้รับเครื่องหมายที่สะท้อนการทำงานของพวกเขา B) จัดการความไม่แน่นอนของส่วนที่สองให้สอดคล้องกับเจตนาของผู้ทดสอบหลัก

วิธีการที่แนะนำ (คำตอบ): 1. ผู้ทดสอบหลักเลือกสุ่มชุดตัวอย่างของการสอบทำเครื่องหมายส่วนที่ 2 และพัฒนาความสัมพันธ์กับส่วนที่ 1 2 ใช้ความสัมพันธ์เพื่อประเมินข้อมูลของผู้ทำเครื่องหมายที่ได้รับมอบหมายทั้งหมด (ตอนที่ 1) vs # 2 คะแนน) 3. ในกรณีที่ความสัมพันธ์แตกต่างจากผู้ทดสอบหลักอย่างมีนัยสำคัญ - ซึ่งเป็นที่ยอมรับของผู้ทดสอบหลัก - ตรวจสอบการทดสอบในฐานะผู้ทดสอบหลักเพื่อกำหนดผลลัพธ์ใหม่

วิธีการนี้ทำให้มั่นใจได้ว่าผู้ทดสอบหลักจะต้องรับผิดชอบต่อความสัมพันธ์และความสำคัญที่ยอมรับได้ ความสัมพันธ์อาจง่ายเหมือนคะแนนสำหรับส่วนที่ 1 กับ # 2 หรือคะแนนที่สัมพันธ์กันสำหรับคำถามของการทดสอบ # 1 กับ # 2

ผู้ทดสอบหลักจะสามารถกำหนดคุณภาพของผลลัพธ์สำหรับส่วนที่ 2 ตาม "ความสัมพันธ์ระหว่างยาง" กับความสัมพันธ์