การออกแบบการคัดเกรดแบบ Peer - การเลือกกราฟเพื่อให้ได้อันดับ / การจัดอันดับที่แม่นยำ

พื้นหลัง. ฉันกำลังเขียนโค้ดบางส่วนสำหรับการให้คะแนนแบบกึ่งอัตโนมัติโดยใช้การให้คะแนนแบบเพียร์เป็นส่วนหนึ่งของกระบวนการให้คะแนน นักเรียนจะได้รับเรียงความคู่หนึ่งครั้งและนักเรียนมีแถบเลื่อนเพื่อเลือกว่าจะดีกว่าและดีกว่ามากแค่ไหน เช่นแถบเลื่อนอาจมีลักษณะดังนี้:

A---X-B

ขึ้นอยู่กับผลลัพธ์ของการให้คะแนนเพื่อนเรียงความจะถูกจัดอันดับและครูจะจัดเกรด X% และ X ล่างสุดและคะแนนสำหรับเรียงความทั้งหมดจะถูกคำนวณโดยอัตโนมัติตามสิ่งนี้ ฉันคิดวิธีการจัดอันดับ / การให้คะแนนนี้แล้ว ส่วนนั้นทำงานได้ดี

คำถามของฉัน. ฉันจะเลือกเรียงความที่จะให้กับนักเรียนได้อย่างไร

การจำลองแนะนำว่าเราต้องมีการเขียนเรียงความอย่างน้อย 3 ครั้งเพื่อให้ได้อันดับที่ถูกต้อง ดังนั้นการเขียนเรียงความแต่ละครั้งควรปรากฏในคู่อย่างน้อย 3 คู่ที่มีการจัดลำดับเพียร์

เราคิดว่านี่เป็นปัญหากราฟ คิดว่าบทความเป็นโหนด แต่ละขอบแสดงถึงคู่ของบทความที่นำเสนอในระหว่างกระบวนการคัดเกรดเพื่อน ผลลัพธ์ความแม่นยำข้างต้นชี้ให้เห็นว่าระดับของแต่ละโหนด (หรือของโหนดส่วนใหญ่) ควรมีอย่างน้อย 3 กราฟที่ฉันควรใช้ ฉันจะสร้างกราฟที่จะใช้ในระหว่างการให้คะแนนเพื่อนได้อย่างไร

สิ่งหนึ่งที่ท้าทายคือถ้าคุณมีกลุ่มในกราฟสิ่งนี้จะเอียงการไล่ระดับสีแบบเพียร์ ตัวอย่างเช่นเราไม่ต้องการให้เรียงความที่มีคุณภาพสูงเป็นแบบคัดเกรดกับส่วนใหญ่เป็นเรียงความที่มีคุณภาพสูงเพราะนั่นจะบิดเบือนผลลัพธ์ของการคัดเกรดเพื่อน

คุณจะแนะนำอะไร

ฉันคิดว่าปัญหานี้สามารถสร้างแบบจำลองด้วยกราฟที่ไม่ได้บอกทิศทางโดยใช้สิ่งต่อไปนี้:

• เริ่มต้นด้วยการใช้โหนดที่มีระดับน้อยที่สุดและเชื่อมโยงกับโหนดถัดไป
• ดำเนินการต่อไปจนกระทั่งระดับเฉลี่ยของคุณอย่างน้อย 3
• เพิ่มการเชื่อมต่อโหนดให้สูงสุด
• ลดจำนวน cliques ให้น้อยที่สุด

นี่เป็นวิธีที่ดีหรือไม่? ถ้าไม่ใช่คุณจะแนะนำอะไรแทน

มีสองส่วนดังนี้: (a) การเลือกกราฟ ( การออกแบบการทดลอง ) เพื่อตรวจสอบว่าคู่ของบทความที่นักเรียนจะประเมินในกระบวนการจัดเกรดเพียร์และ (b) การจัดอันดับเรียงความทั้งหมดตามเกรดเพื่อนของนักเรียนเพื่อ ตรวจสอบว่าครูควรอันดับ ฉันจะแนะนำวิธีการบางอย่างสำหรับแต่ละ

การเลือกกราฟ

คำชี้แจงปัญหา. ขั้นตอนแรกคือการสร้างกราฟ กล่าวอีกนัยหนึ่งคุณต้องเลือกคู่เรียงความที่จะแสดงต่อนักเรียนในระหว่างการฝึกการคัดเกรด

ทางออกที่แนะนำ สำหรับภารกิจนี้ฉันขอแนะนำให้คุณสร้างกราฟแบบสุ่ม$G$เลือกสุ่มอย่างสม่ำเสมอจากชุดกราฟทั้ง 3 แบบธรรมดา (แบบง่าย)

เหตุผลและรายละเอียด มันเป็นที่รู้จักกันว่าการสุ่ม$d$กราฟที่สม่ำเสมอเป็นตัวขยายที่ดี ในความเป็นจริงกราฟปกติมีปัจจัยการขยายตัวที่เหมาะสมที่สุดแบบ asymptotically นอกจากนี้เนื่องจากกราฟเป็นแบบสุ่มสิ่งนี้จะช่วยลดความเสี่ยงในการจัดลำดับการเอียง โดยการเลือกกราฟที่สุ่มอย่างสม่ำเสมอคุณจะมั่นใจได้ว่าวิธีการของคุณยุติธรรมกับนักเรียนทุกคนอย่างเท่าเทียมกัน ฉันสงสัยว่ากราฟแบบสุ่ม 3 ปกติที่สม่ำเสมอจะเหมาะสมที่สุดสำหรับวัตถุประสงค์ของคุณ

สิ่งนี้ทำให้เกิดคำถาม: เราจะเลือกกราฟ 3 แบบธรรมดา (ง่าย) ได้อย่างไร $n$ จุดยอดสุ่มอย่างสม่ำเสมอหรือไม่

โชคดีที่มีอัลกอริทึมที่รู้จักกันสำหรับการทำเช่นนี้ โดยทั่วไปคุณทำสิ่งต่อไปนี้:

1. สร้าง $3n$จุด คุณสามารถคิดว่านี่เป็น 3 สำเนาของแต่ละ$n$จุด สร้างสุ่มอย่างเท่าเทียมกันเป็นคู่ที่สมบูรณ์แบบแบบสุ่มกับสิ่งเหล่านี้$3n$จุด (กล่าวอีกนัยหนึ่งให้ทำซ้ำขั้นตอนต่อไปนี้จนกระทั่งทั้งหมด$3n$ คะแนนถูกจับคู่ออก: เลือกจุดใดก็ได้ที่ไม่ได้จับคู่แล้วจับคู่กับจุดอื่นที่เลือกแบบสุ่มโดยสม่ำเสมอจากชุดของจุดที่ไม่ได้จับคู่)

2. สำหรับแต่ละจุดที่จับคู่โดยการจับคู่ให้วาดเส้นขอบระหว่างจุดยอดที่สอดคล้องกัน (ซึ่งเป็นจุดคัดลอก) นี่จะให้กราฟกับคุณ$n$ จุด

3. ถัดไปทดสอบว่ากราฟที่ได้นั้นง่ายหรือไม่ (เช่นไม่มีลูปและไม่มีขอบซ้ำ) ถ้ามันไม่ง่ายให้ทิ้งกราฟและกลับไปที่ขั้นตอนที่ 1 ถ้ามันง่ายคุณก็ทำเสร็จแล้ว แสดงกราฟนี้

เป็นที่รู้จักกันว่าขั้นตอนนี้จะสร้างการกระจายชุดในชุดของ 3 ปกติ (แบบง่าย) กราฟ นอกจากนี้เป็นที่ทราบกันดีว่าในขั้นตอนที่ 3 คุณมีความน่าจะเป็นที่จะรับกราฟผลลัพธ์ดังนั้นค่าเฉลี่ยของอัลกอริทึมจะทำ$O(1)$ การทดลอง - ดังนั้นนี่คือที่มีประสิทธิภาพสวย (เช่นเวลาทำงานพหุนาม)

ฉันได้เห็นวิธีการนี้ให้เครดิตกับ Bollobas, Bender และ Canfield วิธีการนี้ยังสรุปสั้น ๆในวิกิพีเดีย คุณสามารถค้นหาการสนทนาในโพสต์บล็อกนี้

ในทางเทคนิคการพูดสิ่งนี้ต้องใช้หมายเลข $n$ จะเท่ากัน (ไม่เช่นนั้นจะไม่มีกราฟ 3 ตัวเป็นปกติ $n$จุด) อย่างไรก็ตามเรื่องนี้ง่ายต่อการจัดการ ตัวอย่างเช่นถ้า$n$แปลกคุณสามารถสุ่มเรียงความหนึ่งชุดวางเรียงกันสร้างกราฟสุ่ม 3 แบบปกติบนเรียงความที่เหลือจากนั้นเพิ่มขอบอีก 3 ขอบจากเรียงความเรียงกันเป็น 3 เรียงความอื่นที่สุ่มเลือก (ซึ่งหมายความว่าจะมี 3 บทความที่ให้คะแนนจริง 4 ครั้ง แต่ไม่ควรทำอันตรายใด ๆ )

จัดอันดับเรียงความทั้งหมด

คำชี้แจงปัญหา. ตกลงดังนั้นตอนนี้คุณมีกราฟและคุณได้นำเสนอบทความคู่นี้ (ตามที่ระบุโดยขอบในกราฟ) ให้กับนักเรียนเพื่อให้พวกเขาได้เกรดในระหว่างการฝึกคัดเกรด คุณมีผลลัพธ์ของการเปรียบเทียบเรียงความแต่ละครั้ง ตอนนี้งานของคุณคือการจัดอันดับเชิงเส้นบนเรียงความทั้งหมดเพื่อช่วยให้คุณกำหนดได้ว่าจะให้ครูคนไหนประเมิน

สารละลาย. ผมแนะนำให้คุณใช้รูปแบบแบรดลีย์เทอร์รี่ มันเป็นวิธีการทางคณิตศาสตร์ที่แก้ปัญหานี้ได้อย่างแน่นอน มันถูกออกแบบมาสำหรับการจัดอันดับผู้เล่นในกีฬาบางอย่างขึ้นอยู่กับผลของการแข่งขันระหว่างผู้เล่นบางคู่ สันนิษฐานว่าผู้เล่นแต่ละคนมีความแข็งแกร่ง (ไม่ทราบ) ซึ่งสามารถนับเป็นจำนวนจริงและความน่าจะเป็นที่อลิซเต้นบ๊อบถูกกำหนดโดยฟังก์ชั่นที่ราบรื่นของความแตกต่างของจุดแข็งของพวกเขา จากนั้นเมื่อพิจารณาจากสถิติการชนะ / แพ้คู่นั้นจะประเมินความแข็งแกร่งของผู้เล่นแต่ละคน

นี่ควรจะสมบูรณ์แบบสำหรับคุณ คุณสามารถปฏิบัติต่อแต่ละเรียงความเป็นผู้เล่น การเปรียบเทียบระหว่างบทความทั้งสอง (ระหว่างกระบวนการคัดเกรดเพื่อน) เป็นเหมือนผลลัพธ์ของการจับคู่ระหว่างพวกเขา รุ่นแบรดลีย์เทอร์รี่จะช่วยให้คุณใช้เวลาทั้งหมดของข้อมูลนั้นและอนุมานความแข็งแรงสำหรับแต่ละเรียงความที่จุดแข็งที่สูงขึ้นสอดคล้องกับการเขียนเรียงความที่ดีกว่า ตอนนี้คุณสามารถใช้จุดแข็งเหล่านั้นเพื่อเรียงลำดับบทความทั้งหมดได้

รายละเอียดและการอภิปราย ในความเป็นจริงรูปแบบแบรดลีย์เทอร์รี่จะดียิ่งขึ้นกว่าสิ่งที่คุณขอ คุณขอการจัดอันดับเชิงเส้น แต่โมเดลของ Bradley-Terry ให้คะแนนจริง (เรียงตามจำนวนจริง) ซึ่งหมายความว่าคุณรู้ไม่เพียง แต่เรียงความ$i$ แข็งแกร่งกว่าเรียงความ $j$แต่เป็นการประมาณคร่าวๆของ ว่ามันแข็งแกร่งแค่ไหน ตัวอย่างเช่นคุณสามารถใช้นี้เพื่อแจ้งให้เลือกซึ่งการเขียนเรียงความในการจัดอันดับของคุณ

มีวิธีอื่นในการสรุปการจัดอันดับหรือการจัดอันดับสำหรับเรียงความทั้งหมดตามข้อมูลที่คุณมี ตัวอย่างเช่นวิธี Elo เป็นอีกวิธีหนึ่ง ฉันสรุปหลายคำตอบในคำถามอื่นอื่น อ่านคำตอบสำหรับรายละเอียดเพิ่มเติมที่

หนึ่งความคิดเห็นอื่น ๆ : รุ่นแบรดลีย์เทอร์รี่อนุมานว่าผลของแต่ละการเปรียบเทียบระหว่างผู้เล่นสองคนคือชนะหรือการสูญเสีย (เช่นผล binary) อย่างไรก็ตามดูเหมือนว่าคุณจะมีข้อมูลที่มีรายละเอียดมากขึ้น: ตัวเลื่อนของคุณจะให้การประมาณคร่าวๆว่าจะให้คะแนนนักเรียนดีกว่าหนึ่งคนมากเท่าใด วิธีที่ง่ายที่สุดที่จะเป็นเพียงแผนที่เลื่อนแต่ละที่จะเป็นผลไบนารี อย่างไรก็ตามหากคุณต้องการจริงๆคุณอาจสามารถใช้ข้อมูลทั้งหมดโดยใช้การวิเคราะห์ที่ซับซ้อนยิ่งขึ้น แบรดลีย์ - เทอร์รี่โมเดลเกี่ยวข้องกับการถดถอยโลจิสติกส์ หากคุณพูดคุยทั่วไปว่าจะใช้logit สั่งฉันเดิมพันว่าคุณสามารถใช้ประโยชน์จากข้อมูลเพิ่มเติมที่คุณได้รับจากตัวเลื่อนแต่ละตัวเนื่องจากผลลัพธ์จากตัวเลื่อนไม่ใช่เลขฐานสอง แต่เป็นหนึ่งในความเป็นไปได้หลายอย่าง

การใช้ครูอย่างมีประสิทธิภาพ

คุณแนะนำให้ครูจัดเกรด X% และ X% ด้านล่างของเรียงความทั้งหมดด้วยตนเอง (โดยใช้การจัดอันดับที่อนุมานจากผลลัพธ์ของการคัดเกรด) สิ่งนี้สามารถใช้งานได้ แต่ฉันคิดว่ามันไม่ได้ใช้เวลาที่ จำกัด ที่สุดของครู ฉันอยากจะแนะนำวิธีการอื่นแทน

ฉันขอแนะนำให้คุณให้คะแนนนักเรียนเป็นส่วนย่อยของบทความโดยเลือกส่วนย่อยอย่างระมัดระวังเพื่อพยายามให้การสอบเทียบที่ดีที่สุดเท่าที่จะเป็นไปได้สำหรับบทความทั้งหมดที่ไม่ได้ให้คะแนนโดยครู สำหรับเรื่องนี้ฉันคิดว่ามันอาจช่วยได้ถ้าคุณเลือกตัวอย่างของบทความที่ครอบคลุมช่วงของคำตอบที่เป็นไปได้ (ดังนั้นสำหรับทุกเรียงความมีเรียงความที่ให้คะแนนโดยอาจารย์ที่อยู่ไม่ไกลจากมัน) สำหรับวันนี้ผมจะคิดว่าสองวิธีที่คุณสามารถลอง:

• การจัดกลุ่ม รับการจัดอันดับที่ผลิตโดยรุ่น Terry-Bradley นี่คือชุดของ$n$จำนวนจริงหนึ่งจำนวนจริงต่อเรียงความ ตอนนี้กลุ่มพวกเขา สมมติว่าคุณต้องการมีคะแนนครู$k$การเขียนเรียงความ วิธีการหนึ่งที่จะใช้$k$- หมายถึงการจัดกลุ่ม (บนจุดข้อมูลหนึ่งมิติเหล่านี้) เพื่อจัดเรียงบทความลงใน $k$ กลุ่มและจากนั้นเลือกหนึ่งเรียงความจากแต่ละคลัสเตอร์สำหรับครูเพื่อให้คะแนน - หรือให้เกรดครู "หัวหน้ากลุ่ม" ของแต่ละกลุ่ม

• จุดที่ไกลที่สุดก่อนอีกทางเลือกหนึ่งคือพยายามเลือกชุดย่อยของ$k$เรียงความที่แตกต่างจากกันมากที่สุด อัลกอริทึม "จุดแรกสุด" (FPF) เป็นวิธีการที่สะอาดสำหรับสิ่งนี้ สมมติว่าคุณมีฟังก์ชั่นระยะทาง$d(e_i,e_j)$ ที่ช่วยให้คุณวัดระยะทางระหว่างบทความสองเรื่อง $e_i$ และ $e_j$: ระยะทางขนาดเล็กหมายความว่าเรียงความคล้ายกันระยะทางที่กว้างขึ้นหมายถึงเรียงความต่างกัน รับชุด$S$ ของบทความให้ $d(e,S) = \min_{e' \in S} d(e,e')$ เป็นระยะทางจาก $e$ เพื่อเรียงความที่ใกล้ที่สุดใน $S$. อัลกอริธึมแรกที่อยู่ห่างจากจุดสูงสุดคำนวณรายการของ$k$ การเขียนเรียงความ $e_1,e_2,\dots,e_k$ดังนี้ $e_{i+1}$ เป็นบทความที่เพิ่มมากที่สุด $d(e,\{e_1,e_2,\dots,e_i\})$ (จากบทความทั้งหมด $e$ ดังนั้น $e \notin \{e_1,e_2,\dots,e_i\}$) อัลกอริทึมนี้สร้างชุดของ$k$ เรียงความที่แตกต่างจากกันมากที่สุดเท่าที่จะทำได้ - ซึ่งหมายความว่าเรียงความที่เหลืออยู่นั้นมีความคล้ายคลึงกับอย่างน้อยหนึ่งข้อ $k$. ดังนั้นจึงมีเหตุผลที่จะให้เกรดครู$k$ เรียงความที่เลือกโดยอัลกอริทึม FPF

ฉันสงสัยว่าวิธีการใดวิธีการหนึ่งเหล่านี้อาจให้คะแนนที่แม่นยำกว่าการให้คะแนนครูระดับสูงสุด X% และ X% ด้านล่างของเรียงความ - เนื่องจากบทความที่ดีที่สุดและแย่ที่สุดอาจไม่ใช่ตัวแทนของมวลเรียงความตรงกลาง

ในทั้งสองวิธีคุณสามารถใช้ฟังก์ชั่นระยะทางที่ซับซ้อนยิ่งขึ้นซึ่งไม่ได้คำนึงถึงเพียงแค่การประเมินความแข็งแกร่งตามการจัดระดับเพื่อน แต่ยังรวมถึงปัจจัยอื่น ๆ ที่ได้มาจากบทความ ฟังก์ชันระยะทางที่ง่ายที่สุดที่เป็นไปได้จะพิจารณาเฉพาะผลลัพธ์ของโมเดลเทอร์รี่แบรดลีย์เท่านั้นเช่น$d(e_1,e_2) = (s(e_1)-s(e_2))^2$ ที่ไหน $s(e)$ เป็นจุดแข็งของเรียงความ $e$ประเมินโดยโมเดลเทอร์รี่ - แบรดลีย์ตามผลลัพธ์ของการให้เกรดเพื่อน อย่างไรก็ตามคุณสามารถทำสิ่งที่ซับซ้อนมากขึ้น ตัวอย่างเช่นคุณสามารถคำนวณปกติแก้ไข Levenshtein ระยะทางระหว่างการเขียนเรียงความ$e_1$ และ $e_2$(ถือว่าเป็นสตริงข้อความคำนวณระยะทางแก้ไขและหารด้วยความยาวของทั้งสองที่ใหญ่กว่า) และใช้สิ่งนั้นเป็นอีกปัจจัยหนึ่งในฟังก์ชันระยะทาง คุณสามารถคำนวณคุณสมบัติเวคเตอร์โดยใช้แบบจำลองถุงคำในคำในบทความและใช้ระยะทาง L2 ระหว่างเวกเตอร์คุณลักษณะเหล่านี้ คุณอาจใช้ฟังก์ชันระยะทางซึ่งเป็นค่าเฉลี่ยถ่วงน้ำหนักของความแตกต่างในจุดแข็ง (ตามการประมาณการของ Terry-Bradley) ระยะแก้ไขแบบปกติและสิ่งอื่น ๆ ที่มีประโยชน์ ฟังก์ชันระยะทางที่ซับซ้อนเช่นนี้อาจช่วยให้ทำงานได้ดีขึ้นในการช่วยอัลกอริธึมการเลือกกลุ่มที่ดีที่สุด$k$ เรียงความเพื่อให้ได้เกรดครู

แนวคิดบางประการตามคำอธิบายอินพุตและเอาท์พุตที่ไม่แม่นยำของคุณและสิ่งที่ต้องคำนวน (อาจเป็นไปได้ที่คุณสามารถแก้ไขคำถามของคุณได้)

เห็นได้ชัดว่านี่เป็นปัญหา "หน้าร้อนหรือไม่" "หน้ามืด" ที่เกิดขึ้นจากการก่อตั้ง Facebook (ดังที่แสดงในภาพยนตร์เรื่อง "โซเชียลเน็ตเวิร์ก") ใน "เกม" ดั้งเดิมผู้ใช้มีสองภาพและเลือกระหว่างผู้หญิงที่น่าดึงดูดยิ่งขึ้น ในระบบของคุณตัวเลือกอยู่ระหว่างสองบทความซึ่งหนึ่งในนั้นดีกว่า

จากใกล้ - ไซเบอร์ - ชาวบ้านเห็นได้ชัดว่าอัลกอริทึมการจัดอันดับ Elo ที่ใช้ในการให้คะแนนการแข่งขันหมากรุกสามารถใช้ในการคำนวณการแก้ปัญหาการบรรจบกัน (ในกรณีนี้โดยทั่วไปประเมินคะแนนของบทความที่สอดคล้องกับกราฟการตั้งค่ากำกับแสดง) คำอธิบาย / เขียนของนี้

ตัวเลือกอื่นคือการใช้อันดับของหน้า ที่คำนวณอิทธิพลโดยประมาณของหน้าเว็บตามกราฟลิงค์โดยตรง การตั้งค่าการเรียงความคล้ายกับลิงค์ไปยังหน้าเว็บ

ปัญหาดูเหมือนว่าคล้ายกับการวิเคราะห์การอ้างอิงที่เอกสารทางวิทยาศาสตร์อ้างถึงเอกสารอื่น ๆ และประเมินอิทธิพลของเอกสาร [แต่โน้ต Pagerank ยังเป็นอัลกอริทึมชั้นนำในพื้นที่นี้]

[1] ทำไมจึงใช้การจัดอันดับ Elo สำหรับอัลกอริธึม FacemashStackOverflow

[2] ระบบการจัดอันดับ Eloวิกิพีเดีย

[3] อันดับของหน้าวิกิพีเดีย

[4] การวิเคราะห์การอ้างอิงวิกิพีเดีย