จะตัดสินผู้ชนะอย่างยุติธรรมในงานวิทยาศาสตร์ระดับภูมิภาคได้อย่างไร?


9

ฉันต้องการความช่วยเหลือในการหาวิธีที่ถูกต้องในการคำนวณผู้ชนะในงานวิทยาศาสตร์ของเรา ฉันไม่ต้องการให้ฉันไม่รู้ถึงสถิติและคณิตศาสตร์เพื่อให้เด็กมีโอกาสชนะ (ทุนการศึกษาจำนวนมาก & ผลประโยชน์ความก้าวหน้าในการเดิมพัน) ขอบคุณล่วงหน้าสำหรับความช่วยเหลือของ.

พื้นหลังเล็กน้อยของวิธีการตั้งค่าสิ่งต่าง ๆ :

โดยทั่วไปงานของเรามีโครงการนักศึกษาประมาณ 600 โครงการ โครงการเหล่านี้เสร็จสมบูรณ์และนำเสนอโดยนักเรียนเป็นรายบุคคลหรือเป็นทีมของนักเรียน ทีมสามารถประกอบด้วยเด็ก 2 หรือ 3 คน

นักเรียนแบ่งออกเป็นสองแผนก: ระดับประถมศึกษา (ระดับ 6-8) และระดับมัธยมศึกษา (เกรด 9-12) แต่ละแผนกมีประเภทที่แตกต่างกัน: 9 หมวดหมู่สำหรับโครงการระดับประถมศึกษาและ 17 หมวดหมู่สำหรับโครงการแผนกรอง

รางวัลจะมอบให้สำหรับที่หนึ่งที่สองและสามสำหรับแต่ละหมวดหมู่ในแต่ละหมวด รางวัลชมเชยที่มอบรางวัลนั้นมอบให้สำหรับตำแหน่งนอกเหนือจากที่สาม

สำหรับแต่ละโครงการเรามอบหมายผู้ตัดสินระหว่าง 4 ถึง 6 คน เราทำสิ่งที่ได้รับมอบหมายตามคุณสมบัติของผู้ตัดสินความพึงพอใจในหมวดหมู่และประสบการณ์การตัดสินที่ผ่านมาของพวกเขา (มีประสบการณ์มากขึ้นถูกมอบหมายให้ทำงานในแผนกอาวุโส)

วิธีการตัดสินคะแนนโครงการ:

สำหรับแต่ละโครงการมี 5 เกณฑ์ที่กำหนดคะแนน แต่ละเกณฑ์สามารถมอบให้ระหว่าง 1 ถึง 20 คะแนน เกณฑ์ทั่วไปคือ:

  • วัตถุประสงค์ + สมมติฐานโดยรวม + การใช้ทรัพยากร ( 1..20 )
  • การออกแบบ + ขั้นตอน ( 1..20 )
  • การรวบรวมข้อมูล + ผลลัพธ์ ( 1..20 )
  • การอภิปราย + ข้อสรุป ( 1..20 )
  • สัมภาษณ์ ( 1..20 )

สำหรับโครงการของทีมจะมีการประเมินเกณฑ์ที่หกที่เรียกว่า "การหักทีม" ซึ่งผู้ตัดสินสามารถหักคะแนน ( สูงสุด 15 ) สำหรับเพื่อนร่วมทีมที่ไม่ได้เข้าร่วมหรือไม่แสดง

  • การหักทีม ( 0 ..- 15 )

ดังนั้นผู้ตัดสินสามารถทำคะแนนทุกโครงการระหว่าง 5 ถึง 100 คะแนน หากโครงการเป็นโครงการของทีมคะแนนจะลดลง 15 คะแนน

ข้อมูลดิบ:

ในช่วงเวลาไม่กี่ชั่วโมงเราเก็บคะแนนได้มากถึง 3,600 คะแนน คะแนนเหล่านี้ถูกป้อนลงในฐานข้อมูลที่ฉันสามารถทำการเรียงลำดับเฉลี่ยการคำนวณค่าเบี่ยงเบนมาตรฐาน ฯลฯ ฉันไม่รู้ว่าฉันควรทำอย่างไรกับคะแนนดิบเหล่านี้ ตอนนี้ฉันกำลังทำค่าเฉลี่ยง่าย ๆ สำหรับแต่ละโครงการ แต่ฉันกังวลว่าฉันไม่ได้ปรับตัวสำหรับอคติผู้ตัดสินการหักทีมหรือสิ่งอื่น ๆ ที่ฉันไม่ได้พิจารณา

ผลลัพธ์ที่ต้องการ:

ในท้ายที่สุดฉันต้องการประมวลผลคะแนนเพื่อให้ฉันได้รับรางวัลโครงการที่หนึ่งสองและสามสำหรับแต่ละหมวดหมู่จากนั้นจึงกล่าวถึงรางวัลอันทรงเกียรติสำหรับสถานที่ที่ตามมา ฉันต้องการมั่นใจว่าตำแหน่งที่คำนวณนั้นถูกต้องและเด็ก ๆ ที่ชนะนั้นสมควรได้รับการยอมรับ (และรางวัล)

ขอบคุณมากสำหรับการอ่านคำถามยาว ๆ ของฉันและสำหรับความช่วยเหลือของคุณในการหาคำตอบ ฉันยินดีที่จะตอบคำถามติดตามผลที่คุณอาจมี


1
คำถามที่น่าสนใจและยากและคุณใช้นิ้วของคุณในประเด็นสำคัญบางอย่าง ผู้พิพากษาทั้งหมดกี่คนดังนั้นแต่ละโครงการจะตัดสินผู้พิพากษากี่คน? (ความคิดของช่วงเช่นเดียวกับค่าเฉลี่ยจะดี) นอกจากนี้ยังมี 26 หมวดหมู่ที่ไม่เหมือนกัน ฉันมีคำตอบที่ดีที่สุดอาจเป็นเพียงการทำค่าเฉลี่ยสำหรับแต่ละโครงการ แต่อาจเป็นไปได้ที่จะปรับสำหรับผู้พิพากษา ฉันจะอ่านคำตอบด้วยความสนใจ!
ปีเตอร์เอลลิส

ขอบคุณสำหรับความสนใจเริ่มต้นของคุณ ฉันได้เพิ่มข้อมูลเพิ่มเติมลงในคำตอบด้านล่าง หากคุณมีข้อมูลเชิงลึกใด ๆ ฉันขอขอบคุณความช่วยเหลือของคุณ
Mike Davie

คำตอบ:


2

ฉันคิดว่า "คำตอบ" อาจเป็นป้ายกำกับที่มากเกินไปสำหรับความคิดของฉันที่นี่ ฉันชอบการวิเคราะห์ข้อมูลเชิงสำรวจและฉันเป็นแฟนบ็อกซ์ล็อตขนาดใหญ่ดังนั้นมันจะสะท้อนให้เห็นในความคิดเห็นของฉัน ..

สวัสดีนั่นเป็นคะแนนจำนวนมาก :) ดูเหมือนว่าคุณมีโครงการอย่างน้อย 78 โครงการจาก 600 โครงการที่เข้าร่วม 3 อันดับแรก ( [9+17]x3) พร้อมกับรางวัลชมเชย โดยปกติแล้วฉันจะบอกให้ลองตัวอย่างจากด้านบนและกลางของแต่ละหมวดหมู่เพื่อทำการตรวจสอบการให้คะแนน แต่นั่นอาจเป็นเรื่องยากสำหรับคุณเนื่องจากตัวเลขที่คุณมี - และเป็นเพียงการสรุปการให้คะแนนของคุณ :)

ฉันหวังว่าคุณอาจมีแพ็คเกจสถิติให้คุณตามที่ฉันมีคำแนะนำบางอย่างที่คุณสามารถใช้ด้านล่าง

คุณเคยดูคะแนนที่กระจายอยู่ในแต่ละหมวดหมู่หรือไม่? โครงการ 3 หรือ 5 หรือ 8 อันดับแรกนั้นใกล้เคียงกับคะแนนหรือไม่ นั่นจะเป็นการชี้ให้เห็นว่าคุณภาพของโครงการนั้นคล้ายคลึงกันมากและไม่ว่าคุณจะทำอะไรก็ตามอย่างน้อยก็อาจจะมีการรับรู้ถึงความเด็ดขาดของคะแนนสุดท้าย

ฉันไม่แน่ใจว่ามีกี่โครงการที่ผู้พิพากษาแต่ละคนทำคะแนน สมมติว่าพวกเขาทำคะแนนได้พอสมควร (พูด> 10 แม้ว่าสูงกว่าดีกว่าที่นี่) สำหรับผู้ตัดสินแต่ละคนคุณสามารถคำนวณค่ามัธยฐานและค่าพิสัยระหว่างควอไทล์สำหรับคะแนนรวมที่ให้กับแต่ละโครงการที่ประเมิน (คุณมีคุณสมบัติมากมาย คุ้มค่าที่จะดูแต่ละคน) ผู้ตัดสินคนใดดูเหมือนจะให้คะแนนสูงเป็นพิเศษหรือคะแนนต่ำโดยเฉพาะหรือไม่? ผู้ตัดสินใด ๆ ที่ดูเหมือนว่าจะให้คะแนนอย่างสม่ำเสมอในกลางดังนั้นพวกเขาอาจให้ 10s นี้สามารถแสดงให้เห็นโดยช่วง interquartile ขนาดเล็กและเปรียบเทียบคะแนนเฉลี่ยอยู่รอบช่วงกลางของค่าที่เป็นไปได้

สำหรับโครงการของทีมคุณสามารถเปรียบเทียบตำแหน่งของพวกเขาบนพื้นฐานของคะแนนรวมกับการวางของพวกเขาเมื่อมีการใช้การหักทีม การหักทีมส่งผลกระทบต่อทีมที่จะอยู่ใน 3 อันดับแรกหรือไม่?

นี่เป็นเพียงข้อเสนอแนะเพื่อให้คุณเริ่มต้น ฉันคิดว่าการแสดงข้อมูลตามบรรทัดเหล่านี้จะทำให้คุณมีตัวบ่งชี้ที่ดีเกี่ยวกับว่าสถานที่ดูเหมือนจะยุติธรรมหรือไม่

อัปเดต: นี่เป็นปัญหาที่ยากอย่างน่าสนใจที่คุณมี ดูเหมือนว่าผู้พิพากษาแต่ละคนจะไม่ประเมินโครงการที่เพียงพอสำหรับเราที่จะได้รับปัจจัยถ่วงน้ำหนักสำหรับผู้ตัดสินแต่ละคน (เพื่อพิจารณาความลำเอียงของผู้พิพากษา) เพราะเราไม่มีข้อมูลเพียงพอที่จะวัดระหว่าง - ความน่าเชื่อถือของผู้ตัดสินต่อไปมีเพียงไม่มากพอที่จะทับซ้อนกันสำหรับการให้คะแนนผู้พิพากษาในโครงการเดียวกันเพื่อทำเช่นนั้น คุณดูที่ช่วงคะแนนสำหรับโครงการสองสามอันดับแรก - มีความแตกต่างอย่างชัดเจนระหว่างโครงการและโครงการที่ให้คะแนนต่ำกว่า (ขอบเขตธรรมชาติหรือไม่) โครงการคะแนนสูงสุดมีความใกล้เคียงกันมากน้อยเพียงใด

ผู้ตัดสินได้รับเกณฑ์การให้คะแนนดังนั้นพวกเขาจึงมีความยืดหยุ่นเล็กน้อยในการให้คะแนนในแต่ละเกณฑ์ (เช่นให้ 1 คะแนนสำหรับการตั้งสมมติฐานว่างให้ 1 คะแนนสำหรับการเลือกสมมติฐานหนึ่งตัวหรือมากกว่า ... ) หรือ พวกเขาเพิ่งรู้จำนวนคะแนนทั้งหมดที่พวกเขาสามารถให้รางวัลได้และที่เหลือก็ขึ้นอยู่กับพวกเขา? หากพวกเขามีแนวทางการให้คะแนนฉันจะมั่นใจมากขึ้นว่าคะแนนนั้นมีความถูกต้องอย่างสมเหตุสมผล


1
ฉันก็จะอยากรู้อยากเห็นเกี่ยวกับการแพร่กระจายของคะแนน - มีบางอย่าง "คะแนนสูงสุด" หรือมีกอและผู้ที่ออกมาด้านบนของที่เป็นบิต ... ทึบแสงในแง่ของกระบวนการ เช่นเดียวกับการรับสมัครวิทยาลัยกระบวนการเด็กเหล่านี้จะได้สัมผัสในภายหลัง :)
Fomite

ขอบคุณมิเชลสำหรับความคิดของคุณ ฉันซาบซึ้งที่คุณสละเวลา ในการตอบคำถามของคุณผู้พิพากษาจะตัดสินโครงการเพียงเล็กน้อยเท่านั้น เรามีขั้นต่ำสำหรับแต่ละแผนก: 4 ครั้งสำหรับระดับประถมศึกษาและ 5 หรือ 6 ครั้งสำหรับมัธยมศึกษา (5 ครั้งสำหรับนักเรียนมัธยมปลายและ 6 ครั้งสำหรับผู้อาวุโส)
Mike Davie

ฉันต้องการชี้แจงด้านบน คะแนนขั้นต่ำต่อโครงการไม่ใช่กี่ครั้งที่ผู้พิพากษาจะทำคะแนนโครงการในระหว่างการจัดงาน ผู้ตัดสินทั่วไปจะตัดสินที่ใดก็ได้ระหว่าง 8 ถึง 15 โครงการในช่วงงาน จำนวนนั้นขึ้นอยู่กับความพร้อมของกรรมการ, คุณสมบัติ, ความเต็มใจที่จะช่วยเหลือและอื่น ๆ
Mike Davie

2
คำตอบที่ดีมิเชล แนวคิดบางประการจากฉัน: 1) ให้รูบริกผู้พิพากษาบางประเภทเพื่อพยายามส่งเสริมมาตรฐานทั่วไป 2) พยายามที่จะมีจำนวนผู้พิพากษาต่อโครงการเท่าที่เป็นไปได้ (ไม่เช่นนั้นโครงการที่มีผู้พิพากษาน้อยกว่าจะมีความแปรปรวนสูงกว่าและโอกาสที่จะได้ขึ้นไปอยู่อันดับสูงสุด - หรือด้านล่าง) และ 3) ฉันคิดว่าคุณจะต้อง เพียงใช้ค่าเฉลี่ย แต่ถ้าคุณมีความเชี่ยวชาญและซอฟต์แวร์คุณสามารถใส่โมเดลเอฟเฟ็กต์แบบผสมกับผู้ตัดสินเป็นเอฟเฟกต์แบบสุ่มและดูว่านี่จะเปลี่ยนผลลัพธ์หรือไม่ เกิดอะไรขึ้นถ้ามัน? อาจจะยังคงใช้ค่าเฉลี่ย ....
ปีเตอร์เอลลิส

ขอบคุณอีกครั้งสำหรับการป้อนข้อมูลของทุกคน หลังจากปล่อยให้เรื่องนี้สั่นคลอนในหัวของฉันในขณะที่ฉันตัดสินใจที่จะดูว่าโครงการมีคะแนนในระดับสากล (ขั้นตอนการแข่งขันหนึ่งเหนืองานของเรา) งานแสดงสินค้านานาชาติเรียกว่า ISEF เราส่งนักเรียน 5 อันดับแรกของเราไปยัง ISEF ทุกปี
Mike Davie
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.