เกณฑ์การให้คะแนนอัจฉริยะและการตัดสินผู้ชนะ


12

มีพอดคาสต์ NPR ที่เรียกว่า Intelligence Squared แต่ละตอนเป็นการถ่ายทอดสดการโต้วาทีในแถลงการณ์ที่ถกเถียงเช่น "การแก้ไขครั้งที่ 2 ไม่มีความเกี่ยวข้องอีกต่อไป" หรือ "การกระทำที่ยืนยันในวิทยาเขตของวิทยาลัยจะเป็นอันตรายมากกว่าดี" ผู้แทนสี่คนถกเถียงกัน - สองเรื่องต่อการเคลื่อนไหวและอีกสองเรื่องต่อต้าน

เพื่อตัดสินว่าฝ่ายใดชนะฝ่ายผู้ชมจะทำการสำรวจทั้งก่อนและหลังการอภิปราย ด้านที่ได้รับมากขึ้นในแง่ของเปอร์เซ็นต์แน่นอนถือเป็นผู้ชนะ ตัวอย่างเช่น:

          For    Against  Undecided
 Before   18%      42%       40%
 After    23%      49%       28%

 Winner: Against team -- The motion is rejected.

ฉันคิดว่ามาตรวัดความสำเร็จนี้มีอคติและฉันสงสัยว่าจะสำรวจความคิดเห็นของผู้ชมเพื่อตัดสินผู้ชนะอย่างยุติธรรมอย่างไร

สามประเด็นที่ฉันเห็นทันทีด้วยวิธีปัจจุบัน:

  • ที่สุดขั้วถ้าด้านใดด้านหนึ่งเริ่มต้นด้วยข้อตกลง 100% พวกเขาสามารถผูกหรือแพ้เท่านั้น

  • หากไม่มีการลังเลจากนั้นด้านที่มีข้อตกลงเริ่มต้นน้อยสามารถดูได้ว่ามีตัวอย่างขนาดใหญ่กว่าที่จะวาด

  • ด้านที่ไม่แน่ใจนั้นไม่น่าจะแน่ใจได้อย่างแท้จริง ถ้าเราคิดว่าทั้งสองฝ่ายมีความเท่าเทียมกันดูเหมือนว่าเราเชื่อว่าประชากรที่ไม่มีความมั่นใจก่อนหน้านี้ควรเป็นหากแต่ละฝ่ายถูกบังคับให้เข้าข้าง .Beta(# For,# Against)

เนื่องจากเราต้องพึ่งพาการลงคะแนนจากผู้ชมจึงมีวิธีที่ยุติธรรมกว่าในการตัดสินว่าใครจะชนะ?


1
ฉันคิดว่าบางอย่างเช่น "For-Against อัตราส่วน -After" หารด้วย "For-Against ratio -Before" (โดยพื้นฐานแล้วอัตราต่อรอง) จะเป็นทางเลือกที่ดีกว่า ถ้ามันสูงกว่า 1 คุณจะปรับปรุงอัตราต่อรองถ้ามันน้อยกว่า 1 คุณก็ไม่ได้
Glen_b -Reinstate Monica

นั่นคือความคิดเริ่มต้นของฉันเช่นกันแม้ว่าฉันจะกำหนดเป็นอัตราการเพิ่มขึ้น ฉันแค่ไม่แน่ใจว่าจะพิสูจน์ได้อย่างไรว่ามันเป็นค่าประมาณที่ไม่เอนเอียง
Wesley Tansey

ค่าประมาณที่เป็นกลางคืออะไร ฉันไม่แน่ใจว่าความเป็นกลางนั้นเป็นคุณสมบัติที่พึงปรารถนาอย่างยิ่งสำหรับสิ่งนี้
Glen_b -Reinstate Monica

แต่ละด้านทำได้ดีเพียงใด เป็นการดีที่เราจะไม่ต้องการมีอคติกับผลลัพธ์ตามการตอบรับเริ่มต้นของฝูงชน หรือฉันอาจจะคิดเกี่ยวกับเรื่องนี้อย่างสมบูรณ์ผิด ...
เวสลีย์ Tansey

อ่าฉันคิดว่าเราใช้อคติในทางที่ต่างออกไปเล็กน้อย ไม่ว่าจะเป็นคำแนะนำของฉันจะลำเอียงในความรู้สึกที่ขึ้นอยู่กับสิ่งที่ว่าคุณกำลังพยายามที่จะวัด ด้วยวิธีการหนึ่งที่ได้รับความนิยมมันเกี่ยวข้องกับปัญหานั้นอย่างสมบูรณ์
Glen_b -Reinstate Monica

คำตอบ:


10

ความกังวลของคุณได้รับการพิสูจน์แล้วว่าดี น่าเสียดายที่มีวิธีการที่จะป้องกันและแก้ไขปัญหานี้ได้อย่างหลากหลายและสามารถขัดแย้งกันได้ การวิเคราะห์ต่อไปนี้ให้กรอบสำหรับการตัดสินใจว่าคุณอาจต้องการประเมินผลลัพธ์และแสดงให้เห็นว่าข้อสรุปของคุณขึ้นอยู่กับสมมติฐานที่คุณทำเกี่ยวกับการเปลี่ยนแปลงของสถานการณ์


เรามีการควบคุมผู้ชมเริ่มแรกเพียงเล็กน้อยหรือไม่มีเลย มันอาจไม่ได้เป็นตัวแทนของประชากรที่มีขนาดใหญ่ขึ้น (เช่นผู้ชมทั้งหมด) ที่เราสนใจมากขึ้น ดังนั้นความคิดเห็นจำนวนสัมบูรณ์มีความเกี่ยวข้องเพียงเล็กน้อย: สิ่งสำคัญคืออัตราที่ผู้คนอาจเปลี่ยนใจ (จากอัตราเหล่านี้เราสามารถประเมินได้ว่าประชากรผู้ฟังอาจเปลี่ยนแปลงอย่างไรให้ข้อมูลเกี่ยวกับความคิดเห็นเริ่มต้นของพวกเขาแม้ว่าสัดส่วนของความคิดเห็นในกลุ่มผู้ฟังจะแตกต่างจากผู้ชมในสตูดิโอที่โพลล์)

ผลจึงประกอบด้วยหกการเปลี่ยนแปลงที่เป็นไปได้ของความคิดเห็นและหกอัตราที่เกี่ยวข้องของการเปลี่ยนแปลง:

  • บรรดา "สำหรับ" ผู้ที่ฉันดัชนีจะมีสามารถเปลี่ยนความคิดของพวกเขาและจบลงอย่างใดอย่างหนึ่งกับ (มีค่าดัชนี ) ในอัตรา หรือลังเล (มีค่าดัชนี ) ในอัตรา{13}1,2a123a13

  • บรรดา "ต่อต้าน" สามารถเปลี่ยนความคิดของพวกเขาไป "สำหรับ" ในอัตราหรือ "ลังเล" ในอัตรา{23}a21a23

  • ผู้ที่ไม่ตัดสินใจสามารถเปลี่ยนความคิดเป็น "สำหรับ" ที่อัตราหรือ "ต่อ" ที่อัตราa31a32.

กำหนดสำหรับเพื่อให้เป็นสัดส่วนของคนดัชนีไม่เปลี่ยนความคิดaiii=1,2,3,i

คอลัมน์ของเมทริกซ์มีตัวเลขที่ไม่ติดลบซึ่งจะต้องเพิ่มความเป็นเอกภาพ (สมมติว่าทุกคนที่ตอบแบบสอบถามโพลเริ่มต้นตอบกลับไปยังอันดับสุดท้ายด้วย) ใบที่หกค่าอิสระในการกำหนดบนพื้นฐานของการเปลี่ยนแปลงจากการจัดจำหน่ายครั้งแรกในกลุ่มผู้ชมที่ , การกระจายสุดท้าย x นี่เป็นระบบที่บั่นทอนของสมการเชิงเส้น (ถูก จำกัด ) ทำให้มีความยืดหยุ่นอย่างมากในการหาคำตอบ ลองดูสามวิธีA=(aij)x=(0.18,0.42,0.40)y=(0.23,0.49,0.28)=Ax

โซลูชันที่ 1: เปลี่ยนน้อยที่สุด

เราอาจขอให้เมทริกซ์การเปลี่ยนแปลงมีขนาดเล็กที่สุดเท่าที่จะทำได้ วิธีหนึ่งคือลดสัดส่วนโดยรวมของคนที่เปลี่ยนความคิดเห็น นี่คือตัวอย่างที่ประสบความสำเร็จในการแก้ปัญหาด้วยA

A=(100.125010.175000.700).

นั่นคือของผู้ไม่ตัดสินใจจบลงของพวกเขาลงเอยด้วยและไม่มีต้นฉบับ fors หรือคัดค้านเปลี่ยนความคิดของพวกเขา ใครชนะ? เห็นได้ชัดว่าเพราะการอภิปรายชักชวนสัดส่วนที่ใหญ่กว่าของลังเลที่จะชำระสำหรับความเห็น "กับ"12.5%17.5%

แบบจำลองนี้จะเหมาะสมเมื่อคุณเชื่อว่าฝ่ายเริ่มแรกนั้นแข็งกระด้างต่อความคิดเห็นของพวกเขาและมีเพียงคนเดียวที่มีแนวโน้มที่จะเปลี่ยนความคิดของพวกเขา

โซลูชันที่ 2: กำลังสองน้อยที่สุด

วิธีแก้ปัญหาทางคณิตศาสตร์คือการหาเมทริกซ์ซึ่งมี normคือ มีขนาดเล็กที่สุดเท่าที่จะเป็นไปได้: สิ่งนี้จะลดผลรวมของกำลังสองของความน่าจะเป็นของการเปลี่ยนแปลงทั้งเก้า (ซึ่งรวมถึงแทนสัดส่วนที่ไม่เปลี่ยนความคิด) วิธีแก้ปัญหา (ปัดเศษเป็นทศนิยมสองตำแหน่ง) คือAL2||A||22=tr(AA)aii

A=(0.280.220.220.410.510.500.310.270.28).

เปรียบเทียบแถวเราจะเห็นว่าถึงแม้ว่าของด้าน "ต่อ" ก็ถูกชักชวนให้เปลี่ยนเป็น "สำหรับ" (และอีกสับสนพอที่จะลังเล),ของด้าน "สำหรับ" คือ แปลงแล้ว (และอีกสับสน) ต้นฉบับแบบไม่ลังเลมีแนวโน้มที่จะแปลงเป็นด้าน "กับ" (เมื่อเทียบกับ ) ตอนนี้ "ต่อ" เป็นผู้ชนะที่ชัดเจน22%27%41%31%50% 22%

โดยทั่วไปแล้ววิธีการแก้ปัญหากำลังสองน้อยที่สุดจะทำให้เกิดการเปลี่ยนแปลงมากมายในแต่ละกลุ่ม (ขึ้นอยู่กับข้อ จำกัด ของปัญหามันพยายามที่จะทำการเปลี่ยนแปลงทั้งหมดเท่ากับ ) ไม่ว่ามันจะสอดคล้องกับการพรรณนาที่เหมือนจริงของประชากรเป็นการยากที่จะตัดสิน แต่มันจะแสดงภาพที่เป็นไปได้ทางคณิตศาสตร์ในสิ่งที่เกิดขึ้น ระหว่างการอภิปราย1/3

โซลูชันที่ 3: กำลังสองน้อยที่สุด Penalized

ในการควบคุมและ จำกัด อัตราที่ผู้คนเปลี่ยนความคิดเห็นของพวกเขามาลงโทษจุดประสงค์สี่เหลี่ยมจัตุรัสที่น้อยที่สุดโดยการรวมคำศัพท์ที่ไม่เปลี่ยนความคิดเห็น เหล่านี้เป็นข้อตกลงในแนวทแยงของ{A} เราอาจคิดว่าเป็นการยากที่จะเปลี่ยนความเห็นของคนที่ไม่ลังเลดังนั้นมันจะเป็นการดีที่จะลดน้ำหนักหลัง ด้วยเหตุนี้จึงแนะนำน้ำหนักเชิงบวกและหาที่ถูกย่อให้เล็กสุดAωiA

||A||22ω1a11ω2a22ω3a33

สำหรับตัวอย่างเช่นสมมติ downweight undecideds โดย 50% โดยการเลือกน้ำหนัก2) ทางออก (กลม) คือω=(1,1,1/2)

A=(0.9100.170.030.930.230.060.070.60).

วิธีการแก้ปัญหานี้อยู่ตรงกลางระหว่างสองคนแรก: สัดส่วนเล็กน้อยของฝ่ายที่มุ่งมั่นเปลี่ยนใจหรือกลายเป็นลังเลขณะที่ของผู้ตัดสินใจตัดสินใจ (สำหรับและต่อ) อย่างไรก็ตามอีกครั้งผลลัพธ์ที่เห็นได้ชัดเจนว่าเป็นฝ่ายที่ "ต่อต้าน"40%17%23%

สรุป

ในรูปแบบการเปลี่ยนแปลงของการเปลี่ยนแปลงความคิดเห็นวิธีการแก้ปัญหาส่วนใหญ่ระบุชนะสำหรับด้าน "กับ" ในตัวอย่างนี้ ไม่มีความคิดเห็นใด ๆ ที่แข็งแกร่งเกี่ยวกับการเปลี่ยนแปลงของการเปลี่ยนแปลงที่แนะนำด้าน "กับ" ชนะ

ในกรณีอื่นวิธีการแก้ปัญหาบางวิธีอาจระบุผู้ชนะหนึ่งรายและวิธีการแก้ปัญหาอื่น ๆ ผู้ชนะคนอื่น ตัวอย่างเช่นในการเปลี่ยนจากเป็นดูเหมือนไร้เดียงสาว่า "fors" ได้รับชัยชนะที่น่าประทับใจ: จำนวนของพวกเขาเพิ่มขึ้นจากเป็นขณะที่ "กับ" ฝ่ายลดลงจากไป\% อย่างไรก็ตามการแก้ปัญหากำลังสองน้อยที่สุด (อย่างน้อย) แสดงให้เห็นว่ามีวิธีการนี้ที่อาจเกิดขึ้นได้ซึ่งการอภิปรายได้รับการสนับสนุนเล็กน้อยในด้านอื่น ๆ ! มันคือ(.20,.60,.20)(.30,.40,.30)20%30%40%30%

A=(0.320.290.320.360.420.360.320.290.32).

ที่นี่ของ "fors" เปลี่ยนไปอีกด้านหนึ่งในขณะที่เพียงของ "ต่อ" เปลี่ยนไปเป็นความเห็นตรงกันข้าม ยิ่งไปกว่านั้น undecidedsและ ) ออกมา "เทียบกับ" มากกว่า แม้ว่าจำนวนผู้ชมในกลุ่มนี้จะลดลง แต่เราก็มีสถานการณ์ (เตือนความจำของซิมป์สันที่ขัดแย้งกัน ) ซึ่งกลุ่ม "ต่อต้าน" ชนะการอภิปรายอย่างชัดเจน36%29%(36%) 32%

ความคิดเห็นเพิ่มเติม

หากการสำรวจความคิดเห็นสามารถติดตามบุคคลทั้งก่อนและหลังเราสามารถประเมินเมทริกซ์การเปลี่ยนแปลงทั้งหมดและจะมีความไม่แน่นอนเกี่ยวกับผลกระทบของการอภิปรายต่อความคิดเห็นสาธารณะA

วิธีการแก้ปัญหาทั้งสามวิธีที่แสดงไว้ที่นี่ไม่ใช่วิธีเดียวที่เป็นไปได้: วิธีอื่นสามารถทำได้โดยการหาค่าสัมประสิทธิ์ของรายบุคคล พวกมันครอบคลุมขอบเขตของความเป็นไปได้ที่หลากหลายตั้งแต่วิธีการแก้ปัญหา "เปลี่ยนน้อยที่สุด" ผ่านการแก้ปัญหาอย่างน้อยที่สุดไปจนถึงวิธีแก้ปัญหากำลังสองน้อยที่สุดที่ก้าวร้าว ดังนั้นการสำรวจช่วงของการแก้ปัญหาที่ได้รับด้วยวิธีการทั้งสามนี้ควรเป็นเครื่องบ่งชี้ที่ดีถึงสิ่งที่อาจเกิดขึ้นได้อย่างสมเหตุสมผล หากพวกเขาเห็นด้วยกับผลก็ควรมีข้อสงสัยเล็กน้อยA


ขอบคุณสำหรับรายละเอียดโพสต์! ฉันกังวลว่าวิธีการทั้งหมดเหล่านี้ไม่ได้พิจารณาความเป็นไปได้ที่การตัดสินใจไม่ได้ตัดสินใจอย่างแท้จริง
Wesley Tansey

พวกเขามีความยืดหยุ่นในการรวมความกังวลของคุณเกี่ยวกับความเป็นไปได้นั้น คุณยังคงติดอยู่กับความจำเป็นในการตั้งสมมติฐาน (แข็งแรง): หากคุณคิดว่าพวกเขายังไม่ได้ตัดสินใจอย่างแท้จริงคุณจะต้องประเมินว่าสัดส่วนสำหรับ "และ" กับสัดส่วนใด "เทียบกับ" (และมันจะเป็นความเขลาที่จะคิด สัดส่วนเท่ากับจำนวนสำหรับ: number Against!) วิธีหนึ่งที่จะเลี่ยงการประเมินเช่นนี้ - หากเพียงเพื่อดูว่าผลลัพธ์อาจมีลักษณะอย่างไร - คือการเลือกโซลูชันที่ให้รางวัลการเปลี่ยนแปลงความคิดเห็นโดยบุคคลที่ไม่มีความมั่นใจ
whuber

สมมติว่าทั้งสองฝ่ายมีขั้วเท่า ๆ กันการประมาณ MAP ของคุณกับคนที่ไม่ตัดสินใจจะเป็น: เทียบกับอัตราส่วนหรือไม่
Wesley Tansey

ในสถานการณ์ส่วนใหญ่มันจะยากที่จะสนับสนุนสมมติฐานดังกล่าว ตัวอย่างเช่นคนที่มีข้อมูลน้อยอาจมีแนวโน้มที่จะลังเลมากกว่าและในที่สุดก็มีแนวโน้มที่จะสนับสนุนหนึ่งในสองตำแหน่งนี้ ผลของการสมมติ "โพลาไรซ์เท่า ๆ กัน" อาจมีความรุนแรง (โดยเฉพาะอย่างยิ่งเมื่อมีจำนวนไม่แน่นอนมาก) เพื่อทำการวิเคราะห์ที่ตามมาข้างจุด: ผลลัพธ์ส่วนใหญ่จะเป็นผลมาจากการสันนิษฐานนั้น แนวความคิดที่มีประสิทธิผลสำหรับคุณอาจพิจารณารวบรวมข้อมูลเพิ่มเติมเกี่ยวกับคนที่ไม่ตัดสินใจ
whuber

3

ปัญหาความลำเอียงตรงนี้น่าจะเป็นที่ฝ่ายหนึ่งอาจได้รับความนิยมที่จะชนะแม้ว่าพวกเขาจะไม่มีทักษะการโต้วาทีที่ดีกว่าแนวคิดทางสถิติของความลำเอียงของผู้ประมาณ แนวทางที่เป็นธรรมชาติคือการจัดการกับข้อกังวลนี้โดยตรง: ใช้ข้อมูลจากการแข่งขันก่อนหน้าเพื่อให้พอดีกับตัวแบบการถดถอย และตั้งกฎการชนะให้เป็นหน้าที่ของแบบสำรวจอภิปรายก่อนเพื่อให้ความน่าจะเป็นในการทำนายของการชนะคือ

p(forafter,againstafter,undecidedafterforbefore,againstbefore,undecidedbefore)
0.5สำหรับทั้งสองทีม โปรดทราบว่ายังคงมีหลายทางเลือกสำหรับกฎการตัดสินใจเนื่องจากพื้นที่ผลลัพธ์เป็น 2 มิติ แต่ถ้าเราเชื่อแบบจำลองการทำนายสิ่งนี้ไม่สำคัญในแง่ของความยุติธรรมของการแข่งขัน ใครจะทำได้เช่นเพียงแค่ตัดสินใจว่าสำหรับทีมชนะถ้าอัตราส่วน For-Against หลังจากการอภิปรายเกินค่ามัธยฐานของการทำนาย (เงื่อนไขในการสำรวจก่อน)

แนวคิดสำหรับการสร้างแบบจำลองการทำนาย

ตอนแรกฉันนึกไว้แค่รุ่น "กล่องดำ" บางตัวของตัวเลขหลังแบบสำรวจความคิดเห็นเป็นฟังก์ชั่นของตัวเลขก่อนหน้าแบบสำรวจความคิดเห็นและเสียงรบกวน อย่างไรก็ตามวิธีการที่ดีกว่าอาจยืมความคิดของคนผิวขาวในการพิจารณาความเป็นไปได้ในการเปลี่ยนแปลง วิธีที่ง่ายที่สุด (แม้ว่าอาจจะไม่สมจริง) ก็คือการพิจารณาความน่าจะเป็นในการเปลี่ยนแปลงโดยไม่ขึ้นอยู่กับตัวเลขก่อนการอภิปราย ตัวอย่างเช่นสมมติว่าความน่าจะเป็นของการเปลี่ยนแปลงนั้นมาจากการแจกแจง Dirichlet: P=U=ยู

(P(forfor before),P(udfor before),P(agfor before))Dir(aff,auf,aaf)(P(forud before),P(udud before),P(agud before))Dir(afu,auu,aau)(P(forag before),P(udag before),P(agag before))Dir(afa,aua,aaa),
โดยที่ s เป็นความน่าจะเป็นในการเปลี่ยนผ่านสำหรับบุคคลและคือพารามิเตอร์หลายตัวที่ควบคุมวิธีการ ความน่าจะเป็นช่วงการเปลี่ยนภาพแตกต่างจากการอภิปรายไปยังอีก Paas จะได้เรียนรู้จากข้อมูลที่แสดงให้เห็นว่าก่อนหน้านี้อย่างใดอย่างหนึ่งโดยการเพิ่มประสิทธิภาพการประมาณการจุด (เช่นสูงสุด posteriori หรือความน่าจะเป็นสูงสุด) เหล่านี้หรือวิธีการแก้ปัญหาแบบเบย์เต็มรูปแบบที่เอาท์พุต distribtuion หลังของs หนึ่งยังสามารถเพิ่มข้อ จำกัด สมมาตรบางอย่างถ้าใครอยากจะคิดและการต่อต้านการประพฤติในทำนองเดียวกัน (ก่อนที่จะทราบคำถามการอภิปรายโดยเฉพาะ) เช่น ,{}aaff=aaaafu=aau

ได้รับการกระจายหลังหรือประมาณการจุดs และการกระจายของบุคคลในปัจจุบันก่อนที่จะสำรวจความคิดเห็น (ว่าตอนนี้ผมสันนิษฐานว่าจะเป็นอิสระจากความน่าจะเป็นการเปลี่ยนแปลง) มันเป็นตรงไปตรงมาเพื่อจำลองการกระจายของตัวเลขหลังการอภิปรายการสำรวจความคิดเห็นแล้ว เลือกค่ามัธยฐานของเช่นสำหรับ / เทียบอัตราส่วนเป็นเกณฑ์ที่ชนะa


คุณสามารถขยายแนวคิดของแบบจำลองการทำนายด้วยตัวอย่างได้หรือไม่?
Wesley Tansey

@WesleyTansey ฉันรู้ว่าใครสามารถใช้ความคิดของ whuber ในการพิจารณาความน่าจะเป็นในการเปลี่ยนแปลงเพื่อสร้างแบบจำลองการทำนายสำหรับวัตถุประสงค์ของคำตอบของฉัน ฉันแก้ไขคำตอบของฉันเพื่อให้มีความคิดเริ่มต้น แต่ฉันยังไม่ได้ลองใช้สิ่งนี้และฉันไม่ได้วางแผนไว้
Juho Kokkala
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.