ระบบการลงคะแนนที่ใช้ความแม่นยำของผู้ลงคะแนนแต่ละคนและความไม่แน่นอนที่เกี่ยวข้อง

สมมติว่าเรามีคำถาม "ใช่ / ไม่ใช่" ที่เราต้องการทราบคำตอบ และมีคน N คน "โหวต" สำหรับคำตอบที่ถูกต้อง ผู้มีสิทธิเลือกตั้งทุกคนมีประวัติ - รายชื่อ 1 และ 0 แสดงว่าพวกเขาถูกหรือผิดเกี่ยวกับคำถามประเภทนี้ในอดีต หากเราถือว่าประวัติศาสตร์เป็นการกระจายแบบทวินามเราสามารถค้นหาประสิทธิภาพเฉลี่ยของผู้มีสิทธิเลือกตั้งในคำถามเช่นรูปแบบที่เปลี่ยนแปลง CI และตัวชี้วัดความเชื่อมั่นอื่น ๆ

โดยทั่วไปคำถามของฉันคือ: วิธีการรวมข้อมูลความมั่นใจในระบบการลงคะแนนได้อย่างไร

ตัวอย่างเช่นหากเราพิจารณาว่าหมายถึงประสิทธิภาพของผู้ลงคะแนนแต่ละคนเท่านั้นเราสามารถสร้างระบบการลงคะแนนแบบถ่วงน้ำหนักง่ายๆ:

r e s u l t = s i g n (\sum_{v \in v o t e r s} μ_{v} \times (- 1)^{1 - v o t e})

$result = sign(\sum_{v \in voters}\mu_v \times (-1)^{1-vote})$

นั่นคือเราสามารถรวมน้ำหนักของผู้ลงคะแนนคูณด้วย (สำหรับ "ใช่") หรือ (สำหรับ "ไม่") มันสมเหตุสมผลแล้ว: หากผู้ออกเสียงลงคะแนน 1 มีคำตอบที่ถูกต้องโดยเฉลี่ยเท่ากับและผู้ออกเสียงลงคะแนน 2 มีเพียง.มากกว่าอาจจะเป็นการลงคะแนนเสียงของบุคคลที่ 1 ที่มีความสำคัญมากกว่า ในทางกลับกันถ้าคนที่ 1 ตอบคำถามเพียง 10 ข้อและคนที่ 2 ตอบคำถาม 1,000 ข้อเรามั่นใจในระดับทักษะของคนที่สองมากกว่าคนที่ 1 - เป็นไปได้ว่าคนที่ 1 โชคดี และหลังจาก 10 คำตอบที่ค่อนข้างประสบความสำเร็จเขาจะดำเนินการต่อด้วยผลลัพธ์ที่เลวร้ายกว่ามาก $+1$ $-1$ $.9$ $.8$

ดังนั้นคำถามที่แม่นยำยิ่งขึ้นอาจเป็นเช่นนี้: มีการวัดเชิงสถิติที่รวมทั้งความแข็งแกร่งและความมั่นใจเกี่ยวกับพารามิเตอร์บางตัวหรือไม่

— ffriend
แหล่งที่มา

คุณควรพิจารณาถึงความเชี่ยวชาญของผู้มีสิทธิเลือกตั้งเป็นตัวแปรแฝงของระบบของคุณ แล้วคุณอาจจะสามารถที่จะแก้ปัญหาของคุณกับการอนุมานแบบเบย์ การเป็นตัวแทนในรูปแบบกราฟิกอาจเป็นเช่นนี้:

graphical_model

เรามาแทนตัวแปรสำหรับคำตอบที่แท้จริงสำหรับการลงคะแนนของผู้มีสิทธิเลือกตั้งและสำหรับประวัติของมัน บอกว่าคุณยังมี "ความเชี่ยวชาญ" พารามิเตอร์ดังกล่าวว่า\ หากคุณใส่ก่อนหน้านี้ใน - ตัวอย่างเช่นรุ่นเบต้าก่อนหน้า- คุณควรจะสามารถใช้ทฤษฎีบท Bayes เพื่ออนุมานแล้วรวมเข้าด้วยกันเพื่อคำนวณ $A$ $V_i$ $i$ $H_i$ $\mu_i$ $\Pr(A=V_i) = \mu_i$ $\mu_i$ $\Pr(\mu_i \mid H_i)$ $\mu_i$

Pr (A ∣ V_{i}, H_{i}) = \int_{μ_{i}} Pr (A, μ_{i} ∣ A_{i}, H_{i}) d μ_{i}

$\Pr(A \mid V_i, H_i) = \int_{\mu_i} \Pr(A, \mu_i \mid A_i, H_i)~ \mathrm{d}\mu_i$

ระบบเหล่านี้แก้ไขได้ยาก คุณสามารถใช้อัลกอริทึม EM เป็นค่าโดยประมาณหรือใช้รูปแบบการเพิ่มความน่าจะเป็นแบบสมบูรณ์เพื่อดำเนินการอนุมานแบบเบย์

ลองดูที่บทความนี้การอนุมานแบบแปรผันสำหรับ Crowdsourcing , Liu, Peng และ Ihler 2012 ( นำเสนอเมื่อวานนี้ที่ NIPS! ) สำหรับอัลกอริทึมโดยละเอียดสำหรับการแก้ปัญหานี้

— เอมิ
แหล่งที่มา

ขอบคุณสำหรับคำตอบของคุณ แต่คุณช่วยกรุณาเจาะจงให้มากขึ้นหน่อยได้ไหม? โดยเฉพาะอย่างยิ่งสิ่งที่คุณหมายถึงโดยความเชี่ยวชาญ? หากเป็นเพียงความน่าจะเป็นที่บุคคลนั้นจะตอบได้อย่างถูกต้องเรามีการประมาณไว้โดยเฉลี่ยของคำตอบก่อนหน้าดังนั้นจึงไม่แฝงอยู่ หากคุณหมายถึงความเชี่ยวชาญมากกว่าทั้งค่าเฉลี่ยและความมั่นใจเกี่ยวกับการประมาณการของเราเราจะเผยแพร่ความน่าจะเป็นเพื่อรับความเชี่ยวชาญและผลลัพธ์ได้อย่างไร

— แฟน

ใช่คุณสามารถแทนค่าเฉลี่ยและความมั่นใจด้วยตัวแปร "ความเชี่ยวชาญ" นี้และการอนุมานแบบเบย์ ฉันได้เพิ่มคำอธิบายเล็กน้อยและอ้างอิงถึงคำตอบของฉัน หวังว่าจะช่วย!

— Emile