น้ำหนักระบบการให้คะแนนเพื่อให้รายการที่ได้รับการจัดอันดับสูงขึ้นจากผู้คนจำนวนมากกว่ารายการที่จัดอันดับสูงโดยมีผู้คนน้อยลงหรือไม่

ขอบคุณล่วงหน้าสำหรับการแบกกับฉันฉันไม่ได้เป็นนักสถิติทุกประเภทและไม่รู้วิธีอธิบายสิ่งที่ฉันจินตนาการดังนั้น Google จึงไม่ได้ช่วยฉันที่นี่ ...

ฉันรวมระบบการให้คะแนนในเว็บแอปพลิเคชันที่ฉันทำงานอยู่ ผู้ใช้แต่ละคนสามารถให้คะแนนแต่ละรายการได้หนึ่งครั้ง

ฉันจินตนาการถึงมาตราส่วนด้วยค่า 4 ค่า: "ไม่ชอบอย่างยิ่ง", "ไม่ชอบ", "ชอบ" และ "ขอชอบมาก" และฉันวางแผนที่จะกำหนดค่าเหล่านี้เป็น -5, -2, +2 และ +5 ตามลำดับ .

ตอนนี้ถ้าทุกรายการจะมีคะแนนเท่ากันฉันก็จะค่อนข้างสบายใจกับระบบการให้คะแนนนี้ซึ่งแตกต่างอย่างชัดเจนจากรายการที่ชอบมากที่สุดและรายการที่ชอบน้อยที่สุด อย่างไรก็ตามรายการจะไม่มีการจัดอันดับจำนวนเท่ากันและความไม่เท่าเทียมกันระหว่างจำนวนคะแนนโหวตของภาพถ่ายที่แตกต่างกันอาจค่อนข้างน่าทึ่ง

ในกรณีนี้การเปรียบเทียบคะแนนสะสมของสองรายการหมายความว่ารายการเก่าที่มีคะแนนปานกลางมากจะมีคะแนนสูงกว่ารายการใหม่ที่ยอดเยี่ยมที่มีคะแนนโหวตน้อยกว่ามาก

สิ่งแรกที่ชัดเจนที่ฉันคิดว่าเราใช้โดยเฉลี่ย ... แต่ตอนนี้หากรายการมีการจัดอันดับเดียวที่ "5" จะมีค่าเฉลี่ยที่ดีกว่ารายการที่มีคะแนน 99 "+5" และ 1 "+2" ให้คะแนน โดยสังหรณ์ที่ไม่ได้เป็นตัวแทนที่ถูกต้องของความนิยมของรายการ

ฉันคิดว่าปัญหานี้เป็นเรื่องปกติและพวกคุณไม่ต้องการให้ฉันเชื่อในตัวอย่างอีกดังนั้นฉันจะหยุดที่จุดนี้และอธิบายอย่างละเอียดในความคิดเห็นหากจำเป็น

คำถามของฉันคือ:

ปัญหาแบบนี้เรียกว่าอะไรและมีศัพท์สำหรับเทคนิคที่ใช้ในการแก้ปัญหานี้หรือไม่? ฉันอยากรู้สิ่งนี้เพื่อที่ฉันจะได้อ่านมันได้
หากคุณรู้ว่ามีแหล่งข้อมูลที่เป็นมิตรในเรื่องใดฉันจะขอขอบคุณลิงค์
สุดท้ายนี้ฉันขอขอบคุณข้อเสนอแนะอื่น ๆ เกี่ยวกับวิธีการรวบรวมและวิเคราะห์ข้อมูลประเภทนี้อย่างมีประสิทธิภาพ

scales rating

— แอนดรู
แหล่งที่มา

คำตอบ:

วิธีหนึ่งที่คุณสามารถต่อสู้สิ่งนี้คือการใช้สัดส่วนในแต่ละหมวดหมู่ซึ่งคุณไม่จำเป็นต้องใส่ตัวเลขในแต่ละหมวดหมู่ (คุณสามารถปล่อยให้อยู่ในระดับ 80% ว่า "ชอบมาก") อย่างไรก็ตามสัดส่วนจะประสบปัญหาอันดับเครดิตเล็กน้อย สิ่งนี้แสดงให้เห็นในตัวอย่างของคุณรูปภาพที่มีการให้คะแนน 1 +5 จะได้รับคะแนนเฉลี่ย (และสัดส่วน) ที่สูงกว่าคะแนนที่มีคะแนน 99 +5 และ 1 +2 สิ่งนี้ไม่เหมาะกับสัญชาตญาณของฉัน (และฉันสงสัยว่าคนส่วนใหญ่)

วิธีหนึ่งในการแก้ไขปัญหาตัวอย่างขนาดเล็กนี้คือการใช้เทคนิคแบบเบย์เรียกว่า " กฎการสืบทอดของ Laplace " (การค้นหาคำนี้อาจมีประโยชน์) มันเกี่ยวข้องกับการเพิ่ม 1 "การสังเกต" ในแต่ละหมวดหมู่ก่อนการคำนวณความน่าจะเป็น หากคุณต้องการที่จะใช้ค่าเฉลี่ยสำหรับค่าตัวเลขฉันจะแนะนำค่าเฉลี่ยถ่วงน้ำหนักที่น้ำหนักเป็นความน่าจะเป็นคำนวณโดยกฎการสืบทอด

สำหรับรูปแบบคณิตศาสตร์ให้ $n_{sd},n_{d},n_{l},n_{sl}$ แสดงจำนวนคำตอบของ "ไม่ชอบอย่างยิ่ง", "ไม่ชอบ", "ชอบ" และ "ชอบมาก" ตามลำดับ (ในสองตัวอย่าง $n_{sl}=1,n_{sd}=n_{d}=n{l}=0$ และ $n_{sl}=99,n_{l}=1,n_{sd}=n_{d}=0$ ) จากนั้นคุณจะคำนวณความน่าจะเป็น (หรือน้ำหนัก) เพื่อให้เป็นอย่างยิ่ง

P R ("ชอบมาก") = \frac{n_{s ล.} + 1}{n_{s d} + n_{d} + n_{ล.} + n_{s ล.} + 4}

$Pr(\text{"Strongly Like"}) = \frac{n_{sl}+1}{n_{sd}+n_{d}+n_{l}+n_{sl}+4}$

สำหรับสองตัวอย่างที่คุณให้พวกเขาให้ความน่าจะเป็น "ชอบมาก" เป็น $\frac{1+1}{1+0+0+0+4}=\frac{2}{5}$ และ $\frac{99+1}{99+1+0+0+4}=\frac{100}{104}$ ซึ่งฉันคิดว่าเห็นด้วยอย่างใกล้ชิดกับ "สามัญสำนึก" การลบค่าคงที่ที่เพิ่มให้ $\frac{1}{1}$ และ $\frac{99}{100}$ ซึ่งทำให้ผลลัพธ์แรกดูสูงกว่าที่ควรจะเป็น (อย่างน้อยสำหรับฉันต่อไป)

คะแนนตามลำดับจะได้รับจากค่าเฉลี่ยถ่วงน้ำหนักซึ่งฉันได้เขียนไว้ด้านล่างเป็น:

S ค โอ R อี = \begin{matrix} 5 \frac{n_{s ล.} + 1}{n_{s d} + n_{d} + n_{ล.} + n_{s ล.} + 4} + 2 \frac{n_{ล.} + 1}{n_{s d} + n_{d} + n_{ล.} + n_{s ล.} + 4} \\ - 2 \frac{n_{d} + 1}{n_{s d} + n_{d} + n_{ล.} + n_{s ล.} + 4} - 5 \frac{n_{s d} + 1}{n_{s d} + n_{d} + n_{ล.} + n_{s ล.} + 4} \end{matrix}

$Score=\begin{array}{1 1} 5\frac{n_{sl}+1}{n_{sd}+n_{d}+n_{l}+n_{sl}+4}+2\frac{n_{l}+1}{n_{sd}+n_{d}+n_{l}+n_{sl}+4} \\ - 2\frac{n_{d}+1}{n_{sd}+n_{d}+n_{l}+n_{sl}+4} -5\frac{n_{sd}+1}{n_{sd}+n_{d}+n_{l}+n_{sl}+4}\end{array}$

หรือรัดกุมกว่านั้นเป็น

S ค โอ R อี = \frac{5 n_{s ล.} + 2 n_{ล.} - 2 n_{d} - 5 n_{s d}}{n_{s d} + n_{d} + n_{ล.} + n_{s ล.} + 4}

$Score=\frac{5 n_{sl}+ 2 n_{l} - 2 n_{d} - 5 n_{sd}}{n_{sd}+n_{d}+n_{l}+n_{sl}+4}$

ซึ่งให้คะแนนในสองตัวอย่างของ $\frac{5}{5}=1$ และ $\frac{497}{104}\sim 4.8$ . ฉันคิดว่านี่แสดงให้เห็นถึงความแตกต่างที่เหมาะสมระหว่างสองกรณี

นี่อาจจะเป็น "mathsy" นิดหน่อยโปรดบอกให้ฉันถ้าคุณต้องการคำอธิบายเพิ่มเติม

— probabilityislogic
แหล่งที่มา

นั่นเป็นบิต "mathsy" สำหรับฉันและเริ่มแรกฉันไม่เข้าใจสูตร แต่ฉันอ่านมันอย่างระมัดระวังประมาณสามครั้งแล้วคลิก! นี่คือว่าสิ่งที่ผมกำลังมองหาและคำอธิบายของคุณเป็นที่ชัดเจนมากแม้สำหรับคนที่ไม่ได้เป็นนักคณิตศาสตร์หรือสถิติที่ทั้งหมด ขอบคุณมาก!

— Andrew

คำตอบที่ดีมากไม่ใช่เทคนิคและวิธีการที่ฉันจะไม่คิดว่าตัวเอง ฉันแค่เพิ่มว่าเป็นไปได้ที่จะเพิ่ม 'การสังเกต' ของปลอมในแต่ละหมวดหมู่แทนที่จะเป็น 1 รวมถึงตัวเลขที่ไม่ใช่จำนวนเต็ม สิ่งนี้จะช่วยให้คุณมีความยืดหยุ่นในการตัดสินใจว่าคุณต้องการ 'ย่อขนาด' ลงไปที่คะแนนของรายการด้วยคะแนนเพียงเล็กน้อย และถ้าคุณต้องการคำอธิบายที่ทำให้เกิดเสียงทางเทคนิคของวิธีนี้คุณอาจบอกว่าคุณกำลังทำการวิเคราะห์ Bayesian ของข้อมูลจากการกระจายแบบหลายส่วนโดยใช้ Dirichlet แบบสมมาตรมาก่อน

— onestop

แม้ว่าพวกเขาอาจดูเหมือนการสังเกต "ปลอม" แต่พวกเขามีความหมายที่ชัดเจนเมื่อ +1 (ซึ่งตรงกันข้ามกับ +2 หรือสูงกว่าซึ่งจริงๆแล้วเป็นตัวเลข "ปลอม" หรือตัวเลขจากการรวบรวมข้อมูลก่อนหน้านี้) โดยทั่วไปจะอธิบายถึงสถานะของความรู้ที่เป็นไปได้ที่แต่ละหมวดหมู่จะได้รับการโหวตก่อนที่จะทำการสังเกตข้อมูลใด ๆ นี่คือสิ่งที่แบนก่อนหน้าใน (N-1) simplex

— ความน่าจะเป็นของระบบ

อีกข้อสังเกตหนึ่งสำหรับผู้ที่จะพบโพสต์นี้ในการใช้สิ่งนี้ในโมเดลของฉันฉันได้คะแนนสุดท้ายและคูณด้วย 20 ซึ่งให้ช่วง -100 ถึง 100 จากคะแนนแย่ที่สุดถึงดีที่สุดเท่าที่จะทำได้ เป็นข้อ จำกัด ที่คุณไม่สามารถเข้าถึงได้ แต่คุณจะได้รับแนวคิด) สิ่งนี้ทำให้ผลลัพธ์สำหรับผู้ใช้ในแอพของฉันใช้งานง่ายมาก!

— Andrew

@probabilityislogic: แน่นอนว่ามีพารามิเตอร์เชิงบวกอย่างเคร่งครัดสำหรับ Dirichlet ก่อนที่จะอธิบายว่าความน่าจะเป็นทั้งหมดจะอยู่ระหว่าง 0 ถึง 1 อย่างเคร่งครัดหรือไม่ และอาร์กิวเมนต์นี้แนะนำให้ตั้งค่าเป็น 2 / m โดยที่ m คือจำนวนหมวดมากกว่า 1: en.wikipedia.org/wiki/…

— onestop

ฉันใช้วิธีกราฟิก แกน x อาจเป็นคะแนนเฉลี่ยและ y อาจเป็นจำนวนคะแนน ฉันเคยทำสิ่งนี้กับสถิติการกีฬาเพื่อเปรียบเทียบการมีส่วนร่วมของฟีนส์รุ่นเยาว์กับดารารุ่นเก๋า จุดที่ใกล้กว่าคือมุมขวาบนยิ่งเข้าใกล้อุดมคติ แน่นอนว่าการตัดสินใจเลือกไอเท็ม "ดีที่สุด" จะยังคงเป็นการตัดสินใจเชิงอัตวิสัย แต่สิ่งนี้จะให้โครงสร้างบางอย่าง

หากคุณต้องการพล็อตคะแนนเฉลี่ยกับตัวแปรอื่นคุณสามารถตั้งค่าจำนวนการจัดอันดับเป็นตัวแปรที่สามโดยใช้ขนาดฟองในพล็อตฟองเช่นใน XL หรือ SAS

— rolando2
แหล่งที่มา