ค่ามัธยฐานนั้นดีกว่าค่าเฉลี่ยหรือไม่

ฉันเพิ่งอ่านคำแนะนำที่คุณควรใช้ค่ามัธยฐานไม่ได้หมายถึงการกำจัดค่าผิดปกติ ตัวอย่าง: บทความต่อไปนี้ http://www.amazon.com/Forensic-Science-Introduction-Scientific-Investigative/product-reviews/1420064932/

มี 16 ความคิดเห็นในขณะนี้:

review= c(5, 5, 5, 5, 5, 5, 5, 5, 5, 5, 4, 4, 3, 2, 1, 1)
summary(review)  ## "ordinary" summary

Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
1.000   3.750   5.000   4.062   5.000   5.000 

เพราะพวกเขาใช้Meanบทความได้ 4 ดาว แต่ถ้าพวกเขาใช้Medianมันก็จะได้ 5 ดาว

ค่ามัธยฐานไม่ใช่การตัดสินที่ 'ยุติธรรม' หรือไม่?

การทดลองแสดงให้เห็นว่าข้อผิดพลาดของค่ามัธยฐานนั้นใหญ่กว่าค่าเฉลี่ย ค่ามัธยฐานแย่ลงหรือไม่

library(foreach)

#the overall population of bookjudgments
n<-5
p<-0.5
expected.value<-n*p
peoplesbelieve <-rbinom(10^6,n, p)

#16 ratings made for 100 books
ratings <- foreach(i=1:100, .combine=rbind) %do% sample(peoplesbelieve,16)
stat <- foreach(i=1:100, .combine=rbind) %do% c(mean=mean(ratings[i,]), median=median(ratings[i,]))

#which mean square error is bigger? Mean's or Median's?
meansqrterror.mean<-mean((stat[,"mean"]-expected.value)^2)
meansqrterror.median<-mean((stat[,"median"]-expected.value)^2)

res<-paste("mean MSE",meansqrterror.mean)
res<-paste(res, "| median MSE", meansqrterror.median)
print(res)

ปัญหาคือคุณยังไม่ได้กำหนดความหมายที่ดีหรือยุติธรรม คุณแนะนำในความคิดเห็นเกี่ยวกับคำตอบของ @ Kevin ว่าคุณไม่ชอบถ้าความเห็นที่ไม่ดีอย่างใดอย่างหนึ่งจะลงรายการ แต่การเปรียบเทียบสองรายการที่หนึ่งมี "บันทึกที่สมบูรณ์แบบ" และอีกรายการหนึ่งมีการตรวจสอบที่ไม่ดีอย่างหนึ่งบางทีอาจจะมีความแตกต่างนั้น

มีความต่อเนื่อง (มิติสูง) ทั้งหมดระหว่างค่ามัธยฐานและค่าเฉลี่ย คุณสามารถเรียงลำดับคะแนนตามค่าจากนั้นนำค่าเฉลี่ยถ่วงน้ำหนักที่มีน้ำหนักขึ้นอยู่กับตำแหน่งในลำดับนั้น ค่าเฉลี่ยสอดคล้องกับน้ำหนักทั้งหมดเท่ากันค่ามัธยฐานเกี่ยวข้องกับรายการหนึ่งหรือสองรายการเท่านั้นที่อยู่ตรงกลางที่รับน้ำหนักที่ไม่ใช่ศูนย์ค่าเฉลี่ยที่ถูกตัดจะสอดคล้องกับการให้ทั้งหมดยกเว้นคู่แรกและคู่สุดท้ายที่มีน้ำหนักเท่ากัน แต่คุณสามารถตัดสินใจน้ำหนักจากจำนวนn ที่มีน้ำหนัก$k$$n$หรือexp(-(2k-1-n))$\frac{1}{1 + (2 k - 1 - n)^2}$เพื่อโยนบางสิ่งแบบสุ่มในนั้น อาจเป็นค่าเฉลี่ยถ่วงน้ำหนักที่ผู้ผิดปกติได้รับน้ำหนักน้อยลง แต่ยังคงเป็นจำนวนที่ไม่ใช่ศูนย์สามารถรวมคุณสมบัติที่ดีของค่ามัธยฐานและค่าเฉลี่ยได้หรือไม่$\exp(-\frac{(2k - 1 - n)^2}{n^2})$

คำตอบที่คุณได้รับขึ้นอยู่กับคำถามที่คุณถาม

ค่าเฉลี่ยและมัธยฐานตอบคำถามต่าง ๆ ดังนั้นพวกเขาจึงให้คำตอบที่แตกต่างกัน ไม่ใช่ว่าคนหนึ่ง "ยุติธรรม" มากกว่าคนอื่น ค่ามัธยฐานมักใช้กับข้อมูลที่มีความเบ้สูง (เช่นรายได้) แต่ถึงแม้จะมีบางครั้งค่าเฉลี่ยที่ดีที่สุด และบางครั้งคุณไม่ต้องการการวัดแนวโน้มกลางใด ๆ

นอกจากนี้เมื่อใดก็ตามที่คุณให้การวัดแนวโน้มกลางคุณควรให้การวัดการแพร่กระจายบางอย่าง การจับคู่ที่พบบ่อยที่สุดคือค่าเบี่ยงเบนมาตรฐานและช่วงค่ามัธยฐาน - ควอไทล์ระหว่าง ในข้อมูลเหล่านี้การให้ค่ามัธยฐานเท่ากับ 5 คือฉันคิดว่าทำให้เข้าใจผิดหรืออย่างน้อยก็ไม่รู้ ค่ามัธยฐานก็จะเป็น 5 เช่นกันถ้าทุกคะแนนเดียวคือ 5

หากตัวเลือกเดียวคือจำนวนเต็มในช่วง 1 ถึง 5 มีการพิจารณาว่าเป็นค่าผิดปกติหรือไม่?

$\alpha = 0.05$

Grubbs test for one outlier

data:  review  G = 2.0667, U = 0.6963,
p-value = 0.2153 alternative
hypothesis: lowest value 1 is an outlier

การทดลองแสดงให้เห็นว่าข้อผิดพลาดของค่ามัธยฐานนั้นใหญ่กว่าค่าเฉลี่ยเสมอ

ขึ้นอยู่กับฟังก์ชันต้นทุนที่คุณใช้

MSE ถูกย่อให้เล็กสุดโดยค่าเฉลี่ย ดังนั้นหากคุณใช้ค่าเฉลี่ย MSE จะแย่กว่าค่าเฉลี่ยเสมอ

แต่ถ้าคุณจะใช้ข้อผิดพลาดที่แน่นอนกว่าค่าเฉลี่ยจะแย่ลง!

คำอธิบายที่ดีเกี่ยวกับเรื่องนี้สามารถพบได้ที่นี่: http://www.johnmyleswhite.com/notebook/2013/03/22/modes-medians-and-means-an-unifying-perspective/

ตัวเลือกขึ้นอยู่กับปัญหาและความชอบของคุณ หากคุณไม่ต้องการให้ค่าผิดปกติมีผลกระทบอย่างมากต่อตำแหน่งของ "จุดศูนย์กลาง" คุณต้องเลือกค่ามัธยฐาน หากคุณใส่ใจเกี่ยวกับค่าผิดปกติคุณเลือกค่าเฉลี่ย

เป็นความคิดที่รวดเร็ว:

หากคุณสมมติว่าการให้คะแนนแต่ละครั้งมาจากตัวแปรต่อเนื่องแฝงคุณสามารถกำหนดค่ามัธยฐานของตัวแปรดอกเบี้ยต่อเนื่องที่อยู่ภายใต้นี้เป็นค่าความสนใจแทนค่าเฉลี่ยของการแจกแจงพื้นฐานนี้ เมื่อการกระจายตัวสมมาตรแล้วค่าเฉลี่ยและค่ามัธยฐานจะประเมินปริมาณเดียวกันในท้ายที่สุด ในกรณีที่การแจกแจงเบ้ค่ามัธยฐานจะแตกต่างจากค่าเฉลี่ย ในกรณีนี้ในใจของฉันค่ามัธยฐานจะสอดคล้องกันมากขึ้นกับสิ่งที่เราคิดว่าเป็นค่าปกติ นี่เป็นวิธีที่จะเข้าใจว่าทำไมรายได้เฉลี่ยและราคาบ้านเฉลี่ยจึงถูกรายงานมากกว่าค่าเฉลี่ย

อย่างไรก็ตามเมื่อคุณมีค่าไม่ต่อเนื่องจำนวนเล็กน้อยค่ามัธยฐานจะทำงานได้ไม่ดี

บางทีคุณอาจใช้ขั้นตอนการประมาณความหนาแน่นแล้วใช้ค่ามัธยฐานของค่านั้นหรือใช้ค่ามัธยฐานบางส่วน

สิ่งที่ดีเกี่ยวกับการใช้ค่ามัธยฐานสำหรับการจัดอันดับดาวคือผู้ใช้ที่ฉลาด (ตระหนักถึงการใช้ค่ามัธยฐาน) จะไม่ "เกม" ระบบ:

หากผู้ใช้ที่มีเหตุผลคิดว่าการให้คะแนนที่เหมาะสมควรเป็น 4 ดาว แต่ขณะนี้มี 4.5 ดาวดังนั้นวิธีที่ดีที่สุดที่จะได้รับสี่ดาว (สมมติว่ามีการโหวตมากกว่าหกคะแนน) คือการโหวต 1 ดาวในระบบการจัดอันดับตามค่าเฉลี่ย .

ในขณะที่อยู่ในระบบที่มีค่ามัธยฐานทางเลือกที่สมเหตุสมผลของผู้ใช้คือเพียงโหวตจำนวนดาวที่ผู้ใช้คิดว่าควรจะมี

เป็นการประมูลราคาครั้งที่สองสำหรับระบบการจัดอันดับดาว

คำตอบที่ดีหลายข้อยังคงมีที่ว่างสำหรับความคิดเห็นเพิ่มเติม

ครั้งแรกไม่มีใครคัดค้านความคิดที่ว่าค่ามัธยฐานมีไว้เพื่อกำจัดค่าผิดปกติ แต่ฉันจะผ่านการรับรอง ความหมายที่ตั้งใจไว้ชัดเจน แต่ง่ายสำหรับข้อมูลจริงที่จะซับซ้อนมากขึ้น อย่างมากค่ามัธยฐานมีไว้เพื่อลดหรือเพิกเฉยต่อค่าผิดปกติ แต่ถึงแม้จะไม่รับประกันก็ตาม ตัวอย่างเช่นด้วยคะแนน 1 1 1 5 5 5 ค่ามัธยฐานและค่าเฉลี่ยเห็นด้วยที่ 3 ดังนั้นทั้งหมดอาจดูดี แต่ส่วนที่เกิน 5 จะทำให้ค่ามัธยฐานอยู่ที่ 5 และส่วนอีก 1 จะเพิ่มค่ามัธยฐานเป็น 1 ค่าเฉลี่ยจะขยับประมาณ 0.286 ในแต่ละกรณี ดังนั้นค่าเฉลี่ยอยู่ที่นี่ต้านทานมากกว่าค่ามัธยฐาน ตัวอย่างสามารถถูกไล่ออกได้ว่าผิดปกติ แต่มันก็ไม่ได้น่ารังเกียจ จุดไม่ได้เป็นต้นฉบับโดยธรรมชาติ ที่เดียวที่ทำขึ้นคือ Mosteller, F. และ Tukey, JW 1977 การวิเคราะห์ข้อมูลและการถดถอยอ่าน, MA: Addison-Wesley, pp.34-35

ประการที่สองวิธีการที่ถูกตัดได้ถูกกล่าวถึงและความคิดนั้นสมควรได้รับแรงผลักดันที่ยิ่งใหญ่กว่า ค่าเฉลี่ยและค่ามัธยฐานไม่จำเป็นต้องเป็นทางเลือกโดยสิ้นเชิงเพื่อที่นักวิเคราะห์จะต้องเลือก (โหวตให้) อย่างใดอย่างหนึ่ง คุณสามารถพิจารณาวิธีที่เป็นไปตัดแต่งทั้งหมดขึ้นอยู่กับการตัดแต่งจำนวนหนึ่งของค่าในแต่ละหาง ตารางแสดงจำนวน # ของค่าที่รวมอยู่ในการคำนวณค่าเฉลี่ย:

  +----------------------------+
  | number    #   trimmed mean |
  |----------------------------|
  |      0   16         4.0625 |
  |      1   14       4.214286 |
  |      2   12       4.416667 |
  |      3   10            4.6 |
  |      4    8           4.75 |
  |      5    6       4.833333 |
  |      6    4              5 |
  |      7    2              5 |
  +----------------------------+

ภาพหลักที่นี่คือคุณสามารถเลือกอัตราส่วนลดของคุณ (ละเว้นค่ามากในแต่ละหางเป็นผู้ต้องสงสัย) เป็นประกันชนิดต่อความเสี่ยงของการถูกปิดเนื่องจากค่ามาก สิ่งที่ฉันเห็นคือการไล่ระดับสีที่ราบรื่นระหว่างค่าเฉลี่ยและค่ามัธยฐานซึ่งคาดว่าที่นี่เพราะค่าที่เป็นไปได้ 1, 2, 3, 4, 5 ทั้งหมดอยู่ในข้อมูล คาดว่าการกระโดดครั้งใหญ่ในซีเควนซ์จะมีค่าผิดพลาดโดดเดี่ยว

ไม่มีข้อผูกมัดด้วยวิธีการที่ถูกตัดแต่งเพื่อตัดจำนวนที่เท่ากันในแต่ละหาง แต่ฉันจะไม่ขยายมัน

ประการที่สามตัวอย่างมาจากบทวิจารณ์ของ Amazon บริบทที่เกี่ยวข้องเสมอในแนวทางวิธีการที่คุณต้องการให้ข้อมูลสรุป ในกรณีของ Amazon รีวิวคำตอบที่ดีที่สุดคืออ่านความคิดเห็น! เนื่องจากคะแนนสูงและต่ำเหมือนกันอาจเป็นของปลอม (โดยนัย: ผู้แต่งหนังสือเล่มนี้คือเพื่อนของฉัน) และ / หรือไม่เกี่ยวข้องกับการตัดสินใจของคุณ (ชัดเจน: ผู้ขายรายใหม่ปฏิบัติต่อฉันอย่างรุนแรง) ไม่มีความชัดเจนสำหรับฉัน ความหมายสำหรับวิธีการสรุปข้อมูลดังกล่าวและแน่นอนโดยแสดงให้คุณเห็นการกระจายอเมซอนจะถูกให้ข้อมูลมากที่สุด

ประการที่สี่และระดับประถมศึกษา แต่พื้นฐานของทุกคนที่ทำให้คุณเลือก? บางครั้งค่าเฉลี่ยและค่ามัธยฐานควรได้รับการรายงาน (และตามที่ระบุไว้กราฟการกระจายด้วย)