มันเป็นความจริงที่รู้จักกันว่าค่ามัธยฐานสามารถทนต่อค่าผิดปกติ ถ้าเป็นเช่นนั้นเราจะใช้ค่าเริ่มต้นเมื่อใดและทำไม

สิ่งหนึ่งที่ฉันสามารถนึกได้ก็คือเข้าใจว่ามีค่าผิดปกติเช่นถ้าค่ามัธยฐานอยู่ห่างจากค่าเฉลี่ยจากนั้นการแจกแจงจะเบ้และอาจต้องมีการตรวจสอบข้อมูลเพื่อตัดสินใจว่าจะทำอย่างไรกับค่าผิดปกติ มีการใช้อื่น ๆ ?

เรียกอีกอย่างหนึ่งว่าค่าเฉลี่ยนั้นใช้เพราะมีความอ่อนไหวต่อข้อมูล หากการกระจายตัวเกิดขึ้นแบบสมมาตรและก้อยคล้ายกับการแจกแจงแบบปกติค่าเฉลี่ยคือการสรุปแนวโน้มของศูนย์กลางอย่างมีประสิทธิภาพมาก ค่ามัธยฐานในขณะที่มีความแข็งแกร่งและถูกนิยามไว้อย่างดีสำหรับการแจกแจงแบบต่อเนื่องใด ๆ จะมีเพียงที่มีประสิทธิภาพเท่ากับค่าเฉลี่ยหากข้อมูลเกิดขึ้นจากการแจกแจงแบบปกติ มันเป็นความไร้ประสิทธิภาพของค่ามัธยฐานที่ทำให้เราไม่สามารถใช้งานได้มากกว่าที่เราทำ ความไร้ประสิทธิภาพสัมพัทธ์แปลเป็นความไร้ประสิทธิภาพสัมบูรณ์เล็กน้อยเมื่อขนาดตัวอย่างใหญ่ขึ้นดังนั้นสำหรับขนาดใหญ่เราสามารถรู้สึกผิดมากขึ้นเกี่ยวกับการใช้ค่ามัธยฐาน$\frac{2}{\pi}$$n$

เป็นที่น่าสนใจที่จะทราบว่าสำหรับการวัดความแปรปรวน (การแพร่กระจายการกระจาย) มีตัวประมาณที่แข็งแกร่งมากที่ 0.98 มีประสิทธิภาพเท่ากับส่วนเบี่ยงเบนมาตรฐานคือความแตกต่างเฉลี่ยของ Gini นี่คือความแตกต่างโดยเฉลี่ยระหว่างการสำรวจสองครั้ง [คุณต้องคูณค่าเบี่ยงเบนมาตรฐานตัวอย่างด้วยค่าคงที่เพื่อประเมินปริมาณเดียวกันโดยประมาณด้วยความแตกต่างของค่าเฉลี่ยของ Gini] การวัดแนวโน้มที่มีประสิทธิภาพของส่วนกลางคือตัวประมาณ Hodges-Lehmann เช่นค่ามัธยฐานของค่าเฉลี่ยทุกคู่ เราจะใช้มันมากกว่านี้ถ้าการตีความมันง่ายขึ้น

คำตอบที่ยอดเยี่ยมมากมายแล้ว แต่เมื่อย้อนกลับไปหาขั้นพื้นฐานเล็กน้อยฉันจะบอกว่ามันเป็นเพราะคำตอบที่คุณได้รับนั้นขึ้นอยู่กับคำถามที่คุณถาม ค่าเฉลี่ยและค่ามัธยฐานตอบคำถามที่แตกต่าง - บางครั้งมีความเหมาะสมบางครั้งอื่น ๆ

มันง่ายที่จะบอกว่าควรใช้ค่ามัธยฐานเมื่อมีค่าผิดปกติหรือเป็นค่าเบี่ยงเบนหรืออะไรก็ตาม แต่นั่นไม่ใช่กรณีเสมอไป รับรายได้ - รายงานเกือบจะเสมอกับค่ามัธยฐานและมักจะถูกต้อง แต่ถ้าคุณดูที่อำนาจการใช้จ่ายของชุมชนทั้งหมดอาจไม่ถูกต้อง และในบางกรณีแม้โหมดอาจจะดีที่สุด (โดยเฉพาะถ้าข้อมูลถูกจัดกลุ่ม)

เมื่อค่าเป็นขยะสำหรับเราเราเรียกมันว่า "outliar" และต้องการการวิเคราะห์ที่แข็งแกร่ง (และชอบค่ามัธยฐาน) เมื่อค่าเดียวกันนั้นน่าดึงดูดเราเรียกมันว่า "สุดขีด" และต้องการการวิเคราะห์ที่ละเอียดอ่อน (และต้องการค่าเฉลี่ย) เหตุ ...

ค่าเฉลี่ยจะตอบสนองอย่างเท่าเทียมกันกับการเปลี่ยนแปลงของค่าโดยไม่คำนึงถึงตำแหน่งที่เกิดการเปลี่ยนแปลง ตัวอย่างเช่นใน1 2 3 4 5คุณอาจเพิ่มค่าใด ๆด้วย 2 - การเพิ่มค่าเฉลี่ยจะเท่ากัน ปฏิกิริยาของค่ามัธยฐานนั้นน้อยกว่า "สอดคล้อง": เพิ่ม 2 ไปยังจุดข้อมูล 4 หรือ 5 และค่ามัธยฐานจะไม่เพิ่มขึ้น แต่เพิ่ม 2 ถึงจุด 2 - เพื่อให้การเปลี่ยนแปลงอยู่เหนือค่ามัธยฐานและค่ามัธยฐานเปลี่ยนแปลงอย่างรวดเร็ว (ยิ่งกว่าค่าเฉลี่ยจะเปลี่ยน)

ค่าเฉลี่ยอยู่เสมออย่างแน่นอน ค่ามัธยฐานไม่ใช่ ตัวอย่างเช่นในการตั้งค่า1 2 3 4 ใด ๆระหว่าง 2 และ 3 สามารถเรียกว่าค่ามัธยฐาน ดังนั้นการวิเคราะห์จากค่ามัธยฐานจึงไม่ใช่วิธีที่ไม่ซ้ำกันเสมอไป

Mean เป็นทีของผลรวมของการเบี่ยงเบนน้อยที่สุด งานการปรับให้เหมาะสมจำนวนมากขึ้นอยู่กับพีชคณิตเชิงเส้น (รวมถึงการถดถอย OLS ที่มีชื่อเสียง) ลดข้อผิดพลาดกำลังสองนี้และดังนั้นจึงหมายถึงแนวคิดของค่าเฉลี่ย มัธยฐานเป็นสถานที่แห่งผลรวมเบี่ยงเบนน้อยที่สุด เทคนิคการหาค่าเหมาะที่สุดเพื่อลดข้อผิดพลาดดังกล่าวไม่ใช่แบบเส้นตรงและมีความซับซ้อน / ไม่ดี

มีคำตอบมากมายสำหรับคำถามนี้ นี่คือสิ่งที่คุณอาจไม่เห็นที่อื่นดังนั้นฉันจึงรวมไว้ที่นี่เพราะฉันเชื่อว่าเกี่ยวข้องกับหัวข้อ ผู้คนมักจะเชื่อว่าเพราะค่ามัธยฐานนั้นถือเป็นมาตรการที่แข็งแกร่งเมื่อเทียบกับค่าผิดปกติที่ยังคงแข็งแกร่งสำหรับทุกสิ่งส่วนใหญ่ ในความเป็นจริงมันยังถือว่ามีความแข็งแกร่งในการตั้งค่าในการแจกแจงแบบเบ้ คุณสมบัติที่แข็งแกร่งทั้งสองของค่ามัธยฐานมักจะสอนด้วยกัน บางคนอาจสังเกตว่าการแจกแจงแบบเบ้พื้นฐานยังมีแนวโน้มที่จะสร้างกลุ่มตัวอย่างขนาดเล็กที่ดูเหมือนว่าพวกเขามีค่าผิดปกติและภูมิปัญญาดั้งเดิมก็คือคนคนหนึ่งใช้ค่ามัธยฐานในสถานการณ์เช่นนี้

#function to generate random values from a skewed distribution
rexg <- function (n, m, sig, tau) {
    rexp(n, rate = 1/tau) + rnorm(n, mean = m, sd = sig)
    }

(เพียงแค่การสาธิตที่นี่เบ้และรูปร่างพื้นฐาน)

hist(rexg(1e4, 0, 1, 1))

ทีนี้มาดูกันว่าจะเกิดอะไรขึ้นถ้าเราสุ่มตัวอย่างจากการกระจายตัวอย่างขนาดต่างๆและคำนวณค่ามัธยฐานและค่าเฉลี่ยเพื่อดูความแตกต่างระหว่างพวกมัน

#generate values with various n's
N <- 1e4
ns <- 2:30
y <- sapply(ns, function(x) mean(apply(matrix(rexg(x*N, 0, 1, 1), ncol = N), 2, median)))
plot(ns,y, type = 'l', ylim = c(0.85, 1.03), col = 'red') 
y <- sapply(ns, function(x) mean(colMeans(matrix(rexg(x*N, 0, 1, 1), ncol = N))))
lines(ns,y)

ดังที่เห็นได้จากพล็อตข้างต้นค่ามัธยฐาน (สีแดง) มีความไวมากกว่าค่าเฉลี่ย นี่เป็นสิ่งที่ตรงกันข้ามกับภูมิปัญญาดั้งเดิมบางประการเกี่ยวกับการใช้สื่อกลางที่มีค่าต่ำโดยเฉพาะอย่างยิ่งหากการแจกแจงอาจเบ้ และมันตอกย้ำจุดที่ค่าเฉลี่ยเป็นค่าที่ทราบในขณะที่ค่ามัธยฐานนั้นมีความอ่อนไหวต่อคุณสมบัติอื่น ๆ อย่างใดอย่างหนึ่งซึ่งเป็นค่า n

การวิเคราะห์นี้คล้ายกับ Miller, J. (1988) คำเตือนเกี่ยวกับเวลาปฏิกิริยาเฉลี่ย วารสารจิตวิทยาการทดลอง: การรับรู้และการปฏิบัติของมนุษย์ , 14 (3): 539–543

REVISION

เมื่อคิดเกี่ยวกับปัญหาความเบ้ฉันคิดว่าผลกระทบต่อค่ามัธยฐานอาจเป็นเพราะในตัวอย่างเล็ก ๆ คุณมีความเป็นไปได้มากกว่าที่ค่ามัธยฐานจะอยู่ในส่วนท้ายของการแจกแจง โหมด. ดังนั้นบางทีหากมีเพียงการสุ่มตัวอย่างด้วยค่าความน่าจะเป็นของค่าผิดปกติอาจจะเกิดผลลัพธ์เดียวกัน

ดังนั้นฉันจึงคิดถึงสถานการณ์ที่อาจเกิดค่าผิดปกติและผู้ทดลองอาจพยายามกำจัดพวกเขา

หากค่าผิดปกติเกิดขึ้นอย่างสม่ำเสมอเช่นหนึ่งในการสุ่มตัวอย่างข้อมูลทุกครั้งค่ามัธยฐานจะแข็งแกร่งขึ้นเมื่อเทียบกับผลของค่าผิดปกตินี้และเรื่องราวทั่วไปเกี่ยวกับการใช้สื่อเก็บไว้

แต่นั่นไม่ใช่เรื่องปกติ

หนึ่งอาจพบค่าผิดปกติในเซลล์น้อยมากของการทดสอบและตัดสินใจใช้ค่ามัธยฐานแทนค่าเฉลี่ยในกรณีนี้ อีกครั้งค่ามัธยฐานจะแข็งแกร่งขึ้น แต่ผลกระทบที่เกิดขึ้นจริงมีขนาดค่อนข้างเล็กเนื่องจากมีค่าผิดปกติน้อยมาก นี่จะเป็นกรณีที่พบได้บ่อยกว่ากรณีข้างต้น แต่ผลของการใช้ค่ามัธยฐานอาจมีขนาดเล็กจนไม่น่าสนใจเท่าไหร่

บางทีค่าผิดปกติที่พบบ่อยอาจเป็นส่วนประกอบที่สุ่มของข้อมูล ตัวอย่างเช่นค่าเฉลี่ยจริงและส่วนเบี่ยงเบนมาตรฐานของประชากรอาจอยู่ที่ประมาณ 0 แต่มีเปอร์เซ็นต์ของเวลาที่เราสุ่มตัวอย่างจากประชากรนอกที่ที่ค่าเฉลี่ยคือ 3 พิจารณาการจำลองต่อไปนี้โดยที่ประชากรเพียงตัวอย่างถูกสุ่มตัวอย่างแตกต่างกันไป ขนาด.

#generate n samples N times with an outp probability of an outlier.
rout <- function (n, N, outp) {
    outPos <- sample(0:1,n*N, replace = TRUE, prob = c(1-outp,outp))
    numOutliers <- sum(outPos)
    y <- matrix( rnorm(N*n), ncol = N )
    y[which(outPos==1)] <- rnorm(numOutliers, 4)
    return(y)
    }

outp <- 0.1
N <- 1e4
ns <- 3:30
yMed <- sapply(ns, function(x) mean(apply(rout(x,N,outp), 2, median)))
var(yMed)
yM <- sapply(ns, function(x) mean(colMeans(rout(x,N,outp))))
var(yM)
plot(ns,yMed, type = 'l', ylim = range(c(yMed,yM)), ylab = 'Y', xlab = 'n', col = 'red') 
lines(ns,yM)

ค่ามัธยฐานเป็นสีแดงและค่าเฉลี่ยเป็นสีดำ นี่คือการค้นพบที่คล้ายกันกับการแจกแจงแบบเบ้

ในตัวอย่างที่ใช้งานได้จริงของการใช้ค่ามัธยฐานเพื่อหลีกเลี่ยงผลกระทบของค่าผิดปกติเราสามารถเกิดขึ้นกับสถานการณ์ที่การประมาณการได้รับผลกระทบจาก n มากขึ้นเมื่อใช้ค่ามัธยฐานมากกว่าเมื่อใช้ค่าเฉลี่ย

• จากค่าเฉลี่ยมันง่ายในการคำนวณผลรวมเหนือทุกรายการเช่นถ้าคุณรู้รายได้เฉลี่ยของประชากรและขนาดของประชากรคุณสามารถคำนวณรายได้รวมของประชากรทั้งหมดได้ทันที

• ค่าเฉลี่ยนั้นตรงไปตรงมาเพื่อคำนวณO(n)ความซับซ้อนของเวลา การคำนวณค่ามัธยฐานในเวลาเชิงเส้นเป็นไปได้แต่ต้องใช้ความคิดมากขึ้น ทางออกที่ชัดเจนที่ต้องใช้การเรียงลำดับมีO(n log n)ความซับซ้อนของเวลาแย่ลง

และฉันคาดการณ์ว่ามีอีกสาเหตุหนึ่งที่ทำให้ค่าเฉลี่ยได้รับความนิยมมากกว่าค่ามัธยฐาน:

• ค่าเฉลี่ยนั้นสอนให้กับคนที่โรงเรียนมากขึ้นและอาจสอนก่อนค่ามัธยฐาน

"เป็นที่รู้กันว่าค่ามัธยฐานสามารถทนทานต่อค่าผิดปกติได้ถ้าเป็นเช่นนั้นเราจะใช้ค่าเริ่มต้นเมื่อไรและทำไม?

ในกรณีที่มีใครรู้ว่าไม่มีค่าผิดตัวอย่างเช่นเมื่อรู้กระบวนการสร้างข้อมูล (ตัวอย่างเช่นในสถิติทางคณิตศาสตร์)

หนึ่งควรชี้ให้เห็นเล็กน้อยว่าสองปริมาณ (หมายถึงและมัธยฐาน) ไม่ได้วัดสิ่งเดียวกันและผู้ใช้ส่วนใหญ่ถามอดีตเมื่อสิ่งที่พวกเขาควรจะสนใจในหลัง (จุดนี้มีภาพประกอบที่ดีโดย การทดสอบ Wilcoxon ที่ใช้ค่ามัธยฐานซึ่งตีความได้ง่ายกว่าการทดสอบ t)

จากนั้นมีหลายกรณีที่ด้วยเหตุผลบางอย่างที่เกิดขึ้นหรืออื่น ๆ กฎระเบียบบางอย่างกำหนดให้ใช้เขาหมายถึง

หากความกังวลเกี่ยวกับการปรากฏตัวของค่าผิดปกติมีบางวิธีที่ตรงไปตรงมาในการตรวจสอบข้อมูลของคุณ

Outliers เกือบตามคำจำกัดความเข้ามาในข้อมูลของเราเมื่อมีการเปลี่ยนแปลงบางอย่างในกระบวนการสร้างข้อมูลหรือในกระบวนการรวบรวมข้อมูล เช่นข้อมูลสิ้นสุดสภาพเป็นเนื้อเดียวกัน หากข้อมูลของคุณไม่เหมือนกันดังนั้นค่าเฉลี่ยและค่ามัธยฐานไม่สมเหตุสมผลเนื่องจากคุณพยายามประเมินแนวโน้มกลางของชุดข้อมูลสองชุดที่แยกกัน

วิธีที่ดีที่สุดในการรับรองความเป็นเนื้อเดียวกันคือการตรวจสอบกระบวนการสร้างข้อมูลและ - คอลเลกชันเพื่อให้แน่ใจว่าข้อมูลทั้งหมดของคุณมาจากกระบวนการชุดเดียว ไม่มีอะไรเต้นพลังสมองเล็กน้อยได้ที่นี่

ในการตรวจสอบครั้งที่สองคุณสามารถเปลี่ยนเป็นหนึ่งในการทดสอบทางสถิติหลายรายการ ได้แก่ chi-squared, Q-test ของ Dixon, การทดสอบของ Grubb หรือแผนภูมิควบคุม / แผนภูมิพฤติกรรมกระบวนการ (โดยทั่วไปคือ X-bar R หรือ XmR) ประสบการณ์ของฉันคือเมื่อข้อมูลของคุณสามารถสั่งซื้อได้ตามที่รวบรวมไว้แผนภูมิพฤติกรรมการทำงานจะดีกว่าในการตรวจหาค่าผิดปกติกว่าการทดสอบที่ผิดพลาด การใช้แผนภูมินี้อาจจะค่อนข้างขัดแย้ง แต่ฉันเชื่อว่ามันสอดคล้องกับเจตนาดั้งเดิมของ Shewhart ทั้งหมดและเป็นการใช้งานที่สนับสนุนโดย Donald Wheeler อย่างชัดเจน ไม่ว่าคุณจะใช้การทดสอบค่าผิดปกติหรือแผนภูมิพฤติกรรมกระบวนการโปรดจำไว้ว่า "ค่าผิดปกติ" ที่ตรวจพบนั้นเป็นเพียงการส่งสัญญาณที่มีศักยภาพความไม่เป็นเนื้อเดียวกันที่จะต้องมีการตรวจสอบเพิ่มเติม มันไม่ค่อยสมเหตุสมผลที่จะโยนจุดข้อมูลออกไปถ้าคุณไม่มีคำอธิบายว่าทำไมพวกเขาถึงเป็นคนผิด

หากคุณกำลังใช้ R แพ็คเกจค่าผิดปกติจะมีการทดสอบค่าผิดปกติและสำหรับแผนภูมิพฤติกรรมการทำงานมีqcc , IQCC และ qAnalyst ฉันมีการตั้งค่าส่วนตัวสำหรับการใช้งานและการส่งออกของแพคเกจ qcc

เมื่อไหร่ที่คุณต้องการค่าเฉลี่ย

ตัวอย่างจากการเงิน:

• ผลตอบแทนพันธบัตร:
  • ผลตอบแทนพันธบัตรเฉลี่ยจะเป็นคะแนนร้อยละไม่กี่
  • ผลตอบแทนพันธบัตรหมายถึงอาจจะต่ำหรือสูงขึ้นอยู่กับอัตราเริ่มต้นและการกู้คืนเป็นค่าเริ่มต้น ค่ามัธยฐานจะไม่สนใจทั้งหมดนี้!
  • ขอให้โชคดีที่อธิบายให้นักลงทุนของคุณ "ฉันรู้ว่ากองทุนของเราลดลง 40% ในปีนี้เพราะเกือบครึ่งหนึ่งเป็นพันธบัตรที่ถูกกู้คืนโดยไม่มีการกู้คืน แต่พันธบัตรค่ามัธยฐานของเราคืน 1%!"
• การคืนทุน:
  • สิ่งเดียวกันในสิ่งที่ตรงกันข้าม การลงทุนเฉลี่ยของ VC หรือแองเจิลเป็นสิ่งที่จับต้องไม่ได้และผลตอบแทนทั้งหมดมาจากผู้ชนะไม่กี่คน! (หมายเหตุ / คำเตือนด้านข้าง: การประเมินการลงทุนหรือผลตอบแทนภาคเอกชนเป็นปัญหาอย่างมาก ... ระวัง!)

เมื่อสร้างพอร์ทโฟลิโอที่หลากหลายตัดสินใจว่าจะลงทุนอะไรและเท่าไหร่ค่าเฉลี่ยและความแปรปรวนร่วมของผลตอบแทนมีแนวโน้มที่จะคำนึงถึงปัญหาการเพิ่มประสิทธิภาพของคุณอย่างเด่นชัด