มีช่วงความเชื่อมั่นที่ไม่ใช่พารามิเตอร์ที่เชื่อถือได้สำหรับค่าเฉลี่ยของการแจกแจงแบบเบ้หรือไม่?


30

การแจกแจงแบบเบ้อย่างมากเช่นบันทึกปกติไม่ส่งผลให้ช่วงความมั่นใจในการบูตที่ถูกต้องแม่นยำ นี่คือตัวอย่างที่แสดงว่าบริเวณหางด้านซ้ายและขวาอยู่ห่างจากอุดมคติในอุดมคติ 0.025 ไม่ว่าคุณจะลองใช้วิธีบูตสแตรปแบบใดใน R:

require(boot)
n    <- 25
B    <- 1000
nsim <- 1000
set.seed(1)
which <- c('basic', 'perc', 'norm', 'bca', 'stud')
mul <- 0; sdl <- 1.65   # on log scale
dist <- c('normal', 'lognormal')[2]
switch(dist, normal    = {g <- function(x) x; mu <- mul},
             lognormal = {g <- exp; mu <- exp(mul + sdl * sdl / 2)})
count <- matrix(0, nrow=length(which), ncol=2,
                dimnames=list(which, c('lower', 'upper')))
stat <- function(x, j) {
## See http://www.psychology.mcmaster.ca/bennett/boot09/percentileT.pdf
  x <- x[j]
  m <- mean(x)
  s <- sd(x)
  n <- length(x)
  sem <- s / sqrt(n)
  m.var <- sem ^ 2
  c(m, m.var)
}
for(i in 1 : nsim) {
  if(i %% 100 == 0) cat(i, '')
  x <- g(rnorm(n, mul, sdl))
  b  <- boot(x, stat, R=B)
  ci <- boot.ci(b, type=which)
  for(w in which) {
    nam <- switch(w, perc='percent', norm='normal', basic='basic',
                  stud='student', bca='bca')
    z <- rev(rev(ci[[nam]])[1:2])
    count[w, 'lower'] <- count[w, 'lower'] + (z[1] > mu)
    count[w, 'upper'] <- count[w, 'upper'] + (z[2] < mu)
  }
}
cat('\n')
count / nsim

ผลลัพธ์อยู่ด้านล่าง:

      lower upper
basic 0.000 0.329
perc  0.003 0.257
norm  0.000 0.287
bca   0.015 0.185
stud  0.005 0.129

สำหรับ bootstraps เดียวยังคงไม่ครอบคลุมเพียงพอแม่นยำ:n=400

      lower upper
basic 0.001 0.114
perc  0.005 0.093
norm  0.002 0.102
bca   0.017 0.067
stud  0.011 0.058

โอกาสเชิงประจักษ์ยังไม่สามารถให้ช่วงความเชื่อมั่นที่แม่นยำเมื่อสุ่มตัวอย่างจากการแจกแจงล็อกปกติ

มีวิธีการทั่วไปที่ไม่ได้ขึ้นอยู่กับการรู้การกระจายล่วงหน้าหรือไม่? มีใครพยายามรับช่วงความมั่นใจสำหรับค่าเฉลี่ยด้วยการปรับข้อมูลให้เหมาะกับการกระจายทั่วไปของ Tukey (การกระจายนี้มีความยืดหยุ่นสูง) แล้วการใช้ Kolmogorov-Smirnov กับกลุ่มความเชื่อมั่นของ CDF ล่ะ? การคำนวณค่าเฉลี่ยของขอบเขตบนและล่างของ CDF จะเป็นแบบอนุรักษ์นิยมอย่างน่ากลัวหรือไม่? ฉันจะชำระให้กับนักอนุรักษ์บางคนถ้าวิธีหนึ่งมีการบังคับใช้อย่างกว้างขวางλ

ในการย้ำเป้าหมายฉันกำลังมองหาวิธีการที่ใช้โดยทั่วไปในการรับช่วงความมั่นใจสำหรับประชากรหมายความว่า

  1. ช่วงเวลาไม่สมมาตรหากการแจกแจงข้อมูลดิบไม่สมมาตร
  2. ช่วงเวลามีความครอบคลุมที่ถูกต้องทั้งสองก้อย (เช่นความน่าจะเป็นข้อผิดพลาด 0.025 ทั้งคู่)
  3. ขั้นตอนไม่จำเป็นต้องมีนักวิเคราะห์เพื่อระบุอะไรเกี่ยวกับการแจกแจงพื้นฐานหรือการแปลงที่จำเป็นในการทำให้การกระจายสมมาตร

โปรดทราบว่าทฤษฎีบทขีด จำกัด กลางนั้นไม่เกี่ยวข้องที่นี่ ฉันมีตัวอย่างขนาดเล็กที่แน่นอนและช่วงความเชื่อมั่นจะต้องไม่สมดุลเพื่อความแม่นยำในหางทั้งสอง ช่วงความเชื่อมั่นแบบอิงพารามิเตอร์ภายใต้ตัวแบบ lognormal ที่มีและยังคงมีสัญญาณครอบคลุมไม่ดี (ข้อผิดพลาดหางซ้าย 0.012 ขวา 0.047 เมื่อทั้งคู่ควรเป็น 0.025)tμ=0,σ=1.65n=20000

ในการคิดต่อไปเกี่ยวกับสิ่งนี้มีสองวิธีในการคิดเกี่ยวกับปัญหาที่ฉันต้องการจะพูดคุย

  1. ค่าเฉลี่ยไม่ได้เป็นปริมาณที่ยืมตัวเองไปสู่การอนุมานแบบไม่มีพารามิเตอร์อย่างน้อยเมื่อจำเป็นต้องมีความแน่นอนของการอนุมาน ค่ามัธยฐานตัวอย่างมีความหมายสำหรับการแจกแจงแบบต่อเนื่องและเรามีช่วงความเชื่อมั่นที่ง่ายสำหรับค่ามัธยฐาน ในตัวอย่างขนาดจากการแจกแจงแบบปกติช่วงความมั่นใจสำหรับค่ามัธยฐานคือนานกว่าช่วงความเชื่อมั่น -based ที่แน่นอนสำหรับค่าเฉลี่ย (ดูรหัสด้านล่าง) บางทีปัจจัยนี้ที่ 1.28 อาจเป็นราคาที่สมเหตุสมผลที่จะจ่ายเพื่อความแข็งแกร่งและอิสรภาพในการกระจายที่สมบูรณ์n=201.28×t
  2. แม้ว่า bootstrap เดียวจะให้ขีด จำกัด ความเชื่อมั่นที่แม่นยำเพียงพอสำหรับตัวอย่างจากการแจกแจงแบบเบ้อย่างมาก แต่ bootstrap คู่สามารถปรับปรุงการครอบคลุมความมั่นใจในหางทั้งสองได้อย่างมีนัยสำคัญ Nankervisมีผลลัพธ์ที่ดีและให้อัลกอริธึมการคำนวณที่ยอดเยี่ยม แต่ไม่มีซอฟต์แวร์ใดที่ฉันสามารถหาใช้งานได้

รหัส R ที่แสดง 1. ด้านบน:

## Exact CI for median from DescTools package SignTest.default
## See also ttp://www.stat.umn.edu/geyer/old03/5102/notes/rank.pdf,
## http://de.scribd.com/doc/75941305/Confidence-Interval-for-Median-Based-on-Sign-Test
cimed <- function(x, alpha=0.05, na.rm=FALSE) {
  if(na.rm) x <- x[! is.na(x)]
  n <- length(x)
  k <- qbinom(p=alpha / 2, size=n, prob=0.5, lower.tail=TRUE)
  ## Actual CL: 1 - 2 * pbinom(k - 1, size=n, prob=0.5) >= 1 - alpha
  sort(x)[c(k, n - k + 1)]
}

n <- 20
m <- 20000
cil <- cilt <- 0
z <- qt(0.975, n - 1)

for(i in 1 : m) {
  x <- rnorm(n)
  cil  <- cil + diff(cimed(x))
  cilt <- cilt + 2 * z * sqrt(var(x) / n)
}
cil  <- cil / m
cilt <- cilt / m

c(cil, cilt, cilt / cil, cil / cilt)

1
นี่คือการคำนวณอย่างเข้มข้น แต่จะเกิดอะไรขึ้นถ้าคุณเอา cdf เชิงประจักษ์มาเริ่มสร้างสะพานบราวเนียนแบบสุ่ม Brownian Bridge แต่ละอันแสดงถึงเดลต้าระหว่าง ecdf และ cdf สมมุติบางตัว คำนวณค่าเฉลี่ยโดยใช้ cdf สมมุติและน้ำหนักตามปัจจัยที่กำหนดโดยการทดสอบ KS ทำซ้ำสิ่งนี้ซักพักคุณจะมีชุดข้อมูลถ่วงน้ำหนักและสามารถคำนวณช่วงความมั่นใจได้
Nir Friedman

ฉันไม่มี cdf สมมุติ และจะเกิดอะไรขึ้นถ้าคุณใช้พื้นที่ความเชื่อมั่นส่วนบนและส่วนล่างที่ต่ำกว่า 0.95 จาก KS และคำนวณค่าเฉลี่ยจากพวกเขานั่นคือนี่จะเป็นแบบอนุรักษ์นิยมอย่างน่ากลัว
Frank Harrell

cdf สมมุติถูกนำเสนอโดยการเพิ่มสะพานบราวเนียนที่สร้างแบบสุ่มไปยัง cdf เชิงประจักษ์ นอกจากนี้ฉันไม่แนะนำให้รับค่าเฉลี่ยจากเขตความมั่นใจ ฉันขอแนะนำให้ใช้วิธีการมากมายโดยการสร้างการแจกแจงตามสมมติฐานจำนวนมากถ่วงน้ำหนักอย่างเหมาะสมแล้วรับช่วงความมั่นใจ โดยทั่วไปเป็นเพียงวิธีการที่แตกต่างกันในการบูตสแตรปฉันคิดว่าผลลัพธ์อาจแตกต่างกัน
Nir Friedman

มันน่าสนใจที่จะเห็นว่ามันสามารถตั้งโปรแกรมได้อย่างมีประสิทธิภาพและความแม่นยำในการครอบคลุมช่วงความมั่นใจเป็นอย่างไร ขอบคุณสำหรับคำแนะนำ ฉันสงสัยว่า bootesrap แบบเบย์จะเลียนแบบนั้นหรือไม่ ฉันได้ลองใช้ bootstrap แบบเบย์ในบริบทอื่นและไม่ได้ปรับปรุงความครอบคลุมช่วงความมั่นใจ
Frank Harrell

คำตอบ:


11

ฉันค่อนข้างมองโลกในแง่ร้ายเกี่ยวกับวิธีการที่ไม่ใช้พารามิเตอร์เช่นอย่างน้อยก็ไม่มีข้อ จำกัด บางประการเกี่ยวกับการแจกแจงพื้นฐาน

เหตุผลของฉันสำหรับเรื่องนี้คือจะมีการแจกแจงที่แบ่งความน่าจะเป็นความครอบคลุมที่แท้จริงสำหรับใด ๆ ที่ จำกัด(แม้ว่าจะเป็นการกระจายนี้จะกลายเป็นพยาธิวิทยามากขึ้น) หรือช่วงความมั่นใจจะต้องว่าง ใหญ่.nn

เพื่อแสดงให้เห็นคุณสามารถจินตนาการการแจกแจงที่ดูเหมือนเป็นค่าปกติถึงค่าบางค่าแต่หลังจากกลายเป็นสิ่งที่ถูกต้องอย่างมาก สิ่งนี้สามารถมีอิทธิพลอย่างมากมายต่อค่าเฉลี่ยของการกระจายและเมื่อคุณกดออกไปให้ไกลที่สุดเท่าที่จะทำได้นี่อาจมีความน่าจะเป็นเพียงเล็กน้อยในการทำให้เป็นตัวอย่าง ดังนั้นคุณสามารถจินตนาการได้ว่าสำหรับใด ๆคุณสามารถเลือกให้ใหญ่จนทุกจุดในตัวอย่างของคุณมีความน่าจะเป็นสูงมากที่ดูเหมือนว่ามันมาจากการแจกแจงแบบปกติด้วยค่าเฉลี่ย = 0, sd = 1 แต่คุณสามารถ ยังมีใด ๆหมายถึงความจริงα α n ααααnα

ดังนั้นหากคุณกำลังมองหาความคุ้มครองเชิงซีมโทติคที่เหมาะสมแน่นอนว่า CLT สามารถทำได้ อย่างไรก็ตามคำถามของคุณบ่งบอกว่าคุณสนใจในขอบเขตที่แน่นอน (ค่อนข้างสมเหตุสมผล) ตามตัวอย่างของฉันจะมีกรณีทางพยาธิวิทยาที่ทำลายซาก CI ที่มีความยาว จำกัด

ตอนนี้คุณยังสามารถมี CI ที่ไม่ใช่พารามิเตอร์ที่ได้รับความครอบคลุมที่ดีโดยการเพิ่มข้อ จำกัด ในการกระจายของคุณ ตัวอย่างเช่นข้อ จำกัด การบันทึกเว้าเป็นข้อ จำกัด ที่ไม่ใช่พารามิเตอร์ อย่างไรก็ตามดูเหมือนว่าไม่เพียงพอสำหรับปัญหาของคุณเนื่องจากการบันทึกปกติไม่ใช่บันทึกการใช้งานเว้า

บางทีเพื่อช่วยแสดงให้เห็นว่าปัญหาของคุณนั้นยากเพียงใดฉันได้ทำการเผยแพร่ในข้อ จำกัด ที่ต่างออกไป: inverse convex (ถ้าคุณคลิกที่โปรไฟล์ของฉันฉันมีลิงค์ไปยังหน้าส่วนตัวที่มีการพิมพ์ล่วงหน้า) ข้อ จำกัด นี้รวมถึงส่วนใหญ่แต่ไม่ได้ทั้งหมด - มาตรฐานล็อก คุณยังสามารถเห็นได้ว่าสำหรับข้อ จำกัด นี้ก้อยอาจเป็น "หนักตามอำเภอใจ" นั่นคือสำหรับการกระจายตัวแบบผกผันใด ๆ จนถึงคุณสามารถมีก้อยมากพอที่ค่าเฉลี่ยจะมากเท่าที่คุณต้องการα


2
ความคิดที่ยอดเยี่ยม ฉันลังเลที่จะต้องใช้ข้อ จำกัด เหล่านั้นเพราะฉันเห็นการกระจายแบบ bimodal และความซับซ้อนอื่น ๆ มักจะเพียงพอ
Frank Harrell

1
@ FrankHarrell: มีการทำงานกับแบบจำลองการผสมที่มีส่วนประกอบที่ไม่ใช่พารามิเตอร์การบันทึกเว้า อย่างไรก็ตามฉันไม่สามารถจินตนาการได้ในเวลานี้ว่ามีวิธีการที่ดีในการสร้างความมั่นใจสำหรับค่าเฉลี่ยโดยรวมหากไม่ทราบจำนวนส่วนประกอบล่วงหน้า
หน้าผา AB

2

หนึ่งในสมมติฐานพื้นฐานของตัวอย่างใด ๆ คือการเป็นตัวแทน ยิ่งหางของการแจกแจงนานตัวอย่างเล็ก ๆ น้อย ๆ ก็น่าจะเป็นตัวแทนเพียงพอสำหรับวิธีการใด ๆ ที่จะแก้ปัญหาสำหรับ CI ได้อย่างน่าเชื่อถือเพราะตัวอย่างจะไม่สามารถแทนการกระจายได้

ตัวอย่างเช่นการเรียกใช้ perc CI แบบง่ายบนการแจกแจงแบบเอ็กซ์โปเนนเชียลด้วยขนาดตัวอย่าง 250 ให้ผลลัพธ์ที่ค่อนข้างโอเค พวกเขาดีกว่ากับตัวอย่าง 25 แต่ก็ยังไม่เหมาะ

ฉันเห็นด้วยกับ Cliff AB ว่าจะไม่มีวิธีการแก้ปัญหาทั่วไป แต่คุณไม่จำเป็นต้องตั้งสมมติฐานการกระจายตัวที่รุนแรง จะไม่มีสิ่งใดที่ใช้ได้กับตัวอย่างขนาดเล็กในวงกว้าง และในบางกรณีตัวอย่างอาจจะมีขนาดใหญ่มาก (แต่มันก็ดีที่จะผิด)

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.