เหตุใดเลขคณิตจึงมีขนาดเล็กกว่าการแจกแจงจึงมีความหมายในการแจกแจงแบบล็อก - ปกติ

ดังนั้นฉันจึงมีการสร้างกระบวนการสุ่มเข้าสู่ระบบกระจายตามปกติตัวแปรสุ่มXนี่คือฟังก์ชันความหนาแน่นของความน่าจะเป็นที่สอดคล้องกัน:$X$

ผมอยากประมาณการกระจายตัวของการแจกแจงแบบเดิมสักครู่, สมมุติว่าช่วงเวลาที่ 1: ค่าเฉลี่ยเลขคณิต ในการทำเช่นนั้นฉันวาด 100 ตัวแปรสุ่ม 10,000 ครั้งเพื่อให้ฉันสามารถคำนวณค่าเฉลี่ยเลขคณิตได้ 10,000 ค่า

มีสองวิธีที่แตกต่างกันในการประมาณค่าเฉลี่ย (อย่างน้อยนั่นคือสิ่งที่ฉันเข้าใจ: ฉันอาจผิด):

1. โดยการคำนวณทางคณิตศาสตร์อย่างชัดเจนหมายถึงวิธีปกติ: $$\bar{X} = \sum_{i=1}^N \frac{X_i}{N}.$$
2. หรือโดยการประมาณและจากการแจกแจงปกติพื้นฐาน:จากนั้นค่าเฉลี่ยเป็นμ μ = N Σฉัน= 1ล็อก( X ฉัน$\sigma$$\mu$ˉ X =exp(μ+ $$\mu = \sum_{i=1}^N \frac{\log (X_i)}{N} \quad \sigma^2 = \sum_{i=1}^N \frac{\left(\log (X_i) - \mu\right)^2}{N}$$ $$\bar{X} = \exp(\mu + \frac{1}{2}\sigma^2).$$

ปัญหาคือว่าการกระจายที่สอดคล้องกับการประมาณการเหล่านี้แตกต่างกันอย่างเป็นระบบ:

"ธรรมดา" หมายถึง (แสดงเป็นเส้นประสีแดง) ให้ค่าที่ต่ำกว่าที่ได้มาจากรูปแบบเอ็กซ์โปเนนเชียล (เส้นธรรมดาสีเขียว) แม้ว่าจะมีการคำนวณทั้งสองวิธีในชุดข้อมูลเดียวกัน โปรดทราบว่าความแตกต่างนี้เป็นระบบ

ทำไมการกระจายเหล่านี้ไม่เท่ากัน?

ทั้งสองประมาณคุณกำลังเปรียบเทียบมีวิธีการในช่วงเวลาที่ประมาณการ (1) และเอมิลี่ (2) ให้ดูที่นี่ ทั้งสองมีความสอดคล้องกัน (ดังนั้นสำหรับขนาดใหญ่พวกเขาอยู่ในความรู้สึกบางอย่างที่ใกล้เคียงกับมูลค่าที่แท้จริง )$N$$\exp[\mu+1/2\sigma^2]$

สำหรับประมาณการ MM นี้เป็นผลโดยตรงของกฎหมายของจำนวนมากซึ่งบอกว่า (x_i) สำหรับ MLE ทฤษฎีบทการทำแผนที่แบบต่อเนื่องมีความหมายว่า ในขณะที่และ 2$\bar X\to_pE(X_i)$

$$\exp[\hat\mu+1/2\hat\sigma^2]\to_p\exp[\mu+1/2\sigma^2],$$ $\hat\mu\to_p\mu$$\hat\sigma^2\to_p\sigma^2$

อย่างไรก็ตาม MLE นั้นไม่ได้มีความเป็นกลาง

ในความเป็นจริงความไม่เท่าเทียมของเจนเซ่นบอกเราว่าสำหรับขนาดเล็ก MLE จะต้องถูกคาดหวังว่าจะลำเอียงขึ้นไป (ดูการจำลองด้านล่าง):และคือ (ในกรณีหลังเกือบ แต่มีอคติเล็กน้อยสำหรับเนื่องจากตัวประมาณค่าที่เป็นกลางโดย ) รู้จักกันดีว่าเป็นตัวประมาณค่าแบบไม่เอนเอียงของพารามิเตอร์ของการแจกแจงแบบปกติและ (ฉันใช้หมวกเพื่อระบุตัวประมาณค่า)$N$$\hat\mu$$\hat\sigma^2$$N=100$$N-1$$\mu$$\sigma^2$

ดังนั้น 2 เนื่องจากฟังก์ชันเลขชี้กำลังเป็นฟังก์ชันนูนนี่หมายความว่า $E(\hat\mu+1/2\hat\sigma^2)\approx\mu+1/2\sigma^2$

$$E[\exp(\hat\mu+1/2\hat\sigma^2)]>\exp[E(\hat\mu+1/2\hat\sigma^2)]\approx \exp[\mu+1/2\sigma^2]$$

ลองเพิ่มเป็นจำนวนที่มากขึ้นซึ่งควรจัดกึ่งกลางการแจกแจงรอบค่าที่แท้จริง$N=100$

ดูภาพประกอบ Monte Carlo นี้สำหรับใน R:$N=1000$

สร้างด้วย:

N <- 1000
reps <- 10000

mu <- 3
sigma <- 1.5
mm <- mle <- rep(NA,reps)

for (i in 1:reps){
  X <- rlnorm(N, meanlog = mu, sdlog = sigma)
  mm[i] <- mean(X)

  normmean <- mean(log(X))
  normvar <- (N-1)/N*var(log(X))
  mle[i] <- exp(normmean+normvar/2)
}
plot(density(mm),col="green",lwd=2)
truemean <- exp(mu+1/2*sigma^2)
abline(v=truemean,lty=2)
lines(density(mle),col="red",lwd=2,lty=2)

> truemean
[1] 61.86781

> mean(mm)
[1] 61.97504

> mean(mle)
[1] 61.98256

เราทราบว่าในขณะที่การแจกแจงทั้งสองตอนนี้ (มากกว่าหรือน้อยกว่า) อยู่ตรงกลางรอบค่าที่แท้จริง MLE ซึ่งตามปกติมักจะมีประสิทธิภาพมากกว่า$\exp(\mu+\sigma^2/2)$

เราสามารถแสดงให้เห็นอย่างชัดเจนว่าสิ่งนี้จะต้องเป็นเช่นนั้นโดยการเปรียบเทียบความแปรปรวนแบบซีโมติก คำตอบ CV ที่ดีมากนี้บอกเราว่าความแปรปรวนเชิงของ MLE คือ ขณะที่ตัวประมาณ MM โดยแอปพลิเคชันโดยตรงของ CLT ที่ใช้กับค่าเฉลี่ยตัวอย่างคือความแปรปรวนของการแจกแจงล็อก - ปกติ ที่สองมีขนาดใหญ่กว่าครั้งแรกเพราะ เป็นและ 0

$$V_t = (\sigma^2 + \sigma^4/2)\cdot \exp\left\{2(\mu + \frac 12\sigma^2)\right\},$$ ประสบการณ์{σ2}>1+σ2+σ4/2,ประสบการณ์(x)=Σ ∞ ฉัน= 0 xผม/ฉัน! σ2> $$\exp\left\{2(\mu + \frac 12\sigma^2)\right\}(\exp\{\sigma^2\}-1)$$ $$\exp\{\sigma^2\}>1+\sigma^2 + \sigma^4/2,$$ $\exp(x)=\sum_{i=0}^\infty x^i/i!$$\sigma^2>0$

เมื่อต้องการดูว่า MLE นั้นมีอคติสำหรับน้อยฉันจึงทำการจำลองซ้ำและ 50,000 ซ้ำเพื่อรับอคติจำลองดังนี้$N$N <- c(50,100,200,500,1000,2000,3000,5000)

เราจะเห็นว่า MLE แน่นอนลำเอียงอย่างจริงจังสำหรับขนาดเล็กและไม่มีข้อความผมประหลาดใจเล็ก ๆ น้อย ๆ เกี่ยวกับพฤติกรรมที่ผิดปกติค่อนข้างมีอคติของประมาณการ MM เป็นหน้าที่ของNอคติจำลองสำหรับขนาดเล็กสำหรับ MM อาจเกิดจากค่าผิดปกติที่ส่งผลกระทบต่อตัวประมาณ MM ที่ไม่ได้เข้าสู่ระบบมากกว่า MLE ในการจำลองสถานการณ์ครั้งเดียวการประมาณการที่ใหญ่ที่สุดกลายเป็นN N = $N$$N$$N=50$

> tail(sort(mm))
[1] 336.7619 356.6176 369.3869 385.8879 413.1249 784.6867
> tail(sort(mle))
[1] 187.7215 205.1379 216.0167 222.8078 229.6142 259.8727