เหตุใดเลขคณิตจึงมีขนาดเล็กกว่าการแจกแจงจึงมีความหมายในการแจกแจงแบบล็อก - ปกติ


13

ดังนั้นฉันจึงมีการสร้างกระบวนการสุ่มเข้าสู่ระบบกระจายตามปกติตัวแปรสุ่มXนี่คือฟังก์ชันความหนาแน่นของความน่าจะเป็นที่สอดคล้องกัน:X

รูปที่แสดงถึงฟังก์ชันความหนาแน่นของความน่าจะเป็นแบบ lognormal

ผมอยากประมาณการกระจายตัวของการแจกแจงแบบเดิมสักครู่, สมมุติว่าช่วงเวลาที่ 1: ค่าเฉลี่ยเลขคณิต ในการทำเช่นนั้นฉันวาด 100 ตัวแปรสุ่ม 10,000 ครั้งเพื่อให้ฉันสามารถคำนวณค่าเฉลี่ยเลขคณิตได้ 10,000 ค่า

มีสองวิธีที่แตกต่างกันในการประมาณค่าเฉลี่ย (อย่างน้อยนั่นคือสิ่งที่ฉันเข้าใจ: ฉันอาจผิด):

  1. โดยการคำนวณทางคณิตศาสตร์อย่างชัดเจนหมายถึงวิธีปกติ:
    X¯=i=1NXiN.
  2. หรือโดยการประมาณและจากการแจกแจงปกติพื้นฐาน:จากนั้นค่าเฉลี่ยเป็นμ μ = N Σฉัน= 1ล็อก( X ฉัน )σμˉ X =exp(μ+1
    μ=i=1Nlog(Xi)Nσ2=i=1N(log(Xi)μ)2N
    X¯=exp(μ+12σ2).

ปัญหาคือว่าการกระจายที่สอดคล้องกับการประมาณการเหล่านี้แตกต่างกันอย่างเป็นระบบ:

ตัวประมาณค่าสองตัวให้การแจกแจงที่แตกต่างกันดังที่แสดงในภาพ

"ธรรมดา" หมายถึง (แสดงเป็นเส้นประสีแดง) ให้ค่าที่ต่ำกว่าที่ได้มาจากรูปแบบเอ็กซ์โปเนนเชียล (เส้นธรรมดาสีเขียว) แม้ว่าจะมีการคำนวณทั้งสองวิธีในชุดข้อมูลเดียวกัน โปรดทราบว่าความแตกต่างนี้เป็นระบบ

ทำไมการกระจายเหล่านี้ไม่เท่ากัน?


สิ่งที่เป็นพารามิเตอร์ที่แท้จริงของคุณสำหรับและ ? μσ
Christoph Hanck

μ=3และแต่โปรดทราบว่าฉันสนใจในการประมาณค่าพารามิเตอร์เหล่านี้ดังนั้นวิธีการของ Monte-Carlo แทนที่จะคำนวณจากตัวเลขดิบเหล่านี้ σ=1.5
JohnW

แน่นอนว่านี่เป็นเพียงการจำลองผลลัพธ์ของคุณ
Christoph Hanck

4
น่าสนใจว่าปรากฏการณ์นี้ไม่มีส่วนเกี่ยวข้องกับ lognormality ตัวเลขบวกได้รับกับลอการิทึมมันเป็นที่รู้จักกันดีของพวกเขามีค่าเฉลี่ยเลขคณิต (AM)จะไม่น้อยกว่าค่าเฉลี่ยเรขาคณิตของพวกเขา (GM)n) ในทิศทางอื่น ๆ ที่นจะไม่สูงกว่าจีเอ็มคูณด้วยที่คือความแปรปรวนของy_iดังนั้นเส้นโค้งสีแดงประจะต้องอยู่ทางด้านซ้ายของเส้นโค้งสีเขียวทึบสำหรับการกระจายตัวของผู้ปกครองใด ๆ (อธิบายตัวเลขสุ่มบวก) xiyixi/nexp(yi/n)exp(sy2/2)sy2yi
whuber

หากค่าเฉลี่ยส่วนใหญ่มาจากความน่าจะเป็นที่น้อยมากของค่าเฉลี่ยเลขคณิตตัวอย่าง จำกัด อาจดูเบาค่าเฉลี่ยของประชากรที่มีความน่าจะเป็นสูง (ในความคาดหมายมันไม่เอนเอียง แต่มีความน่าจะเป็นที่ต่ำและคาดว่าจะมีขนาดเล็กกว่ามาก) คำถามนี้อาจเกี่ยวข้องกับคำถามนี้: stats.stackexchange.com/questions/214733/ …
Matthew Gunn

คำตอบ:


12

ทั้งสองประมาณคุณกำลังเปรียบเทียบมีวิธีการในช่วงเวลาที่ประมาณการ (1) และเอมิลี่ (2) ให้ดูที่นี่ ทั้งสองมีความสอดคล้องกัน (ดังนั้นสำหรับขนาดใหญ่พวกเขาอยู่ในความรู้สึกบางอย่างที่ใกล้เคียงกับมูลค่าที่แท้จริง )Nexp[μ+1/2σ2]

สำหรับประมาณการ MM นี้เป็นผลโดยตรงของกฎหมายของจำนวนมากซึ่งบอกว่า (x_i) สำหรับ MLE ทฤษฎีบทการทำแผนที่แบบต่อเนื่องมีความหมายว่า ในขณะที่และ 2X¯pE(Xi)

exp[μ^+1/2σ^2]pexp[μ+1/2σ2],
μ^pμσ^2pσ2

อย่างไรก็ตาม MLE นั้นไม่ได้มีความเป็นกลาง

ในความเป็นจริงความไม่เท่าเทียมของเจนเซ่นบอกเราว่าสำหรับขนาดเล็ก MLE จะต้องถูกคาดหวังว่าจะลำเอียงขึ้นไป (ดูการจำลองด้านล่าง):และคือ (ในกรณีหลังเกือบ แต่มีอคติเล็กน้อยสำหรับเนื่องจากตัวประมาณค่าที่เป็นกลางโดย ) รู้จักกันดีว่าเป็นตัวประมาณค่าแบบไม่เอนเอียงของพารามิเตอร์ของการแจกแจงแบบปกติและ (ฉันใช้หมวกเพื่อระบุตัวประมาณค่า)Nμ^σ^2N=100N1μσ2

ดังนั้น 2 เนื่องจากฟังก์ชันเลขชี้กำลังเป็นฟังก์ชันนูนนี่หมายความว่า E(μ^+1/2σ^2)μ+1/2σ2

E[exp(μ^+1/2σ^2)]>exp[E(μ^+1/2σ^2)]exp[μ+1/2σ2]

ลองเพิ่มเป็นจำนวนที่มากขึ้นซึ่งควรจัดกึ่งกลางการแจกแจงรอบค่าที่แท้จริงN=100

ดูภาพประกอบ Monte Carlo นี้สำหรับใน R:N=1000

ป้อนคำอธิบายรูปภาพที่นี่

สร้างด้วย:

N <- 1000
reps <- 10000

mu <- 3
sigma <- 1.5
mm <- mle <- rep(NA,reps)

for (i in 1:reps){
  X <- rlnorm(N, meanlog = mu, sdlog = sigma)
  mm[i] <- mean(X)

  normmean <- mean(log(X))
  normvar <- (N-1)/N*var(log(X))
  mle[i] <- exp(normmean+normvar/2)
}
plot(density(mm),col="green",lwd=2)
truemean <- exp(mu+1/2*sigma^2)
abline(v=truemean,lty=2)
lines(density(mle),col="red",lwd=2,lty=2)

> truemean
[1] 61.86781

> mean(mm)
[1] 61.97504

> mean(mle)
[1] 61.98256

เราทราบว่าในขณะที่การแจกแจงทั้งสองตอนนี้ (มากกว่าหรือน้อยกว่า) อยู่ตรงกลางรอบค่าที่แท้จริง MLE ซึ่งตามปกติมักจะมีประสิทธิภาพมากกว่าexp(μ+σ2/2)

เราสามารถแสดงให้เห็นอย่างชัดเจนว่าสิ่งนี้จะต้องเป็นเช่นนั้นโดยการเปรียบเทียบความแปรปรวนแบบซีโมติก คำตอบ CV ที่ดีมากนี้บอกเราว่าความแปรปรวนเชิงของ MLE คือ ขณะที่ตัวประมาณ MM โดยแอปพลิเคชันโดยตรงของ CLT ที่ใช้กับค่าเฉลี่ยตัวอย่างคือความแปรปรวนของการแจกแจงล็อก - ปกติ ที่สองมีขนาดใหญ่กว่าครั้งแรกเพราะ เป็นและ 0

Vt=(σ2+σ4/2)exp{2(μ+12σ2)},
ประสบการณ์{σ2}>1+σ2+σ4/2,ประสบการณ์(x)=Σฉัน= 0 xผม/ฉัน! σ2>0
exp{2(μ+12σ2)}(exp{σ2}1)
exp{σ2}>1+σ2+σ4/2,
exp(x)=i=0xi/i!σ2>0

เมื่อต้องการดูว่า MLE นั้นมีอคติสำหรับน้อยฉันจึงทำการจำลองซ้ำและ 50,000 ซ้ำเพื่อรับอคติจำลองดังนี้NN <- c(50,100,200,500,1000,2000,3000,5000)

ป้อนคำอธิบายรูปภาพที่นี่

เราจะเห็นว่า MLE แน่นอนลำเอียงอย่างจริงจังสำหรับขนาดเล็กและไม่มีข้อความผมประหลาดใจเล็ก ๆ น้อย ๆ เกี่ยวกับพฤติกรรมที่ผิดปกติค่อนข้างมีอคติของประมาณการ MM เป็นหน้าที่ของNอคติจำลองสำหรับขนาดเล็กสำหรับ MM อาจเกิดจากค่าผิดปกติที่ส่งผลกระทบต่อตัวประมาณ MM ที่ไม่ได้เข้าสู่ระบบมากกว่า MLE ในการจำลองสถานการณ์ครั้งเดียวการประมาณการที่ใหญ่ที่สุดกลายเป็นN N = 50NNN=50

> tail(sort(mm))
[1] 336.7619 356.6176 369.3869 385.8879 413.1249 784.6867
> tail(sort(mle))
[1] 187.7215 205.1379 216.0167 222.8078 229.6142 259.8727 

อ่าโอเค. มันไม่ได้เกิดขึ้นกับฉันเลยว่าวิธีหนึ่งอาจมีประสิทธิภาพมากกว่าวิธีอื่นที่ให้ข้อมูลเดียวกัน ดังนั้นฉันสามารถพูดได้ว่าวิธีแก้ปัญหา MLE จะมาบรรจบกันได้เร็วขึ้นเมื่อเทียบกับมากกว่าวิธีอื่นถ้าฉันเข้าใจอย่างถูกต้อง ขอบคุณ! N
JohnW

1
ฉันแก้ไขเรื่องอคติเล็กน้อยแล้ว สำหรับอคติย่อมเป็นเชิงลบสำหรับประมาณการ MM แต่ที่ดูเหมือนจะไม่เหมือนผลทั่วไปเห็นพล็อตอคติเป็นหน้าที่ของNNN=100N
Christoph Hanck

2
ฉันก็แปลกใจเหมือนกันที่มีความแตกต่างกันมากระหว่างสองวิธีนี้ แต่ตัวอย่างนี้เหมาะอย่างยิ่งที่จะแสดงให้เห็นว่าทำไม "เพียงแค่สิ่งเฉลี่ย" จึงแย่มาก!
JohnW

1
@ JohnW ฉันเพิ่มคำอธิบายการวิเคราะห์เล็กน้อยว่าทำไม MLE จึงมีความแปรปรวนน้อยลง
Christoph Hanck

1
ความคลาดเคลื่อนนั้นเกิดจากข้อเท็จจริงที่ว่าอคตินั้นเป็นปัญหาตัวอย่าง จำกัด นั่นคือมันหายตัวไปเมื่อหายไปเป็นอนันต์ ความแปรปรวน asymptotic (เป็นชื่อที่กล่าวว่า) เปรียบเทียบแสดงเฉพาะสิ่งที่เกิดขึ้นในขีด จำกัด เช่นNN →การNN
Christoph Hanck
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.