อะไรคือชื่อของวิธีการประมาณความหนาแน่นที่คู่ที่เป็นไปได้ทั้งหมดถูกใช้เพื่อสร้างการกระจายแบบผสมปกติ?

ฉันแค่คิดถึงวิธีที่เป็นระเบียบเรียบร้อย (ไม่จำเป็นต้องดี) ในการสร้างความหนาแน่นมิติหนึ่งและคำถามของฉันคือ:

วิธีการประมาณความหนาแน่นนี้มีชื่อหรือไม่? ถ้าไม่ใช่มันเป็นกรณีพิเศษของวิธีอื่นในวรรณคดีหรือไม่?

นี่คือวิธีการที่เรามีเวกเตอร์ซึ่งเราสันนิษฐานว่ามาจากการแจกแจงที่ไม่รู้จักที่เราต้องการประเมิน วิธีการทำเช่นนี้คือการใช้ค่าที่เป็นไปได้ทั้งหมดในXและสำหรับแต่ละคู่[ x i , x j ] i ≠ jเหมาะสมกับการแจกแจงแบบปกติโดยใช้โอกาสสูงสุด การประมาณความหนาแน่นของผลลัพธ์คือการกระจายตัวของส่วนผสมที่ประกอบด้วย Normals ที่ได้ทั้งหมดซึ่งแต่ละ Normal จะได้รับน้ำหนักเท่ากัน$X = [x_1,x_2,...,x_n]$$X$$[x_i,x_j]_{i \neq j}$

รูปด้านล่างแสดงให้เห็นถึงการใช้วิธีนี้ในเวกเตอร์ ] ที่นี่วงกลมคือ datapoints, Normals สีคือการแจกแจงความน่าจะเป็นสูงสุดที่ประมาณโดยใช้แต่ละคู่ที่เป็นไปได้และเส้นสีดำหนาแสดงการประมาณความหนาแน่นที่เกิดขึ้น (นั่นคือการกระจายตัวของผสม)$[-1.3,0.15,0.73,1.4]$

โดยวิธีการมันเป็นเรื่องง่ายมากที่จะใช้วิธีการใน R ที่ดึงตัวอย่างจากการกระจายของผลผสม:

# Generating some "data"
x <- rnorm(30)

# Drawing from the density estimate using the method described above.
density_estimate_sample <- replicate(9999, {
  pair <- sample(x, size = 2)
  rnorm(1, mean(pair), sd(pair))
})

# Plotting the density estimate compared with 
# the "data" and the "true" density.
hist(x ,xlim=c(-5, 5), main='The "data"')
hist(density_estimate_sample, xlim=c(-5, 5), main='Estimated density')
hist(rnorm(9999), xlim=c(-5, 5), main='The "true" density')

นี่เป็นแนวคิดที่น่าสนใจเนื่องจากตัวประมาณค่าความเบี่ยงเบนมาตรฐานดูเหมือนจะมีความอ่อนไหวต่อค่าผิดปกติน้อยกว่าวิธีเข้าใกล้ค่าเฉลี่ยกำลังสอง อย่างไรก็ตามฉันสงสัยว่าตัวประมาณนี้ได้รับการเผยแพร่แล้ว มีเหตุผลสามประการด้วยกัน: มันไม่มีประสิทธิภาพในการคำนวณ, มันมีอคติและแม้ว่าเมื่ออคติถูกแก้ไขแล้วมันก็ไม่มีประสิทธิภาพทางสถิติ (แต่มีเพียงเล็กน้อย) สิ่งเหล่านี้สามารถเห็นได้ด้วยการวิเคราะห์เบื้องต้นเล็กน้อยดังนั้นลองทำก่อนแล้วจึงหาข้อสรุป

การวิเคราะห์

$\mu$$\sigma$$(x_i, x_j)$

$$\hat\mu(x_i,x_j) = \frac{x_i+x_j}{2}$$

และ

$$\hat\sigma(x_i,x_j) = \frac{|x_i-x_j|}{2}.$$

ดังนั้นวิธีที่อธิบายไว้ในคำถามคือ

$$\hat\mu(x_1, x_2, \ldots, x_n) = \frac{2}{n(n-1)} \sum_{i\gt j} \frac{x_i+x_j}{2} = \frac{1}{n}\sum_{i=1}^nx_i,$$

ซึ่งเป็นตัวประมาณค่าเฉลี่ยของและ

$$\hat\sigma(x_1, x_2, \ldots, x_n) = \frac{2}{n(n-1)}\sum_{i\gt j}\frac{|x_i-x_j|}{2} = \frac{1}{n(n-1)}\sum_{i,j}|x_i-x_j|.$$

$E = \mathbb{E}(|x_i-x_j|)$$i$$j$

$$\mathbb{E}(\hat\sigma(x_1, x_2, \ldots, x_n)) = \frac{1}{n(n-1)}\sum_{i,j}\mathbb{E}(|x_i-x_j|) = E.$$

$x_i$$x_j$$2\sigma^2$$\sqrt{2}\sigma$$\chi(1)$$\sqrt{2/\pi}$

$$E = \frac{2}{\sqrt{\pi}} \sigma.$$

$2/\sqrt{\pi} \approx 1.128$

$\hat\sigma$

สรุปผลการวิจัย

1. $\hat\sigma$$n=20,000$

   

2. $\sum_{i,j}|x_i-x_j|$$O(n^2)$$O(n)$$n$$10,000$R. (บนแพลตฟอร์มอื่น ๆ ความต้องการ RAM จะน้อยกว่ามากอาจเสียค่าใช้จ่ายเล็กน้อยในเวลาการคำนวณ)

3. มันไม่มีประสิทธิภาพทางสถิติ เพื่อให้มันมีการแสดงที่ดีที่สุดลองพิจารณารุ่นที่ไม่เอนเอียงแล้วเปรียบเทียบกับรุ่นที่ไม่มีอคติของกำลังสองน้อยที่สุดหรือตัวประมาณความน่าจะเป็นสูงสุด

   $$\hat\sigma_{OLS} = \sqrt{\left(\frac{1}{n-1} \sum_{i=1}^n \left(x_i - \hat\mu\right)^2\right)} \frac{(n-1)\Gamma((n-1)/2)}{2\Gamma(n/2)}.$$

   R$n=3$$n=300$$\hat\sigma_{OLS}$$\sigma$

ภายหลัง

$\hat\sigma$

---

รหัส

sigma <- function(x) sum(abs(outer(x, x, '-'))) / (2*choose(length(x), 2))
#
# sigma is biased.
#
y <- rnorm(1e3) # Don't exceed 2E4 or so!
mu.hat <- mean(y)
sigma.hat <- sigma(y)

hist(y, freq=FALSE,
     main="Biased (dotted red) and Unbiased (solid blue) Versions of the Estimator",
     xlab=paste("Sample size of", length(y)))
curve(dnorm(x, mu.hat, sigma.hat), col="Red", lwd=2, lty=3, add=TRUE)
curve(dnorm(x, mu.hat, sqrt(pi/4)*sigma.hat), col="Blue", lwd=2, add=TRUE)
#
# The variance of sigma is too large.
#
N <- 1e4
n <- 10
y <- matrix(rnorm(n*N), nrow=n)
sigma.hat <- apply(y, 2, sigma) * sqrt(pi/4)
sigma.ols <- apply(y, 2, sd) / (sqrt(2/(n-1)) * exp(lgamma(n/2)-lgamma((n-1)/2)))

message("Mean of unbiased estimator is ", format(mean(sigma.hat), digits=4))
message("Mean of unbiased OLS estimator is ", format(mean(sigma.ols), digits=4))
message("Variance of unbiased estimator is ", format(var(sigma.hat), digits=4))
message("Variance of unbiased OLS estimator is ", format(var(sigma.ols), digits=4))
message("Efficiency is ", format(var(sigma.ols) / var(sigma.hat), digits=4))