เมื่อข้อมูลมีการแจกแจงแบบเกาส์ตัวอย่างจะมีลักษณะเป็นจำนวนเท่าใด

ข้อมูลแบบเกาส์กระจายในมิติเดียวต้องใช้พารามิเตอร์สองตัวในการอธิบายลักษณะ (ค่าเฉลี่ยความแปรปรวน) และข่าวลือมีว่าตัวอย่างที่เลือกแบบสุ่มประมาณ 30 ตัวอย่างเพียงพอที่จะประมาณค่าพารามิเตอร์เหล่านี้ แต่จะเกิดอะไรขึ้นเมื่อจำนวนมิติเพิ่มขึ้น

ในสองมิติ (เช่นความสูงน้ำหนัก) ใช้เวลา 5 พารามิเตอร์ในการระบุวงรี "ที่ดีที่สุด" ในสามมิตินี้เพิ่มขึ้นเป็น 9 พารามิเตอร์เพื่ออธิบายรูปวงรีและใน 4 มิติใช้เวลา 14 พารามิเตอร์ ฉันสนใจที่จะทราบว่าจำนวนตัวอย่างที่จำเป็นในการประมาณค่าพารามิเตอร์เหล่านี้ยังเพิ่มขึ้นในอัตราที่เทียบเคียงในอัตราที่ช้ากว่าหรือ (โปรดอย่า!) ในอัตราที่สูงขึ้น ยังดีกว่าถ้ามีกฎของหัวแม่มือยอมรับในวงกว้างที่แนะนำจำนวนตัวอย่างที่จำเป็นในการจำแนกลักษณะการแจกแจงแบบเกาส์ในจำนวนมิติที่กำหนดนั่นจะเป็นการดีที่จะรู้

หากต้องการแม่นยำยิ่งขึ้นสมมติว่าเราต้องการกำหนดขอบเขต "แบบที่เหมาะสมที่สุด" แบบสมมาตรซึ่งมีศูนย์กลางอยู่ที่จุดเฉลี่ยภายในซึ่งเรามั่นใจได้ว่า 95% ของตัวอย่างทั้งหมดจะลดลง ฉันต้องการทราบจำนวนตัวอย่างที่ใช้ในการค้นหาพารามิเตอร์เพื่อประมาณขอบเขตนี้ (ช่วงเวลาใน 1-D, วงรีใน 2-D, ฯลฯ ) ด้วยความมั่นใจสูง (> 95%) และความแตกต่างของจำนวนนั้น จำนวนมิติเพิ่มขึ้น

จำนวนข้อมูลที่ต้องใช้ในการประมาณค่าพารามิเตอร์ของการแจกแจงหลายตัวแปรปกติภายในความถูกต้องที่ระบุไว้กับความเชื่อมั่นที่กำหนดไม่แตกต่างกันไปตามมิติสิ่งอื่น ๆ ทั้งหมดก็เหมือนกัน ดังนั้นคุณอาจใช้กฎง่ายๆสำหรับสองมิติกับปัญหามิติที่สูงขึ้นโดยไม่มีการเปลี่ยนแปลงเลย

ทำไมจึงเป็นเช่นนั้น? มีพารามิเตอร์สามชนิดเท่านั้น: หมายถึงความแปรปรวนและความแปรปรวนร่วม n ดังนั้นเมื่อมีการแจกแจงปกติหลายตัวแปรและมีความแปรปรวนดังนั้นการประมาณของและขึ้นอยู่กับและเท่านั้น ดังนั้นเพื่อให้เกิดความถูกต้องเพียงพอในการประมาณทั้งหมด , เราจะต้องพิจารณาจำนวนของข้อมูลที่จำเป็นสำหรับการมีที่ใหญ่ที่สุดของ( X 1 , X 2 , … , X d ) X i σ 2 i E [ X i ] σ i n E [ X i ] X i σ i d σ $n$$(X_1, X_2, \ldots, X_d)$$X_i$$\sigma_i^2$$\mathbb{E[X_i]}$$\sigma_i$$n$$\mathbb{E}[X_i]$$X_i$$\sigma_i$. ดังนั้นเมื่อเราพิจารณาการต่อเนื่องของปัญหาการประมาณค่าสำหรับการเพิ่มมิติสิ่งที่เราต้องพิจารณาคือใหญ่ที่สุดจะเพิ่มขึ้นเมื่อพารามิเตอร์เหล่านี้มีขอบเขตด้านบนเราสรุปได้ว่าปริมาณข้อมูลที่ต้องการไม่ขึ้นอยู่กับขนาด$d$$\sigma_i$

ข้อพิจารณาที่คล้ายกันนำไปใช้กับการประมาณค่าความแปรปรวนและ covariances : ถ้าจำนวนข้อมูลเพียงพอสำหรับการประมาณหนึ่งความแปรปรวนร่วม (หรือสัมประสิทธิ์สหสัมพันธ์) กับความถูกต้องที่ต้องการ ค่าพารามิเตอร์ - จำนวนเดียวกันของข้อมูลที่จะพอเพียงสำหรับการประเมินใด ๆแปรปรวนหรือค่าสัมประสิทธิ์สหสัมพันธ์ σ ฉัน$\sigma_i^2$$\sigma_{ij}$

เพื่อแสดงและให้การสนับสนุนเชิงประจักษ์สำหรับการโต้แย้งนี้มาศึกษาแบบจำลองบางอย่าง ต่อไปนี้สร้างพารามิเตอร์สำหรับการแจกแจงแบบพหุคูณของมิติข้อมูลที่ระบุดึงชุดเวกเตอร์ที่กระจายแบบอิสระจำนวนมากจากการแจกแจงนั้นประมาณค่าพารามิเตอร์จากตัวอย่างแต่ละตัวอย่างและสรุปผลลัพธ์ของการประมาณพารามิเตอร์เหล่านั้นในแง่ของ (1) ค่าเฉลี่ย - - เพื่อแสดงให้เห็นว่าพวกเขาไม่มีอคติ (และรหัสทำงานอย่างถูกต้อง - และ (2) ส่วนเบี่ยงเบนมาตรฐานของพวกเขาซึ่งวัดปริมาณความถูกต้องของการประมาณการ (อย่าสับสนระหว่างค่าเบี่ยงเบนมาตรฐานเหล่านี้ การวนซ้ำของการจำลองโดยใช้ค่าเบี่ยงเบนมาตรฐานเพื่อกำหนดการแจกแจงพหุคูณพื้นฐาน!$d$การเปลี่ยนแปลงโดยมีเงื่อนไขว่าการเปลี่ยนแปลงเราไม่แนะนำความแปรปรวนขนาดใหญ่ในการแจกแจงพหุคูณพื้นฐาน$d$

ขนาดของผลต่างของการกระจายต้นแบบจะถูกควบคุมในการจำลองนี้โดยการทำให้ค่าเฉพาะที่ใหญ่ที่สุดของความแปรปรวนเมทริกซ์เท่ากับ1สิ่งนี้จะช่วยรักษาความหนาแน่นของความน่าจะเป็น "เมฆ" ภายในขอบเขตเมื่อมิติเพิ่มขึ้นไม่ว่ารูปร่างของคลาวด์นี้จะเป็นอย่างไร การจำลองพฤติกรรมของระบบในแบบจำลองอื่น ๆ เมื่อขนาดเพิ่มขึ้นสามารถสร้างขึ้นได้ง่ายๆโดยการเปลี่ยนวิธีการสร้างค่าลักษณะเฉพาะ ตัวอย่างหนึ่ง (โดยใช้การแจกแจงแกมมา) จะแสดงความคิดเห็นในรหัสด้านล่าง$1$R

สิ่งที่เรากำลังมองหาคือการตรวจสอบว่าค่าเบี่ยงเบนมาตรฐานของการประมาณการพารามิเตอร์ไม่เปลี่ยนแปลงเมื่อประเมินมิติมีการเปลี่ยนแปลง ดังนั้นผมจึงแสดงผลสำหรับสองขั้ว,และ , ใช้จำนวนเงินเดียวกันของข้อมูล ( ) ในทั้งสองกรณี เป็นที่น่าสังเกตว่าจำนวนของพารามิเตอร์ที่ประเมินเมื่อเท่ากับนั้นสูงกว่าจำนวนของเวกเตอร์ ( ) และสูงกว่าแม้แต่ตัวเลขแต่ละตัว ( ) ในชุดข้อมูลทั้งหมดd = 2 d = 60 30 d = 60 1890 30 30 ∗ 60 = $d$$d=2$$d=60$$30$$d=60$$1890$$30$$30*60=1800$

ขอเริ่มต้นด้วยสองมิติ, 2 มีห้าพารามิเตอร์: สองตัวแปร (พร้อมค่าเบี่ยงเบนมาตรฐานและในการจำลองนี้), ความแปรปรวนร่วม (SD = ) และสองวิธี (SD =และ ) ด้วยการจำลองสถานการณ์ที่แตกต่างกัน (หาได้โดยการเปลี่ยนค่าเริ่มต้นของเมล็ดสุ่ม) เหล่านี้จะแตกต่างกันเล็กน้อย แต่พวกเขาอย่างสม่ำเสมอจะมีขนาดใกล้เคียงเมื่อขนาดตัวอย่างnตัวอย่างเช่นในการจำลองครั้งถัดไป SDs มีค่า , , ,และ0.097 0.182 0.126 0.11 0.15 n = 30 0.014 0.263 0.043 0.04 $d=2$$0.097$$0.182$$0.126$$0.11$$0.15$$n=30$$0.014$$0.263$$0.043$$0.04$$0.18$ตามลำดับ: พวกเขาเปลี่ยนไปทั้งหมด แต่มีขนาดใกล้เคียงกัน

(ข้อความเหล่านี้สามารถได้รับการสนับสนุนทางทฤษฎี แต่ประเด็นที่นี่คือเพื่อให้การสาธิตเชิงประจักษ์อย่างหมดจด)

ตอนนี้เราย้ายไป , การรักษาขนาดของกลุ่มตัวอย่างที่ nโดยเฉพาะนี่หมายความว่าแต่ละตัวอย่างประกอบด้วยเวกเตอร์แต่ละอันมีส่วนประกอบตัว แทนที่จะแสดงค่าเบี่ยงเบนมาตรฐานทั้งหมดลองดูรูปของพวกมันโดยใช้ฮิสโตแกรมเพื่อแสดงช่วงของพวกมันn = 30 30 60 $d=60$$n=30$$30$$60$$1890$

Scatterplots ในแถวบนสุดเปรียบเทียบพารามิเตอร์จริงsigma( ) และ( ) กับค่าเฉลี่ยโดยประมาณในระหว่างการทำซ้ำในการจำลองนี้ เส้นอ้างอิงสีเทาทำเครื่องหมายตำแหน่งของความเท่าเทียมกันที่สมบูรณ์แบบ: การประมาณกำลังทำงานอย่างชัดเจนและเป็นกลางμ 10 $\sigma$mu$\mu$$10^4$

ฮิสโทแกรมปรากฏในแถวด้านล่างแยกต่างหากสำหรับรายการทั้งหมดในเมทริกซ์ความแปรปรวนร่วม (ซ้าย) และสำหรับวิธี (ขวา) เอกสารความปลอดภัยของบุคคลที่แปรปรวนมีแนวโน้มที่จะอยู่ระหว่างและในขณะที่ SDS ของcovariancesระหว่างแยกส่วนประกอบมีแนวโน้มที่จะอยู่ระหว่างและ : ว่าในช่วงที่ประสบความสำเร็จเมื่อ 2 ในทำนองเดียวกัน SDS ของประมาณการเฉลี่ยมีแนวโน้มที่จะอยู่ระหว่างและซึ่งเทียบได้กับสิ่งที่ถูกมองเมื่อ 2 แน่นอนไม่มีข้อบ่งชี้ว่า SDs เพิ่มขึ้นเป็น0.12 0.04 0.08 d = 2 0.08 0.13 d = 2 d 2 $0.08$$0.12$$0.04$$0.08$$d=2$$0.08$$0.13$$d=2$$d$ขึ้นไปจากที่จะ60$2$$60$

รหัสดังต่อไปนี้

#
# Create iid multivariate data and do it `n.iter` times.
#
sim <- function(n.data, mu, sigma, n.iter=1) {
  #
  # Returns arrays of parmeter estimates (distinguished by the last index).
  #
  library(MASS) #mvrnorm()
  x <- mvrnorm(n.iter * n.data, mu, sigma)
  s <- array(sapply(1:n.iter, function(i) cov(x[(n.data*(i-1)+1):(n.data*i),])), 
        dim=c(n.dim, n.dim, n.iter))
  m <-array(sapply(1:n.iter, function(i) colMeans(x[(n.data*(i-1)+1):(n.data*i),])), 
            dim=c(n.dim, n.iter))
  return(list(m=m, s=s))
}
#
# Control the study.
#
set.seed(17)
n.dim <- 60
n.data <- 30    # Amount of data per iteration
n.iter <- 10^4  # Number of iterations
#n.parms <- choose(n.dim+2, 2) - 1
#
# Create a random mean vector.
#
mu <- rnorm(n.dim)
#
# Create a random covariance matrix.
#
#eigenvalues <- rgamma(n.dim, 1)
eigenvalues <- exp(-seq(from=0, to=3, length.out=n.dim)) # For comparability
u <- svd(matrix(rnorm(n.dim^2), n.dim))$u
sigma <- u %*% diag(eigenvalues) %*% t(u)
#
# Perform the simulation.
# (Timing is about 5 seconds for n.dim=60, n.data=30, and n.iter=10000.)
#
system.time(sim.data <- sim(n.data, mu, sigma, n.iter))
#
# Optional: plot the simulation results.
#
if (n.dim <= 6) {
  par(mfcol=c(n.dim, n.dim+1))
  tmp <- apply(sim.data$s, 1:2, hist)
  tmp <- apply(sim.data$m, 1, hist)
}
#
# Compare the mean simulation results to the parameters.
#
par(mfrow=c(2,2))
plot(sigma, apply(sim.data$s, 1:2, mean), main="Average covariances")
abline(c(0,1), col="Gray")
plot(mu, apply(sim.data$m, 1, mean), main="Average means")
abline(c(0,1), col="Gray")
#
# Quantify the variability.
#
i <- lower.tri(matrix(1, n.dim, n.dim), diag=TRUE)
hist(sd.cov <- apply(sim.data$s, 1:2, sd)[i], main="SD covariances")
hist(sd.mean <- apply(sim.data$m, 1, sd), main="SD means")
#
# Display the simulation standard deviations for inspection.
#
sd.cov
sd.mean

ตัวเลขสั้น ๆ บางค่าให้การแจกแจงข้อผิดพลาดต่อไปนี้สำหรับตัวอย่าง 30 ตัวอย่างที่สร้างขึ้นจากการแจกแจงแบบปกติมาตรฐาน

ควอไทล์จะถูกระบุ สันนิษฐานว่าต้องการการเปลี่ยนแปลงในระดับนี้ในกรณีที่มีหลายมิติ

ฉันไม่มีเวลาที่จะเอาชนะ MatLab เพื่อให้ได้ผลลัพธ์ทั้งหมดดังนั้นฉันจะแบ่งปัน "กฎง่ายๆ" ของฉัน 30 ถูกจัดให้เป็นกฎของหัวแม่มือหรือฮิวริสติกดังนั้นจึงสันนิษฐานว่าฮิวริสติกไม่เป็นที่ยอมรับ

ฮิวริสติกของฉันคือใช้สามเหลี่ยมของปาสคาลคูณด้วยกรณีที่ไม่แปร

ถ้าฉันใช้ข้อมูล 2d จากนั้นฉันไปที่แถวที่ 2 แล้วหาผลรวมเพื่อรับ 2x จำนวนตัวอย่างหรือ 60 ตัวอย่าง สำหรับข้อมูล 3 มิติฉันไปที่แถวที่ 3 แล้วหาผลรวมเพื่อให้ได้จำนวนตัวอย่าง 4 เท่าหรือ 120 ตัวอย่าง สำหรับข้อมูล 5d ฉันไปที่แถวที่ 5 แล้วหาผลรวมเพื่อให้ได้ 16x จำนวนตัวอย่างหรือ 480 ตัวอย่าง

ขอให้โชคดี

แก้ไข:

มันง่าย แต่ทุกอย่างจะต้องได้รับการปกป้องในวิชาคณิตศาสตร์ ฉันไม่สามารถก้าวกระโดดจากการกำหนดรูปแบบพหุนามจาก Finite Elements ที่มีประสบการณ์มาเพื่อสร้างสนามเบสบอล

สมการของผลรวมของแถวของสามเหลี่ยมปาสคาลเป็น k 2 k$k^{th}$$2^k$

ความคิดของฉันสำหรับวิธีการที่นี่คือการเปรียบเทียบ AIC ของการกระจายมิติที่สูงขึ้นด้วยตัวอย่างที่มากขึ้นเพื่อลดการกระจายมิติที่มีตัวอย่างน้อยลง

เกณฑ์ข้อมูล Akaike (AIC) ถูกกำหนดเป็นโดยที่เป็นผลรวมที่เหลือของสแควร์สคือจำนวนตัวอย่างและคือจำนวนพารามิเตอร์สำหรับแบบจำลอง . RSSn$AIC = n \log( \frac {RSS}{n}) + 2*k$$RSS$$n$$k$

$AIC_1 = AIC_2$

$n_1 \log(\frac {RSS_1}{n_1}) +2k_1 = n_2 \log(\frac {RSS_2}{n_2}) +2k_2$

สำหรับแต่ละมิติที่เรากำจัดนี่หมายความว่าค่าเฉลี่ยสูญเสียแถวและค่าความแปรปรวนร่วมสูญเสียทั้งแถวและคอลัมน์ เราสามารถระบุสิ่งนี้เป็น

$k \left( d\right)= d^2+d$ D

ของ

$k \left( d+1 \right) - k \left( d\right) = 2 d + 2$

สมมติว่าข้อผิดพลาดต่อจุดตัวอย่างเป็นค่าคงที่เกี่ยวข้องกับผลรวมที่เหลือของกำลังสองกับจำนวนตัวอย่างและคำในลอการิทึมคงที่ ความแตกต่างในการนับตัวอย่างจะกลายเป็นค่าคงที่การปรับสเกล

ดังนั้นเราจึงมี:

$n_1 A +2(k_2+2d+2) = n_2 A +2k_2$

การแก้เพื่อเพิ่มตัวอย่างที่มีมิติจะช่วยให้:

$n_2- n_1 = (2(k_2+2d+2) - 2k_2) A^{-1} = (4 d+4 ) \cdot A^{-1}$

ฟังก์ชันการปรับสเกลคืออะไร สมมติว่าสำหรับ Gaussian 2 มิติหลายตัวแปรจำนวนตัวอย่างที่ต้องการคือ 15 ต่อพารามิเตอร์ มีค่าเฉลี่ย 2 และ 4 องค์ประกอบของความแปรปรวนร่วมดังนั้น 6 พารามิเตอร์หรือ 90 ตัวอย่าง ความแตกต่างคือ 60 ตัวอย่างค่าของ5 $A^{-1} = 5$

ณ จุดนี้ฉันจะบอกว่าฮิวริสติกเริ่มน้อยลง แต่จบลงด้วยการเป็น 2x เท่าจำนวนตัวอย่างที่ต้องการ ช่วงของยูทิลิตี้ที่ดีที่สุดในความเห็นส่วนตัวของฉันอยู่ที่ประมาณ 4 มิติหรือมากกว่านั้น

แก้ไข:

ดังนั้นฉันได้อ่านคำตอบของ @whuber และฉันชอบมัน มันเป็นเชิงประจักษ์และในกรณีนี้ที่มีสิทธิ์ ฉันโหวตให้กับคำตอบของเขา

ในตอนต่อไปนี้ฉันพยายามพูดคุยและหวังว่าจะสามารถใช้อักขระได้มากกว่า 300 ตัวและฉันหวังว่าจะสามารถฝังรูปภาพได้ ฉันกำลังคุยกันภายในขอบเขตของคำตอบ ฉันหวังว่ามันจะโอเค

ฉันมาถึงจุดนี้ไม่เชื่อว่าการใช้ AIC สำหรับเรื่องนี้หรือวิธีการใช้ขนาดตัวอย่างและขนาดพารามิเตอร์ไม่ถูกต้อง

ขั้นตอนถัดไป:

• ทำซ้ำผลลัพธ์ของ @ whuber ยืนยันยืนยัน
• ทดสอบ AIC อย่างน้อยก็ในบางแง่มุมเพื่อยืนยันว่ามันเหมาะสมหรือไม่
• หาก AIC เหมาะสมแล้วให้ลองใช้วิธีเชิงประจักษ์เพื่อไล่ข้อบกพร่องในการให้เหตุผล

ความคิดเห็นและข้อเสนอแนะยินดีต้อนรับ