นัยสำคัญทางสถิติของความแตกต่างระหว่างระยะทาง

ฉันมีเวกเตอร์มากกว่า 3,000 ตัวบนกริดสองมิติพร้อมการกระจายแบบไม่ต่อเนื่องโดยประมาณ เวกเตอร์คู่หนึ่งตอบสนองเงื่อนไขที่แน่นอน หมายเหตุ: เงื่อนไขนี้ใช้ได้กับคู่เวกเตอร์เท่านั้นไม่ใช่กับเวกเตอร์แต่ละตัว ฉันมีรายการประมาณ 1,500 คู่ดังกล่าวลองเรียกมันว่ากลุ่ม 1 กลุ่มที่ 2 มีคู่เวกเตอร์อื่น ๆ ทั้งหมด ฉันต้องการตรวจสอบว่าระยะห่างระหว่างเวกเตอร์ในคู่ในกลุ่ม 1 นั้นมีขนาดเล็กกว่าระยะทางเฉลี่ยระหว่างสองเวกเตอร์หรือไม่ ฉันจะทำสิ่งนั้นได้อย่างไร

การทดสอบทางสถิติ : ทฤษฎีบทขีด จำกัด กลางสามารถใช้กับกรณีของฉันได้หรือไม่? นั่นคือฉันสามารถใช้ตัวอย่างระยะทางและใช้การทดสอบ t ของนักเรียนเพื่อเปรียบเทียบวิธีของตัวอย่างที่ปฏิบัติตามเงื่อนไขด้วยวิธีการตัวอย่างที่ไม่ตรงตามเงื่อนไขหรือไม่ มิฉะนั้นการทดสอบทางสถิติใดที่เหมาะสมที่นี่

ขนาดตัวอย่างและจำนวนตัวอย่าง : ฉันเข้าใจว่ามีสองตัวแปรที่นี่สำหรับแต่ละกลุ่มสองฉันต้องใช้ตัวอย่างnขนาดmและหาค่าเฉลี่ยของตัวอย่างแต่ละตัวอย่าง มีวิธีใดหลักการในการเลือกnและm ? พวกเขาควรมีขนาดใหญ่ที่สุด หรือควรให้น้อยที่สุดเท่าที่จะเป็นไปได้ตราบใดที่พวกเขาแสดงนัยสำคัญทางสถิติ? พวกเขาควรจะเหมือนกันสำหรับแต่ละกลุ่มหรือไม่ หรือควรใหญ่กว่าสำหรับกลุ่ม 2 ซึ่งมีจำนวนคู่เวกเตอร์มากกว่านี้

คำถามที่ "แตกต่าง" อย่างมีนัยสำคัญเสมอให้สันนิษฐานรูปแบบทางสถิติสำหรับข้อมูลเสมอ คำตอบนี้เสนอหนึ่งในโมเดลทั่วไปที่สอดคล้องกับข้อมูลน้อยที่สุดที่มีในคำถาม ในระยะสั้นมันจะทำงานในหลายกรณี แต่อาจไม่ใช่วิธีที่ทรงพลังที่สุดในการตรวจจับความแตกต่าง

ข้อมูลสามด้านมีความสำคัญอย่างแท้จริง:รูปร่างของพื้นที่ที่ถูกครอบครองโดยจุดนั้น การกระจายของคะแนนภายในพื้นที่นั้น และกราฟที่เกิดจากจุดคู่ที่มี "เงื่อนไข" - ซึ่งฉันจะเรียกกลุ่ม "การรักษา" โดย "กราฟ" ฉันหมายถึงรูปแบบของจุดและการเชื่อมโยงระหว่างกันโดยนัยโดยจุดคู่ในกลุ่มการรักษา ตัวอย่างเช่นสิบจุดคู่ ("edge") ของกราฟอาจเกี่ยวข้องกับจุดที่แตกต่างกันถึง 20 จุดหรือน้อยกว่าห้าจุด ในกรณีก่อนไม่มีขอบสองจุดที่ใช้ร่วมกันในขณะที่ในกรณีหลังขอบประกอบด้วยคู่ที่เป็นไปได้ทั้งหมดระหว่างห้าจุด

$n=3000$$\sigma$$(v_i, v_j)$$(v_{\sigma(i)}, v_{\sigma(j)})$$3000!\approx 10^{21024}$พีชคณิต ถ้าเป็นเช่นนั้นระยะทางเฉลี่ยควรเทียบเคียงกับระยะทางเฉลี่ยที่ปรากฏในการเรียงสับเปลี่ยน เราอาจประมาณการกระจายตัวของระยะทางเฉลี่ยแบบสุ่มเหล่านั้นได้ง่ายพอสมควร

(เป็นที่น่าสังเกตว่าวิธีการนี้จะทำงานด้วยการปรับเปลี่ยนเพียงเล็กน้อยกับใด ๆระยะทางหรือปริมาณแน่นอนใด ๆ ที่เกี่ยวข้องใด ๆ กับคู่เป็นไปได้ทุกจุด. นอกจากนี้ยังจะทำงานให้สรุปของระยะทางใด ๆ ไม่ได้เป็นเพียงค่าเฉลี่ย.)

$n=100$$28$$100$$100-1$$39$$28$

$100$$28$

$10000$

การกระจายตัวตัวอย่างแตกต่างกัน:แม้ว่าโดยเฉลี่ยแล้วระยะทางเฉลี่ยเท่ากัน แต่ความแปรปรวนของระยะทางเฉลี่ยนั้นยิ่งใหญ่กว่าในกรณีที่สองเนื่องจากการพึ่งพาซึ่งกันและกันแบบกราฟิกระหว่างขอบ นี่คือเหตุผลหนึ่งที่ไม่มีทฤษฎีบทขีด จำกัด กลางที่ใช้งานง่าย: การคำนวณค่าเบี่ยงเบนมาตรฐานของการแจกแจงนี้เป็นเรื่องยาก

$n=3000$$1500$

$56$

โดยทั่วไปสัดส่วนของระยะทางเฉลี่ยจากทั้งการจำลองและกลุ่มการรักษาที่มีค่าเท่ากับหรือมากกว่าระยะทางเฉลี่ยในกลุ่มการรักษาสามารถนำมาเป็นค่า p ของการทดสอบการเปลี่ยนรูปแบบไม่ใช้พารามิเตอร์

นี่คือRรหัสที่ใช้ในการสร้างภาพประกอบ

n.vectors <- 3000
n.condition <- 1500
d <- 2              # Dimension of the space
n.sim <- 1e4        # Number of iterations
set.seed(17)
par(mfrow=c(2, 2))
#
# Construct a dataset like the actual one.
#
# `m` indexes the pairs of vectors with a "condition."
# `x` contains the coordinates of all vectors.
x <- matrix(runif(d*n.vectors), nrow=d)
x <- x[, order(x[1, ]+x[2, ])]
#
# Create two kinds of conditions and analyze each.
#
for (independent in c(TRUE, FALSE)) {
  if (independent) {
    i <- sample.int(n.vectors, n.condition)
    j <- sample.int(n.vectors-1, n.condition)
    j <- (i + j - 1) %% n.condition + 1
    m <- cbind(i,j)
  } else {
    u <- floor(sqrt(2*n.condition))
    v <- ceiling(2*n.condition/u)
    m <- as.matrix(expand.grid(1:u, 1:v))
    m <- m[m[,1] < m[,2], ]
  }
  #
  # Plot the configuration.
  #
  plot(t(x), pch=19, cex=0.5, col="Gray", asp=1, bty="n",
       main="The Data", xlab="X", ylab="Y",
       sub=paste(length(unique(as.vector(m))), "points"))
  invisible(apply(m, 1, function(i) lines(t(x[, i]), col="#80000040")))
  points(t(x[, unique(as.vector(m))]), pch=16, col="Red", cex=0.6)
  #
  # Precompute all distances between all points.
  #
  distances <- sapply(1:n.vectors, function(i) sqrt(colSums((x-x[,i])^2)))
  #
  # Compute the mean distance in any set of pairs.
  #
  mean.distance <- function(m, distances)
    mean(distances[m])
  #
  # Sample from the points using the same *pattern* in the "condition."
  # `m` is a two-column array pairing indexes between 1 and `n` inclusive.
  sample.graph <- function(m, n) {
    n.permuted <- sample.int(n, n)
    cbind(n.permuted[m[,1]], n.permuted[m[,2]])
  }
  #
  # Simulate the sampling distribution of mean distances for randomly chosen
  # subsets of a specified size.
  #
  system.time(
    sim <- replicate(n.sim, mean.distance(sample.graph(m, n.vectors), distances))
  stat <- mean.distance(m, distances)
  p.value <- 2 * min(mean(c(sim, stat) <= stat), mean(c(sim, stat) >= stat))

  hist(sim, freq=FALSE, 
       sub=paste("p-value:", signif(p.value, ceiling(log10(length(sim))/2)+1)),
       main="Histogram of mean distances", xlab="Distance")
  abline(v = stat, lwd=2, lty=3, col="Red")
}