ฉันกำลังทำการทดลองที่ฉันรวบรวมตัวอย่าง (อิสระ) แบบขนานฉันคำนวณความแปรปรวนของกลุ่มตัวอย่างแต่ละกลุ่มและตอนนี้ฉันต้องการรวมแล้วทั้งหมดเพื่อค้นหาความแปรปรวนรวมของตัวอย่างทั้งหมด

ฉันมีเวลายากที่จะหาที่มาของเรื่องนี้เพราะฉันไม่แน่ใจว่าคำศัพท์ ฉันคิดว่ามันเป็นพาร์ติชันของ RV หนึ่งอัน

ดังนั้นฉันต้องการหา$Var(X)$จาก$Var(X_1)$ , $Var(X_2)$ , ... , และ$Var(X_n)$โดยที่$X$ = $[X_1, X_2, \dots, X_n]$ ]

แก้ไข: พาร์ทิชันไม่ได้มีขนาด / cardinality เดียวกัน แต่ผลรวมของขนาดพาร์ทิชันเท่ากับจำนวนตัวอย่างในชุดตัวอย่างโดยรวม

แก้ไข 2: มีสูตรสำหรับการคำนวณแบบขนานที่นี่แต่ครอบคลุมเฉพาะกรณีของพาร์ติชันเป็นสองชุดไม่ใช่ชุด$n$

สูตรนั้นค่อนข้างตรงไปตรงมาหากตัวอย่างย่อยทั้งหมดมีขนาดตัวอย่างเท่ากัน หากคุณมีตัวอย่างย่อยของขนาดk (สำหรับตัวอย่างทั้งหมดg k ) ความแปรปรวนของตัวอย่างรวมขึ้นอยู่กับค่าเฉลี่ยE jและความแปรปรวนV jของแต่ละตัวอย่างย่อย: V a r ( X 1 , … , X g k ) = k - $g$$k$$gk$$E_j$$V_j$โดยที่VR(EJ)หมายถึงความแปรปรวนของหมายถึงตัวอย่าง

$$Var(X_1,\ldots,X_{gk}) = \frac{k-1}{gk-1}(\sum_{j=1}^g V_j + \frac{k(g-1)}{k-1} Var(E_j)),$$ $Var(E_j)$

การสาธิตใน R:

> x <- rnorm(100)
> g <- gl(10,10)
> mns <- tapply(x, g, mean)
> vs <- tapply(x, g, var)
> 9/99*(sum(vs) + 10*var(mns))
[1] 1.033749
> var(x)
[1] 1.033749

หากขนาดตัวอย่างไม่เท่ากันสูตรจะไม่ดี

แก้ไข: สูตรสำหรับขนาดตัวอย่างที่ไม่เท่ากัน

หากมีตัวอย่างย่อยแต่ละชิ้นมีk j , j = 1 , … ,องค์ประกอบgสำหรับผลรวมของn = ∑ k jค่าจากนั้น V a r $g$$k_j, j=1,\ldots,g$$n=\sum{k_j}$ ที่ ˉ X =(∑ g j = 1

$$Var(X_1,\ldots,X_{n}) = \frac{1}{n-1}\left(\sum_{j=1}^g (k_j-1) V_j + \sum_{j=1}^g k_j (\bar{X}_j - \bar{X})^2\right),$$ คือค่าเฉลี่ยถ่วงน้ำหนักของค่าเฉลี่ยทั้งหมด (และเท่ากับค่าเฉลี่ยของค่าทั้งหมด)$\bar{X} = (\sum_{j=1}^gk_j\bar{X}_j)/n$

อีกครั้งการสาธิต:

> k <- rpois(10, lambda=10)
> n <- sum(k)
> g <- factor(rep(1:10, k))
> x <- rnorm(n)
> mns <- tapply(x, g, mean)
> vs <- tapply(x, g, var)
> 1/(n-1)*(sum((k-1)*vs) + sum(k*(mns-weighted.mean(mns,k))^2))
[1] 1.108966
> var(x)
[1] 1.108966

$(X_{ji}-\bar{X})^2$$\bar{X}_j$$[(X_{ji}-\bar{X}_j)-(\bar{X}_j-\bar{X})]^2$

นี่เป็นเพียงส่วนเสริมของคำตอบของ aniko ที่มีภาพร่างคร่าวๆของรหัสต้นฉบับและรหัสไพ ธ อนบางส่วนดังนั้นเครดิตทั้งหมดไปที่ aniko

รากศัพท์

$X_j \in X = \{X_1, X_2, \ldots, X_g\}$$g$$k_j = |X_j|$

$$\begin{align*} E_j & = \mathrm{E}\left[X_j\right] = \frac{1}{k_j} \sum_{i=1}^{k_j} X_{ji}\\ V_j & = \mathrm{Var}\left[X_j\right] = \frac{1}{k_j-1} \sum_{i=1}^{k_j} (X_{ji} - E_j)^2 \end{align*}$$ respectively. If we set $n = \sum_{j=1}^g k_j$, the variance of the total dataset is given by: $$\begin{align*} \mathrm{Var}\left[X\right] & = \frac{1}{n-1} \sum_{j=1}^{g} \sum_{i=1}^{k_j} (X_{ji} - \mathrm{E}\left[X\right])^2 \\ & = \frac{1}{n-1} \sum_{j=1}^{g} \sum_{i=1}^{k_j} \big((X_{ji} - E_j) - (\mathrm{E}\left[X\right] - E_j)\big)^2 \\ & = \frac{1}{n-1} \sum_{j=1}^{g} \sum_{i=1}^{k_j} (X_{ji} - E_j)^2 - 2(X_{ji} - E_j)(\mathrm{E}\left[X\right] - E_j) + (\mathrm{E}\left[X\right] - E_j)^2 \\ & = \frac{1}{n-1} \sum_{j=1}^{g} (k_j - 1) V_j + k_j (\mathrm{E}\left[X\right] - E_j)^2. \end{align*}$$ If we have the same size $k$ for each part, i.e. $\forall j: k_j = k$, above formula simplifies to $$\begin{align*} \mathrm{Var}\left[X\right] & = \frac{1}{n-1} \sum_{j=1}^g (k-1) V_j + k(g-1) \mathrm{Var}\left[E_j\right] \\ & = \frac{k-1}{n-1} \sum_{j=1}^g V_j + \frac{k(g-1)}{k-1} \mathrm{Var}\left[E_j\right] \end{align*}$$

python code

The following python function works for arrays that have been splitted along the first dimension and implements the "more complex" formula for differently sized parts.

import numpy as np

def combine(averages, variances, counts, size=None):
    """
    Combine averages and variances to one single average and variance.

    # Arguments
        averages: List of averages for each part.
        variances: List of variances for each part.
        counts: List of number of elements in each part.
        size: Total number of elements in all of the parts.
    # Returns
        average: Average over all parts.
        variance: Variance over all parts.
    """
    average = np.average(averages, weights=counts)

    # necessary for correct variance in case of multidimensional arrays
    if size is not None:
        counts = counts * size // np.sum(counts, dtype='int')

    squares = (counts - 1) * variances + counts * (averages - average)**2
    return average, np.sum(squares) / (size - 1)

It can be used as follows:

# sizes k_j and n
ks = np.random.poisson(10, 10)
n = np.sum(ks)

# create data
x = np.random.randn(n, 20)
parts = np.split(x, np.cumsum(ks[:-1]))

# compute statistics on parts
ms = [np.mean(p) for p in parts]
vs = [np.var(p, ddof=1) for p in parts]

# combine and compare
combined = combine(ms, vs, ks, x.size)
numpied = np.mean(x), np.var(x, ddof=1)
distance = np.abs(np.array(combined) - np.array(numpied))
print('combined --- mean:{: .9f} - var:{: .9f}'.format(*combined))
print('numpied  --- mean:{: .9f} - var:{: .9f}'.format(*numpied))
print('distance --- mean:{: .5e} - var:{: .5e}'.format(*distance))