เมทริกซ์การกระจายทั้งหมด (ภายในคลาส + ระหว่างคลาส)

ฉันเล่นซอกับวิธี PCA และ LDA และฉันติดอยู่ที่จุดหนึ่งฉันรู้สึกว่ามันง่ายมากจนฉันมองไม่เห็น

เมทริกการกระจายแบบกระจายภายในคลาส ( ) และระหว่างคลาส ( ) ถูกกำหนดเป็น: $S_W$ $S_B$

S_{W} = \sum_{i = 1}^{C} \sum_{t = 1}^{N} (x_{t}^{i} - μ_{i}) (x_{t}^{i} - μ_{i})^{T}

$S_W = \sum_{i=1}^C\sum_{t=1}^N(x_t^i - \mu_i)(x_t^i - \mu_i)^T$

S_{B} = \sum_{i = 1}^{C} N (μ_{i} - μ) (μ_{i} - μ)^{T}

$S_B = \sum_{i=1}^CN(\mu_i-\mu)(\mu_i-\mu)^T$

เมทริกซ์การกระจายทั้งหมดถูกกำหนดเป็น: $S_T$

S_{T} = \sum_{i = 1}^{C} \sum_{t = 1}^{N} (x_{t}^{i} - μ) (x_{t}^{i} - μ)^{T} = S_{W} + S_{B}

$S_T = \sum_{i=1}^C\sum_{t=1}^N(x_t^i - \mu)(x_t^i - \mu)^T = S_W + S_B$

โดยที่ C คือจำนวนคลาสและ N คือจำนวนตัวอย่างเป็นตัวอย่างคือค่าเฉลี่ยของคลาส,คือค่าเฉลี่ยโดยรวม $x$ $\mu_i$ $\mu$

ในขณะที่พยายามรับฉันมาถึงจุดที่ฉันมี: $S_T$

(x - μ_{i}) (μ_{i} - μ)^{T} + (μ_{i} - μ) (x - μ_{i})^{T}

$(x-\mu_i)(\mu_i-\mu)^T + (\mu_i-\mu)(x-\mu_i)^T$

เป็นคำ สิ่งนี้ต้องเป็นศูนย์ แต่ทำไม

อันที่จริง:

\begin{aligned} S_{T} & = \sum_{i = 1}^{C} \sum_{t = 1}^{N} (x_{t}^{i} - μ) (x_{t}^{i} - μ)^{T} \\ = \sum_{i = 1}^{C} \sum_{t = 1}^{N} (x_{t}^{i} - μ_{i} + μ_{i} - μ) (x_{t}^{i} - μ_{i} + μ_{i} - μ)^{T} \\ = S_{W} + S_{B} + \sum_{i = 1}^{C} \sum_{t = 1}^{N} [(x_{t}^{i} - μ_{i}) (μ_{i} - μ)^{T} + (μ_{i} - μ) (x_{t}^{i} - μ_{i})^{T}] \end{aligned}

$\begin{align} S_T &= \sum_{i=1}^C\sum_{t=1}^N(x_t^i - \mu)(x_t^i - \mu)^T \\ &= \sum_{i=1}^C\sum_{t=1}^N(x_t^i - \mu_i + \mu_i - \mu)(x_t^i - \mu_i + \mu_i - \mu)^T \\ &= S_W + S_B + \sum_{i=1}^C\sum_{t=1}^N\big[(x_t^i - \mu_i)(\mu_i - \mu)^T + (\mu_i - \mu)(x_t^i - \mu_i)^T\big] \end{align}$

discriminant-analysis

— nimcap
แหล่งที่มา

คำตอบก็คือคุณกำลังรวมส่วนเบี่ยงเบนของค่ารอบค่าเฉลี่ยของพวกเขาและผลรวมนั้นเป็นศูนย์ แต่สิ่งที่ได้อย่างแม่นยำเป็น ,และ ? วิธีการที่และเกี่ยวข้องกับและ ? คุณภาพของคำตอบนั้นขึ้นอยู่กับว่าเราคาดเดาได้อย่างแม่นยำเพียงใด แต่คุณกำลังบังคับให้เราต้องคาดเดามากมาย!

x

$x$

m

$m$

m_{i}

$m_i$

m

$m$

m_{i}

$m_i$

μ

$\mu$

μ_{i}

$\mu_i$

— whuber

@whuber: คุณถูกต้องทั้งหมดฉันแก้ไขคำถามของฉัน

— nimcap

ถ้าคุณคิด

\frac{1}{N} \sum_{t = 1}^{N} x_{t}^{i} = μ_{i}

$\frac{1}{N}\sum_{t=1}^Nx_t^{i}=\mu_i$

แล้วก็

\sum_{i = 1}^{C} \sum_{t = 1}^{N} (x_{t}^{i} - μ_{i}) (μ_{i} - μ)^{T} = \sum_{i = 1}^{C} (\sum_{t = 1}^{N} (x_{t}^{i} - μ_{i})) (μ_{i} - μ)^{T} = 0

$\sum_{i=1}^C\sum_{t=1}^N(x_t^i-\mu_i)(\mu_i-\mu)^T=\sum_{i=1}^C\left(\sum_{t=1}^N(x_t^i-\mu_i)\right)(\mu_i-\mu)^T=0$

และสูตรถือ คุณจัดการกับคำศัพท์ที่สองในทำนองเดียวกัน

— mpiktas
แหล่งที่มา

(+1) เทอมที่สองซึ่งเป็นทรานสโพสของแรกต้องเป็นศูนย์ :-)

— whuber

@whuber ใช่นั่นก็เหมือนกัน :)

— mpiktas

สวัสดีฉันไม่เข้าใจว่าทำไมการสันนิษฐานถึงถือได้ว่ามีใครอธิบายได้บ้าง

— Mvkt

@Mvkt มันไม่ได้เป็นข้อสันนิษฐานเท่าที่นิยามของฉันคิดว่า นั่นคือจะพูดว่า:เป็นค่าเฉลี่ยของการสังเกตในกลุ่มผมผมคาดว่าคำตอบที่ใช้ 'ถือว่า' เพราะ OP ไม่ได้อธิบายสัญกรณ์ดังนั้นเราจึงมีการคาดเดาว่าหมายถึงกลุ่มที่หมายโดย\

μ_{i}

$\mu_i$

μ_{i}

$\mu_i$

i

$i$

μ_{i}

$\mu_i$

— Vincent