ทำไมตัวหารของตัวประมาณความแปรปรวนร่วมไม่ควรเป็น n-2 แทนที่จะเป็น n-1

36

ตัวหารของตัวประมาณค่าความแปรปรวน (ไม่เอนเอียง) คือเนื่องจากมีการสังเกตและมีการประมาณเพียงหนึ่งพารามิเตอร์เท่านั้น $n-1$ $n$

V (X) = \frac{\sum_{i = 1}^{n} {(X_{i} - \bar{X})}^{2}}{n - 1}

$\mathbb{V}\left(X\right)=\frac{\sum_{i=1}^{n}\left(X_{i}-\overline{X}\right)^{2}}{n-1}$

ในทำนองเดียวกันฉันสงสัยว่าทำไมตัวหารความแปรปรวนร่วมไม่ควรเป็นเมื่อมีการประมาณสองพารามิเตอร์? $n-2$

C o v (X, Y) = \frac{\sum_{i = 1}^{n} (X_{i} - \bar{X}) (Y_{i} - \bar{Y})}{n - 1}

$\mathbb{Cov}\left(X, Y\right)=\frac{\sum_{i=1}^{n}\left(X_{i}-\overline{X}\right)\left(Y_{i}-\overline{Y}\right)}{n-1}$

— MYaseen208
แหล่งที่มา

15

หากคุณไม่ว่าคุณจะมีสองคำจำกัดความขัดแย้งสำหรับแปรปรวนหนึ่งจะเป็นสูตรแรกและอื่น ๆ จะเป็นสูตรที่สองนำไปใช้กับ X

Y = X

$Y=X$

— whuber

3

ค่าเฉลี่ย bi / หลายตัวแปร (ความคาดหวัง) คือหนึ่งไม่ใช่พารามิเตอร์ 2 ตัว

— ttnphns

14

@ttnphns ไม่เป็นความจริง: ค่าเฉลี่ยของตัวแปรที่เห็นได้ชัดคือสองพารามิเตอร์เนื่องจากต้องการจำนวนจริงสองตัวเพื่อแสดง (อันที่จริงมันเป็นหนึ่งเวกเตอร์พารามิเตอร์ แต่พูดเท่านั้นดังนั้นปลอมความเป็นจริงมันมีสององค์ประกอบ.) นี้แสดงให้เห็นอย่างชัดเจนขึ้นในองศาอิสระสำหรับการทดสอบ T-pooled แปรปรวนเช่นที่ถูกลบออกไม่ได้1สิ่งที่น่าสนใจเกี่ยวกับคำถามนี้คือวิธีที่มันเผยให้เห็นว่าคลุมเครือไม่น่ารักและอาจทำให้เข้าใจผิดคือ "คำอธิบาย" ทั่วไปที่เราลบจากเนื่องจากมีการประมาณพารามิเตอร์หนึ่งตัว

2

$2$

1

$1$

1

$1$

n

$n$

— whuber

@whuber คุณพูดถูก ถ้ามันเป็นแค่ (การสังเกตอย่างอิสระ) ซึ่งสำคัญเราจะไม่ใช้จ่ายdfมากขึ้นในการทดสอบหลายตัวแปรมากกว่าในการทดสอบหลายตัวแปร

n

$n$

— ttnphns

3

@whuber: ฉันอาจจะบอกว่ามันแสดงให้เห็นว่าสิ่งที่นับเป็น "พารามิเตอร์" ขึ้นอยู่กับสถานการณ์ ในกรณีนี้ความแปรปรวนจะคำนวณจากการสังเกต $n$ และดังนั้นการสังเกตแต่ละครั้ง - หรือค่าเฉลี่ยทั้งหมด - สามารถมองเห็นเป็นพารามิเตอร์เดียวแม้ว่ามันจะเป็นค่าหลายตัวแปรตามที่ ttnphns กล่าว อย่างไรก็ตามในกรณีอื่น ๆ เมื่อเช่นการทดสอบพิจารณาการรวมกันเชิงเส้นของมิติแต่ละมิติของการสังเกตแต่ละครั้งจะกลายเป็น "พารามิเตอร์" คุณถูกต้องว่านี่เป็นปัญหาที่ยุ่งยาก

— อะมีบากล่าวว่า Reinstate Monica

31

Covariances เป็นผลต่าง

ตั้งแต่โดยโพลาไรเซชันเอกลักษณ์

Cov (X, Y) = Var (\frac{X + Y}{2}) - Var (\frac{X - Y}{2}),

$\newcommand{\c}{\text{Cov}}\newcommand{\v}{\text{Var}} \c(X,Y) = \v\left(\frac{X+Y}{2}\right) - \v\left(\frac{X-Y}{2}\right),$

ตัวส่วนจะต้องเหมือนกัน

— whuber
แหล่งที่มา

20

กรณีพิเศษควรให้สัญชาตญาณคุณ คิดเกี่ยวกับสิ่งต่อไปนี้:

\hat{C o v} (X, X) = \hat{V} (X)

$\hat{\mathbb{Cov}}\left(X, X\right)= \hat{\mathbb{V}}\left(X\right)$

คุณมีความสุขที่หลังเนื่องจาก การแก้ไข Bessel $\frac{\sum_{i=1}^{n}\left(X_{i}-\overline{X}\right)^{2}}{n-1}$

แต่แทนที่ด้วยในสำหรับอดีตให้ดังนั้นตอนนี้คุณคิดว่าอะไรที่ดีที่สุดควรเติมในช่องว่าง? $Y$ $X$ $\hat{\mathbb{Cov}}\left(X, Y\right)$ $\frac{\sum_{i=1}^{n}\left(X_{i}-\overline{X}\right)\left(X_{i}-\overline{X}\right)}{\text{mystery denominator}}$

— สีเงิน
แหล่งที่มา

1

ตกลง. แต่ OP อาจถามว่า "ทำไมต้องพิจารณา cov (X, X) และ cov (X, Y) ให้อยู่ในตรรกะหนึ่งบรรทัดทำไมคุณถึงแทนที่ Y เป็น X ใน cov () flippantly? cov (X, Y) สถานการณ์แตกต่างกันอย่างไร " คุณไม่ได้หลีกเลี่ยงในขณะที่คำตอบ (upvoted สูง) ควรจะมีในความประทับใจของฉัน :-)

— ttnphns

7

คำตอบที่รวดเร็วและสกปรก ... ลองพิจารณาก่อน หากคุณมีข้อสังเกตค่าที่คาดว่าจะได้คุณจะใช้เพื่อประเมินความแปรปรวน $\text{var}(X)$ $n$ $E(X) = 0$ ${1\over n}\sum_{i=1}^n X_i^2$

มูลค่าที่คาดว่าจะเป็นที่ไม่รู้จักคุณสามารถเปลี่ยนของคุณสังเกตเข้ามาในข้อสังเกตที่มีมูลค่าที่คาดว่าจะเป็นที่รู้จักกันโดยการสำหรับ n คุณจะได้สูตรที่มีในตัวส่วนอย่างไรก็ตามนั้นไม่ได้เป็นอิสระและคุณต้องคำนึงถึงเรื่องนี้ด้วย ในตอนท้ายคุณจะพบสูตรปกติ $n$ $n-1$ $A_i = X_i - X_1$ $i = 2, \dots,n$ $n-1$ $A_i$

ทีนี้สำหรับความแปรปรวนร่วมคุณสามารถใช้แนวคิดเดียวกันได้: หากค่าคาดหวังของเท่ากับคุณจะได้ในสูตร ด้วยการลบไปยังค่าที่สังเกตได้ทั้งหมดคุณจะได้รับสังเกตด้วยค่าที่คาดไว้ที่รู้จัก ... และในสูตร - อีกครั้งสิ่งนี้แนะนำการพึ่งพาบางอย่าง บัญชี. $(X,Y)$ $(0,0)$ ${1\over n}$ $(X_1,Y_1)$ $n-1$ ${1\over n-1}$

ป.ล.วิธีที่สะอาดในการทำเช่นนั้นคือการเลือกพื้นฐานแบบดั้งเดิมของ , นั่นคือเวกเตอร์นั้น $\big\langle (1, \dots, 1)' \big\rangle^{\perp}$ $n-1$ $c_1, \dots, c_{n-1} \in \mathbb R^n$

$\sum_j c_{ij}^2 = 1$ สำหรับทุก , $i$
$\sum_j c_{ij} = 0$ สำหรับทุก , $i$
$\sum_j c_{i_1j} c_{i_2j} = 0$ สำหรับทุกI_2 $i_1 \ne i_2$

จากนั้นคุณสามารถกำหนดตัวแปรและY_j มีความเป็นอิสระได้คาดว่ามูลค่าและมีความแปรปรวนเดียวกัน / แปรปรวนกว่าตัวแปรเดิม $n-1$ $A_i = \sum_j c_{ij} X_j$ $B_i = \sum_j c_{ij} Y_j$ $(A_i,B_i)$ $(0,0)$

ประเด็นทั้งหมดคือถ้าคุณต้องการกำจัดความคาดหวังที่ไม่รู้จักคุณทิ้งการสังเกต (และเพียงหนึ่ง) ใช้งานได้เหมือนกันสำหรับทั้งสองกรณี

— เอลวิส
แหล่งที่มา

6

นี่คือข้อพิสูจน์ว่าตัวประมาณค่าความแปรปรวนร่วม p-variate กับตัวส่วนเป็นตัวประมาณค่าที่เป็นกลางของเมทริกซ์ความแปรปรวนร่วม: $\frac{1}{n-1}$

$x' = (x_1,...,x_p)$ x_p)

$\Sigma= E((x-\mu)(x-\mu)')$

$S = \frac{1}{n} \sum (x_i - \bar{x})(x_i - \bar{x})'$

วิธีแสดง: $E(S) = \frac{n-1}{n}\Sigma$

พิสูจน์: $S= \frac{1}{n}\sum x_ix_i' - \bar{x}\bar{x}'$

ต่อไป:

(1) $E(x_ix_i') = \Sigma + \mu\mu'$

(2) $E(\bar{x}\bar{x}') = \frac{1}{n} \Sigma+ \mu\mu'$

ดังนั้น: $E(S) = \Sigma + \mu\mu' - (\frac{1}{n} \Sigma+ \mu\mu') = \frac{n-1}{n} \Sigma$

และเพื่อให้กับส่วนสุดท้ายเป็นที่เป็นกลาง องค์ประกอบแนวทแยงมุมของคือกลุ่มตัวอย่างส่วนบุคคลของคุณ $S_u = \frac{n}{n-1}S$ $\frac{1}{n-1}$ $S_u$

ข้อสังเกตเพิ่มเติม:

n ดึงเป็นอิสระ ใช้ใน (2) เพื่อคำนวณความแปรปรวนร่วมของค่าเฉลี่ยตัวอย่าง
ขั้นตอน (1) และ (2) ใช้ข้อเท็จจริงที่ว่า $Cov(x)= E[xx']-\mu\mu'$
ขั้นตอนที่ (2) ใช้ความจริงที่ว่า $Cov(\bar{x})= \frac{1}{n}\Sigma$

— statchrist
แหล่งที่มา

ความยากลำบากอยู่ในขั้นตอนที่ 2! :)

— Elvis

@ Elvis มันยุ่ง เราจำเป็นต้องใช้กฎ Cov (X + Y, Z) = Cov (X, Z) + Cov (Y, Z) และรับรู้ว่าการจับรางวัลที่แตกต่างนั้นเป็นอิสระ จากนั้นก็คือการสรุปความแปรปรวนร่วม n คูณและลดขนาดลง 1 / n²

— statchrist

4

ฉันเดาวิธีหนึ่งในการสร้างสัญชาตญาณที่อยู่เบื้องหลังโดยใช้ 'n-1' และไม่ใช่ 'n-2' คือ - สำหรับการคำนวณความแปรปรวนร่วมเราไม่จำเป็นต้องตัดค่าเฉลี่ยทั้ง X และ Y แต่อย่างใดอย่างหนึ่ง

$\ sum (X- \ mu_x) (Y - \ mu_y) = \ sum (X- \ mu_x) Y \ \ \ หรือ \ \ \ \ รวม (Y- \ mu_y) X$

— Uditg_ucla
แหล่งที่มา

คุณช่วยอธิบายรายละเอียดเกี่ยวกับวิธีการที่จะทำให้เกิดคำถามเกี่ยวกับตัวหารที่จะใช้ได้อย่างไร ความสัมพันธ์เกี่ยวกับพีชคณิตในหลักฐานเกิดขึ้นจากข้อเท็จจริงที่ว่าส่วนที่เหลือสัมพันธ์กับผลรวมเฉลี่ยเป็นศูนย์ แต่อย่างใดจะเงียบเกี่ยวกับตัวส่วนที่เกี่ยวข้อง

— whuber

5

ฉันมาที่นี่เพราะฉันมีคำถามเดียวกับ OP ฉันคิดว่าคำตอบนี้อยู่ที่ nub ของประเด็น @whuber ชี้ให้เห็นข้างต้นว่ากฎของ thumb คือ df ~ = n - (พารามิเตอร์ที่ประมาณ) สามารถ "คลุมเครือไม่น่าดึงดูดและอาจทำให้เข้าใจผิด" สิ่งนี้ชี้ให้เห็นความจริงที่ว่าดูเหมือนว่าคุณจะต้องประมาณสองพารามิเตอร์ (xbar และ ybar) แต่คุณจะประมาณเพียงหนึ่งพารามิเตอร์ (xbar หรือ ybar) เท่านั้น เนื่องจาก df ควรเหมือนกันในทั้งสองกรณีจึงต้องต่ำกว่าของทั้งสอง ฉันคิดว่านั่นเป็นเจตนาที่นี่

— mpettis

1

1) เริ่มต้นDF $df=2n$

2) ความแปรปรวนตัวอย่างเป็นสัดส่วนกับ{Y}) เสียสอง ; จากคนหนึ่งจากผลใน(n-1) $\Sigma_{i=1}^n(X_i-\bar{X})(Y_i-\bar{Y})$ $df$ $\bar{X}$ $\bar{Y}$ $df=2(n-1)$

3) อย่างไรก็ตามมีเพียงแง่แยกหนึ่งจากแต่ละผลิตภัณฑ์ เมื่อตัวเลขสองตัวคูณกันข้อมูลที่เป็นอิสระจากแต่ละหมายเลขจะหายไป $\Sigma_{i=1}^n(X_i-\bar{X})(Y_i-\bar{Y})$ $n$

เป็นตัวอย่างที่น่าเบื่อลองพิจารณาดู

$24=1*24=2*12=3*8=4*6=6*4=8*3=12*2=24*1$ ,

และนั่นไม่รวมถึง irrationals และเศษส่วนเช่นดังนั้นเมื่อเราคูณชุดตัวเลขสองชุดเข้าด้วยกันและตรวจสอบผลิตภัณฑ์ของพวกเขาสิ่งที่เราเห็นคือจากอนุกรมตัวเลขหนึ่งชุดในขณะที่เราสูญเสียข้อมูลต้นฉบับไปครึ่งหนึ่งนั่นคือตัวเลขสองตัวนั้นคืออะไรก่อนที่จะทำการจัดกลุ่มคู่ที่ชาญฉลาดให้เป็นหนึ่งตัวเลข (เช่นการคูณ) $24=2\sqrt{6}*2\sqrt{6}$ $df=n-1$

ในคำอื่น ๆ โดยไม่สูญเสียความสามารถทั่วไปเราสามารถเขียน

$(X_i-\bar{X})(Y_i-\bar{Y})=z_i-\bar{z}$ สำหรับบางและ , $z_i$ $\bar{z}$

เช่นและ{Y} จากซึ่งเห็นได้ชัดว่ามีสูตรความแปรปรวนร่วมจะกลายเป็น $z_i=X_iY_i-\bar{X}Y_i-X_i\bar{Y}$ $\bar{z}=\bar{X}\bar{Y}$ $z$ $df=n-1$

$\Sigma_{i=1}^n\frac{z_i-\bar{z}}{n-1}=$

$\Sigma_{i=1}^n\frac{[(X_i-\bar{X})(Y_i-\bar{Y})]}{n-1}=$

$\frac{1}{n-1}\Sigma_{i=1}^n(X_i-\bar{X})(Y_i-\bar{Y})$ {Y})

ดังนั้นคำตอบของคำถามคือถูกแบ่งครึ่งโดยการจัดกลุ่ม $df$

— คาร์ล
แหล่งที่มา

@whuber ฉันได้รับสิ่งเดียวกันบนโลกสองครั้งแล้วและลบครั้งเดียวได้อย่างไร สิ่งที่ช่วยให้? เราสามารถกำจัดหนึ่งในนั้นได้หรือไม่? สำหรับการอ้างอิงในอนาคตมีวิธีใดที่จะลบรายการที่ซ้ำกันอย่างถาวรหรือไม่ ฉันมีไม่กี่ที่แขวนอยู่รอบ ๆ และมันน่ารำคาญ

— Carl

เท่าที่ฉันสามารถบอกได้คุณโพสต์คำตอบของคุณซ้ำซ้อนกับที่นี่ (ไม่มีใครมีอำนาจในการโพสต์คำตอบในชื่อของคุณ) ระบบไม่สนับสนุนการโพสต์คำตอบที่เหมือนกันในหลาย ๆ กระทู้ดังนั้นเมื่อฉันเห็นว่ามันทำให้ฉันเชื่อว่าทั้งสองกระทู้นั้นซ้ำกันอย่างสมบูรณ์ นี่เป็นโพรซีเดอร์ที่ย้ายข้อคิดเห็นและคำตอบทั้งหมดจากเธรดต้นทางไปยังเธรดเป้าหมาย จากนั้นฉันลบโพสต์ที่ซ้ำกันของคุณที่นี่ในเธรดเป้าหมาย มันจะยังคงถูกลบอย่างถาวร แต่จะปรากฏแก่คุณเช่นเดียวกับคนที่มีชื่อเสียงมากพอ

— whuber

@ เมื่อไรฉันไม่รู้ว่าเกิดอะไรขึ้นในการรวมที่เกิดขึ้นหรือมีกฎหลายข้อแม้ว่าจะมองสิ่งต่าง ๆ อย่างต่อเนื่อง ต้องใช้เวลาในการเรียนรู้อดทนรอ BTW คุณจะลองพิจารณาstats.stackexchange.com/questions/251700/…จากHoldที่ไหน?

— Carl