สัญชาตญาณในความหมายของความแปรปรวนร่วม

ฉันพยายามที่จะเข้าใจความแปรปรวนร่วมของตัวแปรสุ่มสองตัวที่ดีขึ้นและเข้าใจว่าคนแรกที่นึกถึงมันมาถึงคำจำกัดความที่ใช้เป็นประจำในสถิติ ฉันไปวิกิพีเดียเพื่อทำความเข้าใจให้ดีขึ้น จากบทความดูเหมือนว่าการวัดหรือปริมาณผู้สมัครที่ดีสำหรับควรมีคุณสมบัติดังต่อไปนี้:$Cov(X,Y)$

1. มัน shoukd มีสัญญาณเชิงบวกเมื่อตัวแปรสุ่มสองตัวมีความคล้ายคลึงกัน (เช่นเมื่อเพิ่มอีกอันหนึ่งทำกับและเมื่อหนึ่งลดลงอีกหนึ่งทำเช่นกัน)
2. นอกจากนี้เรายังต้องการให้มันมีเครื่องหมายลบเมื่อตัวแปรสุ่มสองตัวมีลักษณะตรงข้ามกัน (เช่นเมื่อหนึ่งตัวแปรที่เพิ่มขึ้นแบบสุ่มมีแนวโน้มลดลง)
3. สุดท้ายเราต้องการให้ปริมาณความแปรปรวนร่วมนี้เป็นศูนย์ (หรืออาจน้อยมาก?) เมื่อตัวแปรสองตัวนั้นเป็นอิสระจากกัน (เช่นพวกมันไม่ได้แปรผันตามกัน)

จากคุณสมบัติข้างต้นเราต้องการกำหนดY) คำถามแรกของฉันคือมันไม่ชัดเจนเลยสำหรับฉันว่าทำไมตอบสนองคุณสมบัติเหล่านั้น จากคุณสมบัติที่เรามีฉันจะคาดหวังมากกว่าของสมการเหมือนอนุพันธ์ "ที่จะเป็นผู้สมัครในอุดมคติ ตัวอย่างเช่นมีอะไรเพิ่มเติมเช่น "ถ้าการเปลี่ยนแปลงในเชิงบวก X แล้วการเปลี่ยนแปลงใน Y ก็ควรจะเป็นบวก" นอกจากนี้ทำไมการแตกต่างจากสิ่งที่ถูกต้องหมายถึงทำอะไรC o v ( X , Y ) = E [ ( X - E [ X ] ) ( Y - E [ Y ] ) $Cov(X,Y)$$Cov(X,Y) = E[(X-E[X])(Y-E[Y])]$

คำถามที่น่าสนใจ แต่ยังน่าสนใจมีนิยามที่แตกต่างกันซึ่งอาจทำให้คุณสมบัติเหล่านั้นเป็นที่พอใจและยังคงมีความหมายและมีประโยชน์หรือไม่? ฉันถามสิ่งนี้เพราะดูเหมือนว่าไม่มีใครถามว่าทำไมเราถึงใช้คำจำกัดความนี้ตั้งแต่แรก (มันให้ความรู้สึกเหมือนมัน "เป็นแบบนี้เสมอ" ซึ่งในความคิดของฉันเป็นเหตุผลที่แย่มากและเป็นอุปสรรคต่อวิทยาศาสตร์และ ความอยากรู้ทางคณิตศาสตร์และการคิด) คำจำกัดความที่เป็นที่ยอมรับคือคำนิยามที่ดีที่สุดที่เรามีหรือไม่?

นี่คือความคิดของฉันเกี่ยวกับสาเหตุที่คำจำกัดความที่ยอมรับนั้นสมเหตุสมผล (เป็นเพียงอาร์กิวเมนต์ที่เข้าใจง่าย):

ให้$\Delta_X$แตกต่างจากตัวแปร X (เช่นเปลี่ยนจากค่าบางค่าเป็นค่าอื่น ๆ ในบางครั้ง) ในทำนองเดียวกันสำหรับกำหนด\$\Delta_Y$

สำหรับหนึ่งอินสแตนซ์ในเวลาเราสามารถคำนวณว่าพวกเขาเกี่ยวข้องหรือไม่โดยทำ:

มันค่อนข้างดี! สำหรับอินสแตนซ์หนึ่งครั้งมันตรงตามคุณสมบัติที่เราต้องการ หากพวกเขาทั้งคู่เพิ่มขึ้นพร้อมกันส่วนใหญ่ปริมาณที่กล่าวข้างต้นควรจะเป็นค่าบวก (และในทำนองเดียวกันเมื่อพวกเขามีลักษณะตรงข้ามกันก็จะเป็นค่าลบเนื่องจากจะมีสัญญาณตรงกันข้าม)$Delta$

แต่นั่นให้ปริมาณที่เราต้องการเพียงครั้งเดียวและเนื่องจากพวกมันเป็น rv เราอาจมีน้ำหนักเกินถ้าเราตัดสินใจที่จะยึดความสัมพันธ์ของตัวแปรสองตัวตามการสังเกตเพียง 1 ครั้ง แล้วทำไมไม่ลองใช้ความคาดหวังนี้ดูผลิตภัณฑ์ "เฉลี่ย" ของความแตกต่าง

ซึ่งควรจะจับโดยเฉลี่ยว่าความสัมพันธ์โดยเฉลี่ยดังที่นิยามไว้ข้างต้น! แต่ปัญหาเดียวที่คำอธิบายนี้มีคืออะไรเราวัดความแตกต่างนี้ได้อย่างไร ซึ่งดูเหมือนว่าจะได้รับการแก้ไขด้วยการวัดความแตกต่างนี้จากค่าเฉลี่ย (ซึ่งด้วยเหตุผลบางอย่างก็เป็นสิ่งที่ควรทำ)

ผมคิดว่าปัญหาหลักที่ฉันมีกับความหมายคือการรูปแบบแตกต่างค่าเฉลี่ย ฉันดูเหมือนจะไม่สามารถพิสูจน์ให้เห็นว่าตัวเองยัง

การตีความหมายของสัญลักษณ์สามารถทิ้งไว้กับคำถามอื่นได้เนื่องจากดูเหมือนว่าจะเป็นหัวข้อที่ซับซ้อนมากขึ้น

ลองนึกภาพเราเริ่มต้นด้วยจำนวนที่ว่างเปล่า จากนั้นเราก็เริ่มวาดคู่จากการกระจายข้อต่อ หนึ่งในสี่สิ่งสามารถเกิดขึ้นได้:$(X,Y)$

1. หากทั้ง X และ Y นั้นใหญ่กว่าค่าเฉลี่ยของแต่ละคู่นั้นเราบอกว่าทั้งคู่มีความคล้ายคลึงกันดังนั้นเราจึงใส่จำนวนบวกลงในสแต็ก
2. หากทั้ง X และ Y มีขนาดเล็กลงค่าเฉลี่ยของแต่ละคู่นั้นเราบอกว่าทั้งคู่มีความคล้ายคลึงกันและใส่จำนวนบวกลงในสแต็ก
3. ถ้า X ใหญ่กว่าค่าเฉลี่ยและ Y น้อยกว่าค่าเฉลี่ยเราบอกว่าทั้งคู่ต่างกันและวางจำนวนลบลงในสแต็ก
4. ถ้า X น้อยกว่าค่าเฉลี่ยและ Y ใหญ่กว่าค่าเฉลี่ยเราบอกว่าทั้งคู่ไม่เหมือนกันและใส่จำนวนลบลงในสแต็ก

จากนั้นเพื่อให้ได้การวัดโดยรวมของความคล้ายคลึง (Dis-) ของ X และ Y เราจะบวกค่าทั้งหมดของตัวเลขในสแต็ก ผลรวมเชิงบวกแสดงให้เห็นว่าตัวแปรเคลื่อนไหวไปในทิศทางเดียวกันในเวลาเดียวกัน ผลรวมเชิงลบแสดงให้เห็นว่าตัวแปรย้ายไปในทิศทางตรงกันข้ามบ่อยกว่าไม่ ผลรวมศูนย์แสดงให้เห็นว่าการรู้ทิศทางของตัวแปรหนึ่งไม่ได้บอกอะไรคุณมากเกี่ยวกับทิศทางของตัวแปรอื่น

มันสำคัญที่จะต้องคิดว่า 'ใหญ่กว่าค่าเฉลี่ย' มากกว่าแค่ 'ใหญ่' (หรือ 'บวก') เพราะตัวแปรสองตัวที่ไม่เป็นลบใด ๆ จะถูกตัดสินว่าคล้ายกัน (เช่นขนาดของรถชนกันใน M42 และ จำนวนตั๋วที่ซื้อที่สถานีรถไฟ Paddington ในวันพรุ่งนี้)

สูตรความแปรปรวนร่วมเป็นระเบียบของกระบวนการนี้:

$\text{Cov}(X,Y)=\mathbb E[(X−E[X])(Y−E[Y])]$

ใช้การแจกแจงความน่าจะเป็นมากกว่าการจำลอง monte carlo และระบุขนาดของจำนวนที่เราใส่ลงในสแต็ก

นี่คือวิธีที่ใช้งานง่ายของฉันในการดูโดยไม่มีสมการใด ๆ

1. มันเป็นลักษณะทั่วไปของความแปรปรวนกับมิติที่สูงขึ้น แรงจูงใจอาจมาจากการพยายามอธิบายวิธีการทำงานของข้อมูล ในการสั่งซื้อครั้งแรกเรามีที่ตั้ง - ค่าเฉลี่ย อันดับที่สองเรามีการกระจาย - ความแปรปรวนร่วม

   ฉันเดาว่าประเด็นหลักที่ฉันมีกับคำจำกัดความคือการใช้ความแตกต่างของค่าเฉลี่ย ฉันดูเหมือนจะไม่สามารถพิสูจน์ให้เห็นว่าตัวเองยัง

   การกระจายจะถูกประเมินโดยสัมพันธ์กับศูนย์กลางของการแจกแจง นิยามพื้นฐานที่สุดของความแปรปรวนคือ 'ค่าเบี่ยงเบนเฉลี่ยจากค่าเฉลี่ย' ดังนั้นคุณจะต้องระงับค่าเฉลี่ยในกรณีของความแปรปรวนร่วมด้วย

2. แรงจูงใจสำคัญอีกอย่างที่มาพร้อมกับจิตใจคือความต้องการกำหนดวิธีการวัดระยะห่างระหว่างตัวแปรสุ่ม ระยะทาง Mahalanobisและความแปรปรวนร่วมมาถึงกัน: ให้การแจกแจงแบบเกาส์เซียนและตัวอย่างอีกสองตัวอย่างที่มีระยะทางแบบยุคลิดเท่ากับค่าเฉลี่ยการกระจาย ถ้าฉันจะถามคุณว่ากลุ่มตัวอย่างกลุ่มใดมีแนวโน้มที่จะเป็นค่าผิดปกติที่ไม่ได้มาจากการแจกแจงแบบเกาส์ระยะทางแบบยุคลิดจะไม่ทำ ระยะทาง Mahalanobis มีความแตกต่างที่โดดเด่นเพียงอย่างเดียวจากระยะทางแบบยุคลิด: มันคำนึงถึงการกระจาย (ความแปรปรวนร่วม) ของการแจกแจง สิ่งนี้ช่วยให้คุณสามารถกำหนดระยะทางทั่วไปให้กับตัวแปรสุ่ม

3. สุดท้ายเราต้องการให้ปริมาณความแปรปรวนร่วมนี้เป็นศูนย์ (หรืออาจน้อยมาก?) เมื่อตัวแปรสองตัวนั้นเป็นอิสระจากกัน (เช่นพวกมันไม่ได้แปรผันตามกัน)

$\left(\frac 12\right)$$X$$Y$$E[XY]$$E[XY] = \frac 14$$\hat{X}=1000X$$\hat Y = 1000Y$$E[\hat X \hat Y] = 250,000$$(X,Y) = E[(X-E[X])(Y-E[Y])]$

2. นอกจากนี้เรายังต้องการให้มันมีเครื่องหมายลบเมื่อตัวแปรสุ่มสองตัวมีลักษณะตรงข้ามกัน (เช่นเมื่อหนึ่งตัวแปรที่เพิ่มขึ้นแบบสุ่มมีแนวโน้มลดลง)

$X$$Y = 1-X$$E[XY]=0$$(X,Y) = E[(X-E[X])(Y-E[Y])]$

1. มันควร(sic)มีสัญญาณบวกเมื่อทั้งสองตัวแปรสุ่มที่มีความคล้ายคลึง (เช่นเมื่อหนึ่งเพิ่มขึ้นอีกคนหนึ่งไม่ให้และเมื่อลดคนอื่น ๆ ไม่มากเกินไป)

$X$$Y = X-1$$E[XY]$$(X,Y) = E[(X-E[X])(Y-E[Y])]$ ให้ค่าบวกตามที่คุณต้องการ

$X = Y$

ฉันสงสัยเกี่ยวกับคำถามเดียวกันและปรีชาที่ได้รับจากการคาดเดาช่วยฉัน เพื่อให้เห็นภาพของสัญชาตญาณผมเอาเวกเตอร์ปกติสองตัวคือ x และ y พล็อต scatterplot และระบายสีแต่ละจุดด้วยผลคูณของการเบี่ยงเบนจากค่าเฉลี่ยของพวกมัน (สีน้ำเงินสำหรับค่าบวก, แดงสำหรับลบ)

ชัดเจนจากพล็อตที่ผลิตภัณฑ์เป็นบวกมากที่สุดใน Quadrants บนขวาและล่างซ้ายในขณะที่มันเป็นลบมากที่สุดใน Quadrants ล่างขวาและซ้ายบน ผลกระทบของการรวมผลิตภัณฑ์จะส่งผลให้เป็น 0 เนื่องจากจุดสีฟ้าตัดกันสีแดง

แต่คุณจะเห็นได้ว่าหากเราลบจุดสีแดงออกข้อมูลที่เหลือจะแสดงความสัมพันธ์เชิงบวกซึ่งกันและกันซึ่งได้รับการตรวจสอบโดยผลรวมเชิงบวกของผลิตภัณฑ์ (เช่นผลรวมของจุดสีฟ้า)

ในพื้นที่เวกเตอร์ของตัวแปรสุ่มมันมีเหตุผลที่จะกำหนดสแควร์ของระยะห่างระหว่างตัวแปรสุ่มสองตัว x และ y กับ E {(xy) ^ 2} ตอนนี้ด้วยความเคารพต่อนิยามของระยะทางจุดผลิตภัณฑ์หรือความสัมพันธ์ของตัวแปรสุ่มจะเป็น E {xy} ซึ่งคล้ายกับคำนิยามของความแปรปรวนร่วมยกเว้นเงื่อนไข -E {x} และ -E {y} ซึ่งเป็นประเภทของการฟื้นฟู