สัญชาตญาณของการแจกแจงแบบเกาส์ที่มีเงื่อนไขคืออะไร

สมมติว่าSigma}) จากนั้นการแจกแจงตามเงื่อนไขของเนื่องจากนั้นมีการกระจายหลายตัวแปรตามปกติด้วยค่าเฉลี่ย$\mathbf{X} \sim N_{2}(\mathbf{\mu}, \mathbf{\Sigma})$$X_1$$X_2 = x_2$

$$E[P(X_1 | X_2 = x_2)] = \mu_1+\frac{\sigma_{12}}{\sigma_{22}}(x_2-\mu_2)$$

และความแปรปรวน:

$${\rm Var}[P(X_1 | X_2 = x_2)] = \sigma_{11}-\frac{\sigma_{12}^{2}}{\sigma_{22}}$$

มันสมเหตุสมผลที่ความแปรปรวนจะลดลงเนื่องจากเรามีข้อมูลเพิ่มเติม แต่สัญชาตญาณที่อยู่เบื้องหลังสูตรหมายถึงอะไร ความแปรปรวนร่วมระหว่างและเป็นปัจจัยที่มีเงื่อนไขอย่างไรX $X_1$$X_2$

สรุป

ทุกคำในคำถามสามารถเข้าใจได้ว่าเป็นทรัพย์สินของจุดไข่ปลา เพียงสถานที่ให้บริการโดยเฉพาะอย่างยิ่งการกระจายปกติ bivariate ที่จำเป็นต้องมีความจริงที่ว่าในมาตรฐาน bivariate กระจายปกติของ --for ซึ่งและมี uncorrelated - ความแปรปรวนเงื่อนไขของไม่ขึ้นอยู่กับX(นี่จะเป็นผลสืบเนื่องมาจากความจริงที่ว่าการขาดความสัมพันธ์หมายถึงความเป็นอิสระสำหรับตัวแปรปกติร่วมกัน)X Y Y $X,Y$$X$$Y$$Y$$X$

การวิเคราะห์ต่อไปนี้แสดงให้เห็นอย่างแม่นยำว่าทรัพย์สินของจุดไข่ปลามีส่วนเกี่ยวข้องและมาจากสมการทั้งหมดของคำถามโดยใช้แนวคิดพื้นฐานและคณิตศาสตร์ที่ง่ายที่สุดเท่าที่จะเป็นไปได้

---

การแจกแจงสมมาตรแบบวงกลม

การกระจายของคำถามเป็นสมาชิกของตระกูล bivariate การแจกแจงแบบปกติ พวกเขาทั้งหมดมาจากสมาชิกพื้นฐานคือbivariate Normal ซึ่งจะอธิบายการแจกแจงมาตรฐานสองค่าที่ไม่ได้มีความสัมพันธ์กัน

ด้านซ้ายเป็นพล็อตการผ่อนปรนของค่าความหนาแน่นปกติ bivariate ด้านขวาแสดงแบบเดียวกันในหลอก 3 มิติส่วนหน้าถูกตัดออกไป

นี่คือตัวอย่างของการกระจายแบบสมมาตรแบบวงกลม :ความหนาแน่นแตกต่างกันไปตามระยะทางจากจุดศูนย์กลาง แต่ไม่ได้มีทิศทางห่างจากจุดนั้น ดังนั้นรูปทรงของกราฟ (ทางด้านขวา) จึงเป็นวงกลม

การแจกแจงแบบปกติอื่น ๆ ส่วนใหญ่จะไม่สมมาตรแบบวงกลมอย่างไรก็ตาม: ภาพตัดขวางของพวกมันเป็นรูปไข่ วงรีเหล่านี้สร้างรูปร่างลักษณะของเมฆจุด bivariate จำนวนมาก

นี่คือรูปของ bivariate การแจกแจงปกติด้วยเมทริกซ์ความแปรปรวนร่วม มันเป็นรูปแบบสำหรับข้อมูลที่มีค่าสัมประสิทธิ์สหสัมพันธ์-2/3 -2/$\Sigma = \left(\begin{array}{cc} 1 & -\frac{2}{3} \\ -\frac{2}{3} & 1 \\\end{array}\right).$$-2/3$

---

วิธีการสร้างรูปไข่

วงรี - ตามคำจำกัดความที่เก่าแก่ที่สุดคือส่วนที่เป็นรูปกรวยซึ่งเป็นวงกลมที่บิดเบี้ยวโดยการฉายภาพลงบนระนาบอื่น โดยพิจารณาจากลักษณะของการฉายเช่นเดียวกับที่ศิลปินทัศนศิลป์ทำเราอาจสลายมันเป็นลำดับการบิดเบือนที่ง่ายต่อการเข้าใจและคำนวณด้วย

ขั้นแรกให้ยืด (หรือถ้าจำเป็นให้บีบ) วงกลมตามแนวที่จะกลายเป็นแกนยาวของวงรีไปจนถึงความยาวที่ถูกต้อง:

ถัดไปบีบ (หรือยืด) วงรีนี้ไปตามแกนย่อย:

ประการที่สามหมุนรอบจุดศูนย์กลางเป็นแนวสุดท้าย:

ในที่สุดเลื่อนไปยังตำแหน่งที่ต้องการ:

นี่คือการแปลงเลียนแบบทั้งหมด (อันที่จริงสามคนแรกคือการแปลงเชิงเส้น ; การเปลี่ยนแปลงครั้งสุดท้ายทำให้มันเลียนแบบ) เพราะองค์ประกอบของการแปลงเลียนแบบคือ (ตามคำนิยาม) ยังคงเลียนแบบการบิดเบือนสุทธิจากวงกลมไปยังวงรีสุดท้ายคือการแปลงเลียนแบบ แต่มันค่อนข้างซับซ้อน:

สังเกตุว่าเกิดอะไรขึ้นกับแกน (ธรรมชาติ) ของวงรี:หลังจากที่พวกมันถูกสร้างโดยการกะและการบีบพวกมัน (แน่นอน) จะหมุนและเลื่อนไปตามแกนของมันเอง เราเห็นแกนเหล่านี้ได้อย่างง่ายดายแม้ว่าพวกเขาจะไม่ถูกดึงออกมาเพราะพวกมันเป็นแกนสมมาตรของวงรีนั้น

เราต้องการนำความเข้าใจของเราไปใช้กับการทำความเข้าใจกับการแจกแจงแบบสมมาตรแบบวงกลมที่บิดเบี้ยวเช่นครอบครัวปกติ bivariate น่าเสียดายที่มีปัญหากับการบิดเบือนเหล่านี้ : พวกเขาไม่เคารพความแตกต่างระหว่างแกนและการหมุนในขั้นตอนที่ 3 ซากปรักหักพังนั้น ดูกริดพิกัดจาง ๆ ในพื้นหลัง: สิ่งเหล่านี้แสดงว่าเกิดอะไรขึ้นกับกริด (ของตาข่ายy ที่1 / 2 x$x$$y$$1/2$ทั้งสองทิศทาง) เมื่อบิดเบี้ยว ในภาพแรกระยะห่างระหว่างเส้นแนวตั้งดั้งเดิม (แสดงเป็นเส้นทึบ) จะเพิ่มเป็นสองเท่า ในภาพที่สองระยะห่างระหว่างเส้นแนวนอนดั้งเดิม (แสดงเป็นเส้นประ) จะหดลงหนึ่งในสาม ในภาพที่สามช่องว่างของกริดจะไม่เปลี่ยนแปลง แต่เส้นทั้งหมดจะถูกหมุน พวกมันเลื่อนขึ้นและไปทางขวาในภาพที่สี่ ภาพสุดท้ายที่แสดงผลลัพธ์สุทธิแสดงเส้นตารางที่ยืดขยายหมุนและเลื่อน เส้นทึบดั้งเดิมของพิกัดคงที่ไม่เป็นแนวตั้งอีกต่อไป$x$

ความคิดที่สำคัญ --one อาจกล้าที่จะบอกว่ามันเป็นปมของการถดถอย - คือว่ามีวิธีที่วงกลมสามารถบิดเบือนเป็นวงรีโดยไม่ต้องหมุนเส้นแนวตั้ง เนื่องจากการหมุนเป็นผู้ร้ายเรามาตัดการไล่ล่าและแสดงวิธีสร้างวงรีที่หมุนแล้วโดยไม่ปรากฏว่าหมุนอะไรเลย !

นี่คือการเปลี่ยนแปลงที่เบ้ จริงๆแล้วมันทำสองสิ่งพร้อมกัน:

• มันบีบไปในทิศทาง (ตามจำนวนพูด) นี่ทำให้ -axis เพียงอย่างเดียวλ $y$$\lambda$$x$

• มันยกจุดส่งผลใด ๆตามจำนวนเงินที่ได้โดยตรงสัดส่วนกับxเขียนอย่างต่อเนื่องของสัดส่วนที่เป็นนี้ส่งจะx)x ρ ( x , y ) ( x , y + ρ x $(x,y)$$x$$\rho$$(x,y)$$(x, y+\rho x)$

ขั้นตอนที่สองยก -axis ลงในบรรทัดดังแสดงในรูปก่อนหน้า ดังที่แสดงไว้ในรูปภาพนั้นฉันต้องการทำงานกับการแปลงแบบเบ้พิเศษอันหนึ่งซึ่งหมุนวงรีได้อย่างมีประสิทธิภาพ 45 องศาและจารึกมันลงในหน่วยสี่เหลี่ยม แกนหลักของวงรีนี้เป็นสาย x เห็นได้ชัดว่า1 (ค่าลบของเอียงวงรีลงไปทางขวามากกว่าขึ้นไปทางขวา) นี่คือคำอธิบายทางเรขาคณิตของ "การถดถอยของค่าเฉลี่ย"y = ρ x y = x | ρ | ≤ 1 $x$$y=\rho x$$y=x$$|\rho| \le 1$$\rho$

การเลือกมุม 45 องศาทำให้วงรีสมมาตรรอบ ๆ เส้นทแยงมุมของสี่เหลี่ยมจัตุรัส (ส่วนหนึ่งของเส้น ) ในการหาพารามิเตอร์ของการแปลงแบบเอียงนี้ให้สังเกต:$y=x$

• ยกโดยย้ายจุดเพื่อโร)$\rho x$$(1,0)$$(1,\rho)$

• ความสมมาตรรอบ ๆ เส้นทแยงมุมหลักนั้นจะบอกถึงจุดอยู่บนวงรี$(\rho, 1)$

จุดนี้เริ่มต้นที่ไหน

• เดิม (ด้านบน) จุดบนยูนิทวงกลม (มีสมนัย ) กับประสานงานเป็น2})$x^2+y^2=1$$x$$\rho$$(\rho, \sqrt{1-\rho^2})$

• จุดใด ๆ ของรูปแบบครั้งแรกที่ได้ไปบีบและจากนั้นยกโร)$(\rho, y)$$(\rho, \lambda y)$$(\rho, \lambda y + \rho\times\rho)$

วิธีการแก้ปัญหาที่ไม่ซ้ำกับสมการเป็น2} นั่นคือปริมาณโดยที่ระยะทางทั้งหมดในทิศทางแนวตั้งจะต้องบีบเพื่อสร้างวงรีที่มุม 45 องศาเมื่อมันเอียงแนวตั้ง\$(\rho, \lambda \sqrt{1-\rho^2} + \rho^2) = (\rho, 1)$$\lambda = \sqrt{1-\rho^2}$$\rho$

เพื่อกระชับความคิดเหล่านี้นี่คือฉากที่แสดงให้เห็นว่าการแจกแจงแบบสมมาตรแบบวงกลมนั้นบิดเบี้ยวไปสู่การกระจายด้วยรูปทรงวงรีโดยใช้วิธีการแปลงแบบเอียงเหล่านี้ พาเนลแสดงค่าของเท่ากับและจากซ้ายไปขวา$\rho$$0,$ $3/10,$ $6/10,$$9/10,$

รูปด้านซ้ายสุดแสดงชุดของจุดเริ่มต้นรอบหนึ่งในวงกลมรูปทรงและส่วนหนึ่งของแกนนอน ตัวเลขที่ตามมาใช้ลูกศรเพื่อแสดงวิธีการย้ายจุดเหล่านั้น รูปภาพของแกนนอนปรากฏเป็นส่วนของเส้นเอียง (มีความชัน ) (สีเป็นตัวแทนของความหนาแน่นที่แตกต่างกันในรูปแบบที่แตกต่างกัน)$\rho$

---

ใบสมัคร

เราพร้อมที่จะทำการถดถอย วิธีมาตรฐานที่หรูหรา (แต่ใช้งานง่าย) เพื่อทำการถดถอยเป็นสิ่งแรกที่แสดงถึงตัวแปรดั้งเดิมในหน่วยการวัดใหม่: เราจัดวางไว้ที่ค่าเฉลี่ยของพวกเขาและใช้การเบี่ยงเบนมาตรฐานเป็นหน่วย นี่จะย้ายจุดศูนย์กลางของการกระจายไปยังจุดกำเนิดและทำให้รูปทรงวงรีเอียง 45 องศา (ขึ้นหรือลง)

เมื่อข้อมูลที่ได้มาตรฐานเหล่านี้ก่อตัวเป็นคลาวด์พอยน์การถดถอยนั้นง่าย: หมายความว่าเงื่อนไขบนคือทั้งหมดซึ่งก่อให้เกิดเส้นที่ผ่านจุดกำเนิด (สมมาตรแบบวงกลมหมายถึงสมมาตรด้วยความเคารพต่อแกนแสดงให้เห็นว่าการแจกแจงแบบมีเงื่อนไขทั้งหมดเป็นแบบสมมาตรดังนั้นพวกเขาจึงมีวิธี) ดังที่เราได้เห็นแล้วเราอาจดูการกระจายแบบมาตรฐานที่เกิดขึ้นจากสถานการณ์ง่าย ๆ พื้นฐานนี้ , ค่าทั้งหมด (มาตรฐาน) จะถูกคูณด้วยสำหรับค่าของ ; ถัดไปค่าทั้งหมดที่มี -coordinates จะเอียงตามแนวตั้งโดย$x$$0$$x$$0$$y$$\sqrt{1-\rho^2}$$\rho$$x$$\rho x$. การบิดเบือนเหล่านี้ทำอะไรกับเส้นการถดถอย (ซึ่งพล็อตความหมายตามเงื่อนไขกับ )$x$

• การหดตัวของพิกัดคูณความเบี่ยงเบนแนวดิ่งทั้งหมดด้วยค่าคงที่ นี้เป็นเพียงการเปลี่ยนแปลงขนาดในแนวตั้งและด้านซ้ายหมายถึงเงื่อนไขทั้งหมดไม่เปลี่ยนแปลงที่0$y$$0$

• การแปลงเอียงแนวตั้งเพิ่มให้กับค่าเงื่อนไขทั้งหมดที่ดังนั้นการเพิ่มให้กับค่าเฉลี่ยที่มีเงื่อนไขของพวกเขา: เส้นโค้งคือเส้นโค้งการถดถอยซึ่งกลายเป็นเส้นตรง$\rho x$$x$$\rho x$$y=\rho x$

ในทำนองเดียวกันเราอาจตรวจสอบว่าเนื่องจาก -axis เป็นสี่เหลี่ยมจัตุรัสที่เล็กที่สุดที่เหมาะสมกับการแจกแจงแบบสมมาตรแบบวงกลมสี่เหลี่ยมที่น้อยที่สุดที่เหมาะกับการแจกแจงแบบเปลี่ยนรูปก็คือเส้น : เส้นสี่เหลี่ยมกำลังสองน้อยที่สุด .$x$$y=\rho x$

ผลลัพธ์ที่สวยงามเหล่านี้เป็นผลมาจากความจริงที่ว่าการแปลงความเอียงในแนวตั้งไม่เปลี่ยนพิกัดใด ๆ$x$

เราสามารถพูดเพิ่มเติมได้อย่างง่ายดาย:

• สัญลักษณ์แสดงหัวข้อย่อยแรก (เกี่ยวกับการย่อขนาด) แสดงให้เห็นว่าเมื่อมีการแจกแจงแบบสมมาตรแบบวงกลมความแปรปรวนแบบมีเงื่อนไขของถูกคูณด้วย 2$(X,Y)$$Y|X$$\left(\sqrt{1-\rho^2}\right)^2 = 1 - \rho^2$

• โดยทั่วไป: การเปลี่ยนแปลงเอียงแนวตั้ง rescales แต่ละเงื่อนไขการจำหน่ายโดยแล้ว recenters ได้โดยx$\sqrt{1-\rho^2}$$\rho x$

สำหรับ bivariate กระจายปกติมาตรฐานความแปรปรวนเงื่อนไขเป็นค่าคงที่ (เท่ากับ ) อิสระของxทันทีที่เราสรุปได้ว่าหลังจากที่ใช้นี้การเปลี่ยนแปลงลาดแปรปรวนเงื่อนไขของการเบี่ยงเบนในแนวตั้งก็ยังคงเป็นอย่างต่อเนื่องและเท่ากับ 2 เนื่องจากการแจกแจงแบบมีเงื่อนไขของตัวแปร bivariate เป็นปกติแล้วตอนนี้เรารู้วิธีการและความแปรปรวนของพวกเขาแล้วเราจึงมีข้อมูลทั้งหมดเกี่ยวกับพวกมัน$1$$x$$1-\rho^2$

สุดท้ายเราต้องเกี่ยวข้องเมทริกซ์ความแปรปรวนเดิม\$\rho$$\Sigma$ สำหรับเรื่องนี้จำได้ว่า (ที่อร่อยที่สุด) ความหมายของค่าสัมประสิทธิ์สหสัมพันธ์ระหว่างสองมาตรฐานตัวแปรและคือความคาดหวังของผลิตภัณฑ์ของตนXY(ความสัมพันธ์ของและถูกประกาศอย่างง่าย ๆ ว่าเป็นสหสัมพันธ์ของรุ่นมาตรฐาน) ดังนั้นเมื่อติดตามการกระจายสมมาตรแบบวงกลมใด ๆและเราใช้การแปลงแบบเบ้กับตัวแปรเราอาจเขียน$X$$Y$$XY$$X$$Y$$(X,Y)$

$$\varepsilon = Y - \rho X$$

สำหรับการเบี่ยงเบนในแนวดิ่งจากสายการถดถอยและแจ้งให้ทราบว่าต้องมีการกระจายสมมาตรรอบ0ทำไม? เพราะก่อนการเปลี่ยนแปลงลาดถูกนำมาใช้,มีการกระจายสมมาตรรอบและจากนั้นเรา (ก) บีบมันและ (ข) ยกได้โดยX อดีตไม่ได้เปลี่ยนความสมมาตรในขณะที่คนใหม่กลับมาที่ , QED รูปถัดไปแสดงสิ่งนี้$\varepsilon$$0$$Y$$0$$\rho X$$\rho X$

เส้นสีดำออกติดตามความสูงสัดส่วนกับความหนาแน่นเงื่อนไขที่ค่าสม่ำเสมอเว้นระยะต่างๆของxเส้นสีขาวหนาคือเส้นถดถอยซึ่งผ่านจุดกึ่งกลางของสมมาตรของแต่ละเส้นโค้งตามเงื่อนไข พล็อตนี้แสดงเคสในพิกัดมาตรฐาน$x$$\rho = -1/2$

ดังนั้น

$$\mathbb{E}(XY) = \mathbb{E}\left(X(\rho X + \varepsilon)\right) = \rho\mathbb{E}(X^2) + \mathbb{E}(X\varepsilon) = \rho(1) + 0=\rho.$$

ความเท่าเทียมกันสุดท้ายเกิดจากข้อเท็จจริงสองประการ: (1) เนื่องจากได้รับมาตรฐานความคาดหวังของสี่เหลี่ยมจัตุรัสคือความแปรปรวนมาตรฐานของมันเท่ากับโดยการก่อสร้าง และ (2) ความคาดหวังของเท่ากับความคาดหวังของโดยอาศัยอำนาจตามความสมมาตรของ\เนื่องจากหลังเป็นลบของอดีตทั้งคู่จะต้องเท่ากับ : เทอมนี้ลดลง$X$$1$$X\varepsilon$$X(-\varepsilon)$$\varepsilon$$0$

เราได้ระบุพารามิเตอร์ของการแปลงเอียง, , ในฐานะที่เป็นค่าสัมประสิทธิ์สหสัมพันธ์ของและY$\rho$$X$$Y$

---

สรุปผลการวิจัย

โดยการสังเกตว่าวงรีใด ๆ อาจเกิดขึ้นได้โดยการบิดเบือนวงกลมที่มีการแปรเอียงแบบแนวตั้งที่รักษาพิกัดเราได้มาถึงความเข้าใจในรูปทรงของการกระจายของตัวแปรสุ่มที่ได้จากสมมาตรแบบวงกลม อย่างใดอย่างหนึ่งโดยการเหยียดบีบผลัดและกะ (นั่นคือการแปลงเลียนแบบใด ๆ ) ด้วยการแสดงผลลัพธ์ในแง่ของหน่วยดั้งเดิมของและซึ่งจะเพิ่มจำนวนวิธีและหลังจากคูณด้วยค่าเบี่ยงเบนมาตรฐานและ - เราพบว่า:$x$$(X,Y)$$x$$y$$\mu_x$$\mu_y$$\sigma_x$$\sigma_y$

• เส้นอย่างน้อยกำลังสองและเส้นโค้งการถดถอยทั้งคู่ผ่านจุดกำเนิดของตัวแปรมาตรฐานซึ่งสอดคล้องกับ "จุดเฉลี่ย"ในพิกัดดั้งเดิม$(\mu_x,\mu_y)$

• เส้นโค้งการถดถอยซึ่งถูกกำหนดให้เป็นโลคัสของเงื่อนไขแบบมีเงื่อนไข เกิดขึ้นพร้อมกับบรรทัดกำลังสองน้อยที่สุด$\{(x, \rho x)\},$

• ความชันของเส้นถดถอยในพิกัดมาตรฐานคือสัมประสิทธิ์สหสัมพันธ์ ; ในหน่วยเดิมจึงเท่ากับ\$\rho$$\sigma_y \rho / \sigma_x$

ดังนั้นสมการของเส้นการถดถอยคือ

$$y = \frac{\sigma_y\rho}{\sigma_x}\left(x - \mu_x\right) + \mu_y.$$

• ความแปรปรวนตามเงื่อนไขของคือความแปรปรวนตามเงื่อนไขของโดยที่มีการแจกแจงแบบมาตรฐาน (สมมาตรแบบวงกลมที่มีหน่วยแปรผันทั้งคู่ พิกัด)และY'$Y|X$$\sigma_y^2(1-\rho^2)$$Y'|X'$$(X',Y')$$X'=(X-\mu_X)/\sigma_x$$Y'=(Y-\mu_Y)/\sigma_Y$

ไม่มีผลลัพธ์เหล่านี้เป็นคุณสมบัติเฉพาะของการแจกแจงปกติแบบไบวาเรีย! สำหรับครอบครัวปกติแบบ bivariate ความแปรปรวนแบบมีเงื่อนไขของนั้นคงที่ (และเท่ากับ ): ความจริงข้อนี้ทำให้ครอบครัวนั้นง่ายต่อการทำงานเป็นพิเศษ โดยเฉพาะอย่างยิ่ง:$Y'|X'$$1$

• เพราะในเมทริกซ์ความแปรปรวนร่วมสัมประสิทธิ์คือและความแปรปรวนแบบมีเงื่อนไขของสำหรับการแจกแจงปกติแบบ bivariate คือ$\Sigma$$\sigma_{11}=\sigma_x^2,$ $\sigma_{12}=\sigma_{21}=\rho\sigma_x\sigma_y,$$\sigma_{22}=\sigma_y^2,$$Y|X$

$$\sigma_y^2(1-\rho^2)=\sigma_{22}\left(1-\left(\frac{\sigma_{12}}{\sqrt{\sigma_{11}\sigma_{22}}}\right)^2\right)=\sigma_{22} - \frac{\sigma_{12}^2}{\sigma_{11}}.$$

---

หมายเหตุทางเทคนิค

แนวคิดหลักสามารถระบุได้ในรูปของเมทริกซ์ที่อธิบายการแปลงเชิงเส้น มันลงมาเพื่อค้นหา "สแควร์รูท" ที่เหมาะสมของเมทริกซ์สหสัมพันธ์ซึ่งเป็นไอเจนิค ดังนั้น:$y$

$$\left(\begin{array}{cc} 1 & \rho \\ \rho & 1 \\\end{array}\right) = \mathbb{A}\mathbb{A}'$$

ที่ไหน

$$\mathbb{A} = \left(\begin{array}{cc} 1 & 0 \\ \rho & \sqrt{1-\rho^2} \\\end{array}\right).$$

รากที่สองที่รู้จักกันดีคือรากที่อธิบายไว้ในตอนแรก (เกี่ยวข้องกับการหมุนแทนที่จะเป็นการแปลงแบบเอียง); มันเป็นสิ่งที่ผลิตโดยการสลายตัวของค่าเอกพจน์และมีบทบาทสำคัญในการวิเคราะห์องค์ประกอบหลัก (PCA):

$$\left(\begin{array}{cc} 1 & \rho \\ \rho & 1 \\\end{array}\right) = \mathbb{B}\mathbb{B}';$$

$$\mathbb{B} = \mathbb{Q} \left( \begin{array}{cc} \sqrt{\rho +1} & 0 \\ 0 & \sqrt{1-\rho } \\ \end{array} \right)\mathbb{Q}'$$

โดยที่เป็นเมทริกซ์การหมุนสำหรับการหมุนองศา$\mathbb{Q} = \left( \begin{array}{cc} \frac{1}{\sqrt{2}} & -\frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \\ \end{array} \right)$$45$

ดังนั้นความแตกต่างระหว่าง PCA และการถดถอยจึงแตกต่างกันระหว่างรากที่สองพิเศษของเมทริกซ์สหสัมพันธ์

นี่คือการถดถอยเชิงเส้น (OLS) ในกรณีที่คุณกำลังมองหาการกระจายตามเงื่อนไขของให้ที่X(พูดอย่างเคร่งครัดการถดถอย OLS ไม่ได้ตั้งสมมติฐานเกี่ยวกับการแจกแจงของในขณะที่ตัวอย่างของคุณเป็นแบบหลายตัวแปรปกติ แต่เราจะเพิกเฉยต่อสิ่งเหล่านี้) ตอนนี้ถ้าความแปรปรวนร่วมระหว่างและไม่ใช่แล้วค่าเฉลี่ยของการกระจายแบบมีเงื่อนไขของจะต้องเปลี่ยนเมื่อคุณเปลี่ยนค่าของซึ่งคุณจะ 'แบ่งส่วน' การกระจายหลายตัวแปร พิจารณารูปด้านล่าง: $Y$$X=x_i$$X$$X_1$$X_2$$0$$X_2$$x_1$

ที่นี่เราจะเห็นว่าการกระจายร่อแร่มีทั้งที่ปกติมีความสัมพันธ์เชิงบวกระหว่างและX_2หากคุณดูการกระจายแบบมีเงื่อนไขของณ จุดใดก็ได้บนการแจกแจงนั้นเป็นค่าปกติที่ไม่แปรเปลี่ยน อย่างไรก็ตามเนื่องจากความสัมพันธ์เชิงบวก (เช่นความแปรปรวนที่ไม่ใช่ศูนย์) ค่าเฉลี่ยของการแจกแจงแบบมีเงื่อนไขจะเลื่อนขึ้นเมื่อคุณเลื่อนจากซ้ายไปขวา ยกตัวอย่างเช่นการแสดงตัวเลขที่45} $X_1$$X_2$$X_2$$X_1$$\mu_{X_2|X_1=25}\ne\mu_{X_2|X_1=45}$

( สำหรับผู้อ่านในอนาคตที่อาจสับสนกับสัญลักษณ์ฉันต้องการระบุว่าเป็นองค์ประกอบของเมทริกซ์ความแปรปรวนร่วมดังนั้นมันจึงเป็นความแปรปรวนของแม้ว่าคนทั่วไปจะ คิดว่าความแปรปรวนเป็นและเป็นส่วนเบี่ยงเบนมาตรฐาน$\sigma_{22}$$\Sigma$$X_2$$\sigma^2$$\sigma$ )

สมการของคุณสำหรับค่าเฉลี่ยนั้นเชื่อมโยงโดยตรงกับสมการสำหรับการประเมินความชันใน OLS regression (และจำไว้ว่าใน regressionเป็นค่าเฉลี่ยตามเงื่อนไข): ในสมการของคุณคือความแปรปรวนร่วมกับความแปรปรวน นั่นคือมันเป็นความชันเช่นเดียวกับข้างบน ดังนั้นสมการสำหรับค่าเฉลี่ยของคุณก็แค่เลื่อนค่าเฉลี่ยตามเงื่อนไขของคุณขึ้นหรือลงจากค่าเฉลี่ยที่ไม่มีเงื่อนไขขึ้นอยู่กับว่าอยู่ห่างจากและความลาดเอียงของความสัมพันธ์ระหว่างและX_2 $\hat y_i$

$$\hat\beta_1=\frac{\text{Cov}(x,y)}{\text{Var}(x)}$$ $^{\sigma_{12}}/_{\sigma_{22}}$$\mu_{X_2|X_1=x_i}$$\mu_{X_2}$$\mu_{X_2}$ $x_{2i}$$X_1$$X_2$

คำตอบของ Gung นั้นดี (+1) แม้ว่าจะมีวิธีอื่นในการมองมัน ลองจินตนาการว่าค่าความแปรปรวนร่วมระหว่างและนั้นเป็นค่าบวก หมายความว่าอย่างไร ดีก็หมายความว่าเมื่ออยู่เหนือ 's เฉลี่ยมีแนวโน้มที่จะอยู่เหนือ ' s เฉลี่ยและในทางกลับกัน$X_1$$X_2$$\sigma_{1,2}>0$$X_2$$X_2$$X_1$$X_1$

ตอนนี้คิดว่าฉันบอกคุณว่าX_2นั่นคือสมมติว่าฉันบอกคุณว่าสูงกว่าค่าเฉลี่ย คุณจะไม่สรุปว่ามีแนวโน้มสูงกว่าค่าเฉลี่ย (เนื่องจากคุณรู้และคุณรู้ว่าความแปรปรวนร่วมหมายถึงอะไร) ดังนั้นตอนนี้ถ้าคุณใช้ค่าเฉลี่ยของโดยรู้ว่าสูงกว่าค่าเฉลี่ยของคุณจะได้จำนวนเหนือค่าเฉลี่ยของนั่นคือสูตรที่บอกว่า: ถ้าความแปรปรวนร่วมเป็นบวกและ$X_2=\mathit{x}_2>\mu_2$$X_2$$X_1$$\sigma_{1,2}>0$$X_1$$X_2$$X_2$$X_1$

$$\begin{equation} E\{X_1 | X_2=\mathit{x}_2\} = \mu_1 + \frac{\sigma_{1,2}}{\sigma_{2,2}}\left( \mathit{x}_2-\mu_2\right) \end{equation}$$ $X_2$สูงกว่าค่าเฉลี่ยแล้ว\ $E\{X_1 | X_2=\mathit{x}_2\} > \mu_1$

การคาดการณ์ตามเงื่อนไขใช้แบบฟอร์มด้านบนสำหรับการแจกแจงแบบปกติไม่ใช่สำหรับการแจกแจงทั้งหมด ดูเหมือนจะแปลกเล็กน้อยเนื่องจากเหตุผลในย่อหน้าข้างต้นนั้นดูน่าสนใจทีเดียว อย่างไรก็ตาม (เกือบ) ไม่ว่าการแจกแจงของและสูตรนี้ถูกต้อง: โดยที่หมายถึงตัวทำนายเชิงเส้นที่ดีที่สุด การแจกแจงแบบปกตินั้นพิเศษในการคาดการณ์แบบมีเงื่อนไขและตัวทำนายเชิงเส้นตรงที่ดีที่สุดคือสิ่งเดียวกัน$X_1$$X_2$

$$\begin{equation} BLP\{X_1 | X_2=\mathit{x}_2\} = \mu_1 + \frac{\sigma_{1,2}}{\sigma_{2,2}}\left( \mathit{x}_2-\mu_2\right) \end{equation}$$ $BLP$