มีการตีความ

สำหรับเมทริกซ์ข้อมูล (พร้อมตัวแปรในคอลัมน์และจุดข้อมูลในแถว) ดูเหมือนว่าA T Aมีบทบาทสำคัญในสถิติ ตัวอย่างเช่นมันเป็นส่วนสำคัญของโซลูชันการวิเคราะห์ของกำลังสองน้อยสุดธรรมดา หรือสำหรับ PCA eigenvector นั้นเป็นองค์ประกอบหลักของข้อมูล$A$$A^TA$

ฉันเข้าใจวิธีคำนวณแต่ฉันสงสัยว่ามีการตีความที่เข้าใจง่ายเกี่ยวกับความหมายของเมทริกซ์นี้หรือไม่ซึ่งนำไปสู่บทบาทที่สำคัญ$A^TA$

เรขาคณิตเมทริกซ์เรียกว่าเมทริกซ์ของผลิตภัณฑ์สเกลาร์ (= ผลิตภัณฑ์ดอท, = ผลิตภัณฑ์ชั้นใน) พีชคณิตเรียกว่าเมทริกซ์ผลรวมของสแควร์และครอสโปรดัคส์ ( SSCP )$\bf A'A$

ของ -th องค์ประกอบในแนวทแยงเท่ากับΣ 2 ( ฉัน)ที่( ฉัน)หมายถึงค่าในฉันคอลัมน์ -th ของและΣคือผลรวมทั่วแถว ฉันเจ -th ปิดเส้นทแยงมุมองค์ประกอบนั้นเป็นΣ ( ฉัน) ( J )$i$$\sum a_{(i)}^2$$a_{(i)}$$i$$\bf A$$\sum$$ij$$\sum a_{(i)}a_{(j)}$

มีค่าสัมประสิทธิ์การเชื่อมโยงที่สำคัญจำนวนหนึ่งและเมทริกซ์จตุรัสของพวกเขาถูกเรียกว่าแองกูลาร์คล้ายคลึงกันหรือความคล้ายคลึงกันประเภท SSCP:

• การหารเมทริกซ์ SSCP ด้วยขนาดตัวอย่างหรือจำนวนแถวของAคุณจะได้รับเมทริกซ์MSCP (mean-square-and-cross-product) สูตรจับคู่ของการวัดความสัมพันธ์นี้จึง∑ x $n$$\bf A$ (โดยมีเวกเตอร์xและyเป็นคู่คอลัมน์จากA)$\frac{\sum xy}{n}$$x$$y$$\bf A$

• หากคุณอยู่ตรงกลางคอลัมน์ (ตัวแปร) ของดังนั้นA ′ Aคือscatter (หรือ co-scatter, ถ้าจะเข้มงวด) เมทริกซ์และA ′ A / ( n - 1 )คือเมทริกซ์ความแปรปรวนร่วม สูตรความแปรปรวนร่วมแบบ Pairwise คือ∑ c x c $\bf A$$\bf A'A$$\mathbf {A'A}/(n-1)$มีcxและcyหมายถึงคอลัมน์กลาง$\frac{\sum c_xc_y}{n-1}$$c_x$$c_y$

• ถ้าคุณ z- มาตรฐานคอลัมน์ของ (ลบค่าเฉลี่ยของคอลัมน์และหารด้วยค่าเบี่ยงเบนมาตรฐาน) ดังนั้นA ′ A / ( n - 1 )คือเมทริกซ์ความสัมพันธ์แบบเพียร์สัน: ความสัมพันธ์เป็นความแปรปรวนร่วมสำหรับตัวแปรมาตรฐาน สูตรจากจำนวนความสัมพันธ์เป็นΣ Z x Z $\bf A$$\mathbf {A'A}/(n-1)$มีzxและzyแสดงถึงคอลัมน์มาตรฐาน สหสัมพันธ์เรียกอีกอย่างว่าสัมประสิทธิ์ของความเป็นเชิงเส้น$\frac{\sum z_xz_y}{n-1}$$z_x$$z_y$

• หากคุณกำหนดขนาดคอลัมน์ของ (นำ SS, ผลบวกของกำลังสองไปเป็น 1) แล้วA ′ Aคือเมทริกซ์ความคล้ายคลึงโคไซน์ สูตรคู่ที่เทียบเท่าจึงปรากฏเป็น∑ u x u y = ∑ x $\bf A$$\bf A'A$กับuxและuyแสดงถึงคอลัมน์ที่ปรับให้เป็นมาตรฐาน L2 ความคล้ายคลึงกันของโคไซน์เรียกอีกอย่างหนึ่งว่าสัมประสิทธิ์ของสัดส่วน$\sum u_xu_y = \frac{\sum{xy}}{\sqrt{\sum x^2}\sqrt{\sum y^2}}$$u_x$$u_y$

• ถ้าคุณอยู่ตรงกลางแล้วคอลัมน์ขนาดหน่วยของดังนั้นA ′ Aเป็นเมทริกซ์สหสัมพันธ์ของเพียร์สันอีกครั้งเนื่องจากความสัมพันธ์เป็นโคไซน์สำหรับตัวแปรที่มีศูนย์กลาง1 , 2 : ∑ c u x c u y = ∑ c x c $\bf A$$\bf A'A$$^{1,2}$$\sum cu_xcu_y = \frac{\sum{c_xc_y}}{\sqrt{\sum c_x^2}\sqrt{\sum c_y^2}}$

นอกเหนือจากมาตรการการเชื่อมโยงหลักทั้งสี่นี้แล้วให้เราพูดถึงมาตรการอื่นที่อิงจากเพื่อกำจัดมัน พวกมันถูกมองว่าเป็นมาตรการทางเลือกที่คล้ายคลึงกับโคไซน์เพราะมันต่างจากการทำให้เป็นมาตรฐาน, ตัวส่วนในสูตร:$\bf A'A$

• สัมประสิทธิ์ของตัวตน [Zegers & ten Berge, 1985] มีตัวส่วนในรูปของค่าเฉลี่ยเลขคณิตมากกว่าค่าเฉลี่ยทางเรขาคณิต: 2 มันสามารถเป็น 1 ถ้าหากว่าคอลัมน์การเปรียบเทียบของAนั้นเหมือนกัน$\frac{\sum{xy}}{(\sum x^2+\sum y^2)/2}$$\bf A$

• ค่าสัมประสิทธิ์การใช้งานอื่น ๆ เช่นเรียกว่าอัตราส่วนความคล้ายคลึงกัน : 2$\frac{\sum{xy}}{\sum x^2 + \sum y^2 -\sum {xy}} = \frac{\sum{xy}}{\sum {xy} + \sum {(x-y)^2}}$

• สุดท้ายหากค่าในเป็นค่าลบของพวกเขาและผลรวมภายในคอลัมน์ที่ 1 (เช่นพวกเขาเป็นสัดส่วน) แล้ว√$\bf A$คือเมทริกซ์ของความเที่ยงตรงหรือสัมประสิทธิ์Bhattacharyya$\bf \sqrt {A}'\sqrt A$

วิธีหนึ่งในการคำนวณสหสัมพันธ์หรือเมทริกซ์ความแปรปรวนร่วมที่ใช้โดยชุดข้อมูลสถิติจำนวนมากข้ามข้อมูลที่อยู่กึ่งกลางและแยกออกจากเมทริกซ์ SSCP A ′ Aด้วยวิธีนี้ ให้ sเป็นเวกเตอร์แถวของผลรวมคอลัมน์ Aในขณะที่ nคือจำนวนแถวในข้อมูล จากนั้น (1) คำนวณเมทริกซ์กระจายเป็น C = ' - s ' s / n [นั่น C / ( n - 1 )จะเป็นเมทริกซ์ความแปรปรวน]; (2) เส้นทแยงมุมของ$^1$$\bf A'A$$\bf s$$\bf A$$n$$\bf C = A'A-s's/ \it n$$\mathbf C/(n-1)$$\bf C$คือผลรวมของการเบี่ยงเบนกำลังสอง, เวกเตอร์แถว ; (3) คำนวณเมทริกซ์สหสัมพันธ์R = C / $\bf d$ d$\bf R=C/\sqrt{d'd}$

ผู้อ่านที่เฉียบแหลม แต่มีสถิติอาจพบว่าเป็นการยากที่จะปรับความสัมพันธ์ทั้งสองให้สอดคล้องกัน - ในฐานะ "ความแปรปรวนร่วม" (ซึ่งรวมถึงค่าเฉลี่ยโดยขนาดตัวอย่างการหารโดยdf= "n-1") และเป็น "โคไซน์" ค่าเฉลี่ยดังกล่าว) แต่ในความเป็นจริงแล้วไม่มีการหาค่าเฉลี่ยจริงในสูตรแรกของสหสัมพันธ์ สิ่งที่เป็นที่ ส่วนเบี่ยงเบนโดยที่ Z-มาตรฐานก็ประสบความสำเร็จได้รับการคำนวณในทางกลับกันที่มีการแบ่งโดยการเดียวกันกับที่DF; และอื่น ๆ ส่วนคำว่า "n-1" ในสูตรของความสัมพันธ์ตามที่แปรปรวนอย่างสิ้นเชิงถ้าคุณยกเลิกการแกะสูตร: สูตรจะกลายเป็นสูตรของโคไซน์ การคำนวณค่าความสัมพันธ์เชิงประจักษ์ที่คุณต้องการจริงๆไม่ได้ที่จะรู้ว่า$^2$$n$ (ยกเว้นเมื่อคำนวณค่าเฉลี่ยไปยังกึ่งกลาง)

$A^TA$$A$$A$

$A$$A^TA = I$ $-$

@NRH ให้คำตอบทางเทคนิคที่ดี

$A^TA$$A^2$

$A'A$$m \times n$$A: R^n \rightarrow R^m$$A$

$(A'A): R^n \rightarrow R^n$$\{e_1,..., e_n\}$$d_1,\ldots,d_k$

$(A'A)(x_1e_1 + \ldots + x_ne_n) = d_1x_1e_1 + ... + d_kx_ke_k$

(b) ช่วง (A) = Col (A), โดยคำจำกัดความของ Col (A) ดังนั้น A | Row (A) จะทำการแมป Row (A) เข้ากับ Col (A)

$Av'= 0 \iff \text{v is in Kernel(A)} \iff v \text{is in orthogonal complement of Row(A)}$

$A(R^n)=A(\text{Row}(A))$$A|\text{Row(A)}:\text{Row(A)} \rightarrow Col(A)$

Reason: If v = r+k (r \in Row(A), k \in Kernel(A),from (c)) then
A(v) = A(r) + 0 = A(r) where A(r) = 0 <==> r = 0$.

[บังเอิญให้หลักฐานว่าอันดับแถว = อันดับคอลัมน์!]

$A'|:Col(A)=\text{Row(A)} \rightarrow \text{Col(A')}=\text{Row(A)}$

$A'A(R^n) = \text{Row(A)}$

$\textbf{A}^T\textbf{A}$

$\textbf{A}^T$$\textbf{A}$$row_p$$\textbf{A}^T$$col_p$$\textbf{A}$$dot(row_p, col_p)$$(p,p)$$\textbf{A}^T \textbf{A}$

$p$$\textbf{A}^T$$k$$\textbf{A}$$dot(row_p, col_k)$$(p,k)$

$(p, k)$$\textbf{A}^T\textbf{A}$$row_p$$col_k$$row_i$$col_j$$row_i$$col_j$, และในทางกลับกัน.

$\textbf{A}$$i$$j \neq i$

$x\to E[x^2]$$A\to A^TA$

$x$$x_i$

$x$

$\sigma^2=E[x^2]$$A^TA$$A^TA$