ทั่วไปกำลังสองน้อยที่สุด: จากสัมประสิทธิ์การถดถอยถึงสัมประสิทธิ์สหสัมพันธ์?

อย่างน้อยกำลังสองที่มีตัวทำนายหนึ่งตัว:

$y = \beta x + \epsilon$

หากและเป็นมาตรฐานก่อนการประกอบ (เช่น ) ดังนั้น:y ∼ N ( 0 , 1 $x$$y$$\sim N(0,1)$

• $\beta$ R$r$
• x = β y + $\beta$เหมือนกันในการถดถอยที่สะท้อน:$x = \beta y + \epsilon$

สำหรับทั่วไปกำลังสองน้อยที่สุด (GLS), เดียวกันนำไปใช้? คือถ้าฉันสร้างมาตรฐานข้อมูลของฉันฉันจะได้ค่าสัมประสิทธิ์สหสัมพันธ์โดยตรงจากค่าสัมประสิทธิ์การถดถอยหรือไม่?

จากการทดสอบกับข้อมูล GLS ที่สะท้อนจะนำไปสู่ค่าสัมประสิทธิ์แตกต่างกันและฉันไม่แน่ใจว่าฉันเชื่อว่าค่าสัมประสิทธิ์การถดถอยนั้นสอดคล้องกับค่าที่ฉันคาดหวังสำหรับค่าสหสัมพันธ์ ฉันรู้ว่าผู้คนอ้างถึงค่าสัมประสิทธิ์สหสัมพันธ์ของ GLS ดังนั้นฉันจึงสงสัยว่าพวกเขามาถึงพวกเขาได้อย่างไรและด้วยเหตุนี้พวกเขาหมายถึงอะไรจริง ๆ ?$\beta$

คำตอบคือใช่สัมประสิทธิ์การถดถอยเชิงเส้นคือความสัมพันธ์ของตัวทำนายที่มีการตอบสนองแต่ถ้าคุณใช้ระบบพิกัดที่ถูกต้องเท่านั้น

เพื่อดูสิ่งที่ผมหมายถึงการเรียกคืนว่าถ้าและเป็นศูนย์กลางและมาตรฐานแล้วความสัมพันธ์ระหว่างแต่ละและเป็นเพียงสินค้าที่จุดx_iนอกจากนี้วิธีกำลังสองน้อยที่สุดสำหรับการถดถอยเชิงเส้นคือ y x i y x t i$x_1, x_2, \ldots, x_n$$y$$x_i$$y$$x_i^t y$

$$\beta = (X^t X)^{-1} X^t y$$

หากเกิดขึ้นเช่นนั้น (เมทริกซ์เอกลักษณ์) จากนั้น$X^{t} X = I$

$$\beta = X^t y$$

และเรากู้คืนเวกเตอร์สหสัมพันธ์ มันมักจะน่าสนใจที่จะสร้างปัญหาการถดถอยในแง่ของตัวพยากรณ์ที่ทำให้ด้วยการหาชุดเชิงเส้นตรงที่เหมาะสมของตัวทำนายดั้งเดิมที่ทำให้ความสัมพันธ์นี้เป็นจริง ( หรือเทียบเท่าการเปลี่ยนแปลงเชิงเส้นของพิกัด); ตัวทำนายใหม่เหล่านี้เรียกว่าองค์ประกอบหลัก$\tilde{x}_i$$\tilde{X}^t \tilde{X} = I$

ดังนั้นโดยรวมตอบคำถามของคุณคือใช่ แต่เฉพาะเมื่อการพยากรณ์ที่มีตัวเองไม่มีความ มิฉะนั้นการแสดงออก

$$X^t X \beta = X^t y$$

แสดงให้เห็นว่า betas จะต้องผสมกันกับความสัมพันธ์ระหว่างตัวทำนายเองเพื่อกู้คืนความสัมพันธ์การตอบสนองของผู้ทำนาย

ในฐานะที่เป็นบันทึกด้านข้างนี้ยังอธิบายว่าเหตุใดผลที่ได้จึงเป็นจริงเสมอสำหรับการถดถอยเชิงเส้นหนึ่งตัวแปร เมื่อเวกเตอร์ตัวทำนายเป็นมาตรฐานแล้ว:$x$

$$x_0^t x = \sum_i x_{i} = 0$$

โดยที่เป็นเวกเตอร์ดักของทุกอัน ดังนั้นเมทริกซ์ข้อมูล (สองคอลัมน์)จะตอบสนองโดยอัตโนมัติและผลลัพธ์จะตามมา$x_0$$X$$X^t X = I$