การเชื่อมต่อระหว่างกำลังสองน้อยที่สุดบางส่วนการถดถอยอันดับลดลงและการถดถอยองค์ประกอบหลักคืออะไร

การถดถอยอันดับที่ลดลงและการถดถอยส่วนประกอบหลักเป็นเพียงกรณีพิเศษที่มีกำลังสองน้อยที่สุดหรือไม่?

บทช่วยสอนนี้ (หน้า 6, "การเปรียบเทียบวัตถุประสงค์") ระบุว่าเมื่อเราทำบางส่วนกำลังสองน้อยที่สุดโดยไม่ต้องฉาย X หรือ Y (เช่น "ไม่ใช่บางส่วน") มันจะกลายเป็นการลดอันดับการถดถอยหรือการถดถอยองค์ประกอบหลักตามลำดับ

ข้อความที่คล้ายกันนี้จัดทำขึ้นในหน้าเอกสารของ SAS นี้หัวข้อ "การลดอันดับการถดถอย" และ "ความสัมพันธ์ระหว่างวิธีการ"

คำถามติดตามพื้นฐานที่สำคัญกว่าคือมีแบบจำลองความน่าจะเป็นพื้นฐานที่คล้ายคลึงกันหรือไม่

— Minkov
แหล่งที่มา

นี่เป็นปัญหาที่สำคัญจริงๆ

— Steve

@ Steve ขอบคุณ ดูความคิดเห็นของฉันด้านบนสำหรับการแนะนำรายละเอียดเพิ่มเติม

— Minkov

นี่เป็นวิธีการสามแบบที่แตกต่างกันและไม่มีใครสามารถมองว่าเป็นกรณีพิเศษของวิธีอื่น

อย่างเป็นทางการถ้าชุดข้อมูลและเป็นตัวทำนายกึ่งกลาง ( ) และชุดคำตอบ ( ) และถ้าเรามองหาคู่แรกของแกนสำหรับและสำหรับดังนั้นวิธีการเหล่านี้ เพิ่มปริมาณต่อไปนี้: $\mathbf X$ $\mathbf Y$ $n \times p$ $n\times q$ $\mathbf w \in \mathbb R^p$ $\mathbf X$ $\mathbf v \in \mathbb R^q$ $\mathbf Y$

\begin{aligned} P C A : & Var (X w) \\ R R R : & {Corr}^{2} (X w, Y v) \cdot Var (Y v) \\ P L S : & Var (X w) \cdot {Corr}^{2} (X w, Y v) \cdot Var (Y v) = {Cov}^{2} (X w, Y v) \\ C C A : & {Corr}^{2} (X w, Y v) \end{aligned}

$\begin{align} \mathrm{PCA:}&\quad \operatorname{Var}(\mathbf{Xw}) \\ \mathrm{RRR:}&\quad \phantom{\operatorname{Var}(\mathbf {Xw})\cdot{}}\operatorname{Corr}^2(\mathbf{Xw},\mathbf {Yv})\cdot\operatorname{Var}(\mathbf{Yv}) \\ \mathrm{PLS:}&\quad \operatorname{Var}(\mathbf{Xw})\cdot\operatorname{Corr}^2(\mathbf{Xw},\mathbf {Yv})\cdot\operatorname{Var}(\mathbf {Yv}) = \operatorname{Cov}^2(\mathbf{Xw},\mathbf {Yv})\\ \mathrm{CCA:}&\quad \phantom{\operatorname{Var}(\mathbf {Xw})\cdot {}}\operatorname{Corr}^2(\mathbf {Xw},\mathbf {Yv}) \end{align}$

(ฉันเพิ่มการวิเคราะห์ความสัมพันธ์แบบบัญญัติ (CCA) ในรายการนี้)

ฉันสงสัยว่าความสับสนอาจเป็นเพราะใน SAS ทั้งสามวิธีนั้นดูเหมือนว่าจะมีการใช้งานผ่านฟังก์ชั่นเดียวกันPROC PLSกับพารามิเตอร์ที่แตกต่างกัน ดังนั้นจึงอาจดูเหมือนว่าทั้งสามวิธีเป็นกรณีพิเศษของ PLS เพราะนั่นคือวิธีการตั้งชื่อฟังก์ชั่น SAS อย่างไรก็ตามนี่เป็นเพียงการตั้งชื่อที่โชคร้าย ในความเป็นจริง PLS, RRR และ PCR สามวิธีที่แตกต่างกันที่เพิ่งเกิดขึ้นที่จะดำเนินการใน SAS PLSในหนึ่งฟังก์ชั่นที่มีเหตุผลบางอย่างที่เรียกว่า

บทเรียนทั้งสองที่คุณเชื่อมโยงนั้นชัดเจนมากเกี่ยวกับเรื่องนั้น หน้า 6 ของบทช่วยสอนการนำเสนอระบุวัตถุประสงค์ของทั้งสามวิธีและไม่ได้บอกว่า PLS "กลายเป็น" RRR หรือ PCR ตรงกันข้ามกับสิ่งที่คุณอ้างในคำถามของคุณ ในทำนองเดียวกันเอกสาร SAS อธิบายว่าสามวิธีแตกต่างกันโดยให้สูตรและปรีชา:

[P] การถดถอยส่วนประกอบ rincipal เลือกปัจจัยที่อธิบายความแปรปรวนของตัวทำนายมากที่สุดลดการถดถอยอันดับเลือกปัจจัยที่อธิบายความแปรปรวนของการตอบสนองมากที่สุดเท่าที่จะเป็นไปได้และบางส่วนกำลังสองน้อยที่สุดสมดุลทั้งสองวัตถุประสงค์ .

$x_1$ $x_2$ $y$ $X$ $y$ $X$

หนึ่งสามารถเพิ่มบทลงโทษริดจ์ใน RRR ฟังก์ชั่นที่หายไปรับริดจ์ลดอันดับการถดถอยหรือ RRRR สิ่งนี้จะดึงแกนการถดถอยไปยังทิศทาง PC1 ซึ่งคล้ายกับสิ่งที่ PLS กำลังทำอยู่ อย่างไรก็ตามฟังก์ชั่นต้นทุนสำหรับ RRRR ไม่สามารถเขียนในรูปแบบ PLS ดังนั้นจึงยังคงแตกต่างกัน

$y$

— อะมีบาพูดว่า Reinstate Monica
แหล่งที่มา

ตารางท้ายสุดมีประโยชน์มาก จากตารางนั้นอาจพิจารณา PCA, RRR และ CCA เป็น "กรณีพิเศษ" ของ PLS หากคุณคิดว่าจักรยานและ unicycles เป็นกรณีพิเศษของรถสามล้อ ฉันไม่คิดว่าจะเป็นอย่างนั้น

— EdM

@EdM ฉันคิดว่าเราสามารถพูดได้ว่าวิธีการเหล่านี้ทั้งหมดเป็นกรณีพิเศษของวิธีการรวมกันบางอย่างที่ไม่มีชื่อจริง ๆ (แต่มีใครสามารถประดิษฐ์มันได้!) แต่ชื่อ "PLS" มีความหมายที่สร้างไว้แล้วและความหมายนี้ไม่รวมถึงเทคนิคอื่นใดเหล่านี้

— อะมีบาพูดว่า Reinstate Monica

และขอบคุณ! ฉันตัดสินใจในขณะนี้ที่จะย้ายตารางเพื่อจุดเริ่มต้นของคำตอบ :)

— อะมีบากล่าวว่าคืนสถานะโมนิกา

X

$X$

Y

$Y$

V a r (X w)^{α} \cdot C o r r (X w, Y v)^{β} \cdot V a r (Y v)^{γ}

$\mathrm{Var}(Xw)^\alpha\cdot \mathrm{Corr}(Xw,Yv)^\beta\cdot \mathrm{Var}(Yv)^\gamma$

— อะมีบาพูดว่า Reinstate Monica

@Moskowitz: โดยทั่วไปเมื่อผู้คนพูดถึงวิธีการ A เป็น "กรณีพิเศษ" ของวิธี B พวกเขาหมายความว่า B นั้นกว้างกว่าและ A เทียบเท่ากับ B พร้อมพารามิเตอร์เฉพาะบางอย่าง พวกเขาไม่ได้หมายความว่า A ให้ผลลัพธ์เหมือนกับ B ภายใต้เงื่อนไขพิเศษบางอย่างบนชุดข้อมูล ดังนั้นคำตอบของฉันสำหรับคำถามของคุณ

— อะมีบาพูดว่า Reinstate Monica