“ การถดถอยอันดับที่ลดลง” คืออะไรเกี่ยวกับ?

ฉันได้อ่านองค์ประกอบของการเรียนรู้ทางสถิติแล้วและฉันไม่สามารถเข้าใจได้ว่าส่วนที่ 3.7 "การหดตัวและการเลือกหลายผลลัพธ์" นั้นเกี่ยวกับอะไร มันพูดเกี่ยวกับ RRR (การถดถอยลดอันดับ) และฉันสามารถเข้าใจได้ว่าหลักฐานเป็นเรื่องเกี่ยวกับโมเดลเชิงเส้นหลายตัวแปรแบบทั่วไปที่ไม่ทราบค่าสัมประสิทธิ์ นั่นเป็นสิ่งเดียวที่ฉันเข้าใจ

คณิตศาสตร์ที่เหลืออยู่นั้นเกินกว่าฉัน มันไม่ได้ช่วยให้ผู้เขียนพูดว่า 'ใคร ๆ ก็สามารถแสดง' และทิ้งสิ่งต่าง ๆ ไว้เป็นแบบฝึกหัดได้

ใครช่วยกรุณาอธิบายสิ่งที่เกิดขึ้นที่นี่อย่างสังหรณ์ใจ? บทนี้ควรพูดถึงวิธีการใหม่ ๆ หรือไม่? หรืออะไร?

— CGO
แหล่งที่มา

ดูเหมือนว่าจะให้วิธีการถดถอยที่ใช้ประโยชน์จากรูปแบบผลหลายในบริบทของการหดตัวและการเลือกตัวแปร ไม่มีผลลัพธ์ Y เดี่ยว แต่มีผลลัพธ์ Y มากกว่าหนึ่งรายการ สมมติว่าคุณมีผลลัพธ์ 5 Y จากนั้นส่วนนี้อธิบายวิธีการรวมการประมาณค่าของวิธีการแทนที่จะสร้างแบบจำลอง 5 แบบแยกกัน

— spdrnl

เซนต์น้อยของฉัน: การสันนิษฐานของเมทริกซ์อันดับต่ำทำให้สิ่งต่าง ๆ ง่ายขึ้น โชคดีที่สมมติฐานนี้มีไว้สำหรับแหล่งข้อมูลในโลกแห่งความเป็นจริงจำนวนมาก

— Vladislavs Dovgalecs

ดูเหมือนว่าสมมติฐานนี้เกี่ยวกับการมีข้อ จำกัด ในการแก้ปัญหา บทความนี้อธิบายว่าทำไมstatprob.com/encyclopedia/ ......

— Vladislavs Dovgalecs

คำตอบ:

1. การลดระดับการถดถอย (RRR) คืออะไร?

พิจารณาหลายตัวแปรการถดถอยเชิงเส้นหลายเช่นการถดถอยกับตัวแปรอิสระและตัวแปรตาม ปล่อยให้และเป็นชุดข้อมูลกึ่งกลาง ( ) และชุดข้อมูลการตอบสนอง ( ) จากนั้นสามารถกำหนดสูตรการถดถอยปกติธรรมดากำลังสองน้อยที่สุด (OLS) เป็นการลดฟังก์ชันต้นทุนต่อไปนี้: $p$ $q$ $\mathbf X$ $\mathbf Y$ $n \times p$ $n\times q$

L = ‖ Y - X B ‖^{2},

$L=\|\mathbf Y-\mathbf X\mathbf B\|^2,$

ที่เป็นเมทริกซ์น้ำหนักถดถอย วิธีการแก้ปัญหาของตนจะได้รับจากและมันเป็นเรื่องง่ายที่จะเห็นว่ามันจะเทียบเท่ากับการทำแยกต่างหากถดถอย OLS หนึ่งสำหรับแต่ละตัวแปรตาม $\mathbf B$ $p\times q$

{\hat{B}}_{O L S} = (X^{⊤} X)^{- 1} X^{⊤} Y,

$\hat{\mathbf B}_\mathrm{OLS}=(\mathbf X^\top \mathbf X)^{-1}\mathbf X^\top \mathbf Y,$

q

$q$

การลดอันดับความถดถอยแนะนำข้อ จำกัด ในตำแหน่งคือควรจะลดลงด้วยที่เป็นสูงสุดที่ได้รับอนุญาตยศB $\mathbf B$ $L$ $\operatorname{rank}(\mathbf B)\le r$ $r$ $\mathbf B$

2. วิธีการขอรับโซลูชัน RRR

ปรากฎว่า RRR สามารถถูกโยนเป็นปัญหาไอเก็นนักแสดง อันที่จริงโดยใช้ความจริงที่ว่า OLS เป็นหลักฉายฉากบนพื้นที่คอลัมน์ของเราสามารถเขียนเป็นในระยะแรกไม่ขึ้นอยู่กับและระยะที่สองจะลดลงโดย SVD / PCA ของค่าติดตั้ง $\mathbf X$ $L$

L = ‖ Y - X {\hat{B}}_{O L S} ‖^{2} + ‖ X {\hat{B}}_{O L S} - X B ‖^{2} .

$L=\|\mathbf Y-\mathbf X\hat{\mathbf B}_\mathrm{OLS}\|^2+\|\mathbf X\hat{\mathbf B}_\mathrm{OLS}-\mathbf X\mathbf B\|^2.$

B

$\mathbf B$

\hat{Y} = X {\hat{B}}_{O L S}

$\hat{\mathbf Y}=\mathbf X\hat{\mathbf B}_\mathrm{OLS}$

โดยเฉพาะถ้าเป็นครั้งแรกที่แกนหลักของแล้ว $\mathbf U_r$ $r$ $\hat{\mathbf Y}$

{\hat{B}}_{R R R} = {\hat{B}}_{O L S} U_{r} U_{r}^{⊤} .

$\hat{\mathbf B}_\mathrm{RRR}=\hat{\mathbf B}_\mathrm{OLS}\mathbf U_r\mathbf U_r^\top.$

3. RRR เหมาะสำหรับอะไร?

อาจมีเหตุผลสองประการในการใช้ RRR

$\mathbf B$ $r$

ประการที่สองเราสามารถใช้เป็นวิธีการลดขนาด / การสำรวจข้อมูล หากเรามีตัวแปรตัวทำนายจำนวนมากและตัวแปรตามจำนวนมากมาย RRR จะสร้าง "ปัจจัยแฝง" ในพื้นที่ตัวทำนายที่ทำงานได้ดีที่สุดในการอธิบายความแปรปรวนของ DV จากนั้นเราสามารถลองตีความปัจจัยแฝงเหล่านี้พล็อตพวกมัน ฯลฯ เท่าที่ฉันรู้นี่เป็นเรื่องปกติในระบบนิเวศน์ที่ RRR เป็นที่รู้จักกันในชื่อการวิเคราะห์ความซ้ำซ้อนและเป็นตัวอย่างของสิ่งที่พวกเขาเรียกวิธีการบวช ( ดู @ GavinSimpson )

4. ความสัมพันธ์กับวิธีการลดขนาดอื่น ๆ

RRR เชื่อมต่ออย่างใกล้ชิดกับวิธีการลดขนาดอื่น ๆ เช่น CCA และ PLS ฉันพูดถึงมันเล็กน้อยในคำตอบของฉันในการเชื่อมต่อระหว่างกำลังสองน้อยที่สุดบางส่วนการลดอันดับการถดถอยและการถดถอยองค์ประกอบหลักคืออะไร

$\mathbf X$ $\mathbf Y$ $n \times p$ $n\times q$ $\mathbf w \in \mathbb R^p$ $\mathbf X$ $\mathbf v \in \mathbb R^q$ $\mathbf Y$

$\begin{aligned} P C A : & Var (X w) \\ R R R : & {Corr}^{2} (X w, Y v) \cdot Var (Y v) \\ P L S : & Var (X w) \cdot {Corr}^{2} (X w, Y v) \cdot Var (Y v) = {Cov}^{2} (X w, Y v) \\ C C A : & {Corr}^{2} (X w, Y v) \end{aligned}$ $\begin{align} \mathrm{PCA:}&\quad \operatorname{Var}(\mathbf{Xw}) \\ \mathrm{RRR:}&\quad \phantom{\operatorname{Var}(\mathbf {Xw})\cdot{}}\operatorname{Corr}^2(\mathbf{Xw},\mathbf {Yv})\cdot\operatorname{Var}(\mathbf{Yv}) \\ \mathrm{PLS:}&\quad \operatorname{Var}(\mathbf{Xw})\cdot\operatorname{Corr}^2(\mathbf{Xw},\mathbf {Yv})\cdot\operatorname{Var}(\mathbf {Yv}) = \operatorname{Cov}^2(\mathbf{Xw},\mathbf {Yv})\\ \mathrm{CCA:}&\quad \phantom{\operatorname{Var}(\mathbf {Xw})\cdot {}}\operatorname{Corr}^2(\mathbf {Xw},\mathbf {Yv}) \end{align}$

ดูรายละเอียดเพิ่มเติมได้จากที่นั่น

ดูTorre, 2009, Least-Squares Framework สำหรับการวิเคราะห์องค์ประกอบโดยละเอียดสำหรับวิธีการวิเคราะห์เชิงเส้นแบบหลายตัวแปร (เช่น PCA, CCA, LDA - แต่ไม่ใช่ PLS!) โดยละเอียด

5. ทำไมส่วนนี้ใน Hastie et al สับสนงั้นเหรอ?

L = ‖ Y - X B ‖^{2},

$L=\|\mathbf Y-\mathbf X \mathbf B\|^2,$

L = ‖ (Y - X B) (Y^{⊤} Y)^{- 1 / 2} ‖^{2},

$L=\|(\mathbf Y-\mathbf X \mathbf B)(\mathbf Y^\top \mathbf Y)^{-1/2}\|^2,$

Y

$\mathbf Y$

Y

$\mathbf Y$ เป็นสีขาวแล้วความแตกต่างจะหายไป ดังนั้นสิ่งที่ Hastie และคณะ การโทร RRR นั้นจริง ๆ แล้วเป็น CCA ปลอมตัว (และแน่นอนดูที่ 3.69)

ไม่มีสิ่งใดที่อธิบายอย่างถูกต้องในส่วนนี้ดังนั้นจึงเกิดความสับสน

ดูคำตอบของฉันเกี่ยวกับการสอนที่เป็นมิตรหรือรู้เบื้องต้นเกี่ยวกับการถดถอยแบบลดอันดับเพื่อการอ่านเพิ่มเติม

— อะมีบาพูดว่า Reinstate Monica
แหล่งที่มา

นี่เป็นคำอธิบายโดยละเอียดที่เขียนไว้อย่างดีมาก ขอบคุณฉันขอบคุณมัน

— cgo

r

$r$

B

$\bf B$

Y

$Y$

B

$B$

B

$B$

L

$L$

B

$B$

L

$L$

r

$r$

r

$r$

\hat{df} (r) = p q - (p - r) (q - r) + "a small correction term"

$\hat{\text{df}}(r) = pq - (p-r)(q-r) + \text{"a small correction term"}$

p

$p$

q

$q$

r

$r$

\frac{‖ Y - {\hat{Y}}^{RRRR} (r) ‖_{Fro}^{2}}{(n q - \hat{df} (r))^{2}}

$\frac{\|Y - \hat{Y}^{\text{RRRR}}(r)\|_{\text{Fro}}^2}{(nq - \hat{\text{df}}(r))^2}$

ดูตัวอย่างgoogle.fr/url?sa=t&source=web&rct=j&url=https://…

— dohmatob

Reduced Rank Regression เป็นโมเดลที่ไม่มีผลลัพธ์ Y เดี่ยว แต่เป็นผลลัพธ์ Y หลายรายการ แน่นอนว่าคุณสามารถใส่การถดถอยเชิงเส้นหลายตัวแปรแบบแยกต่างหากสำหรับการตอบสนองแต่ละครั้ง แต่สิ่งนี้ดูเหมือนว่าไม่มีประสิทธิภาพเมื่อความสัมพันธ์ในหน้าที่การทำงานระหว่างตัวทำนายและการตอบสนองแต่ละอย่างชัดเจนคล้ายกัน ดูแบบฝึกหัดตัวต่อนี้สำหรับสถานการณ์ที่ฉันเชื่อว่าเรื่องนี้ชัดเจน

https://www.kaggle.com/c/bike-sharing-demand/data

มีเทคนิคต่าง ๆ ที่เกี่ยวข้องสำหรับการเข้าถึงปัญหานี้ที่สร้าง "ปัจจัย" หรือ "ส่วนประกอบ" ออกจากตัวแปร X ที่ใช้สำหรับการทำนาย Ys หน้าเอกสารนี้จาก SAS ช่วยแก้ไขความแตกต่างให้ฉัน Reduced Rank Regression ดูเหมือนว่าจะเกี่ยวกับการแยกส่วนประกอบที่มีการเปลี่ยนแปลงในการตอบสนองมากที่สุดซึ่งตรงกันข้ามกับ Partial Least Squares ซึ่งแยกส่วนประกอบที่มีการเปลี่ยนแปลงมากที่สุดทั้งในการตอบสนองและตัวทำนาย

https://support.sas.com/documentation/cdl/en/statug/63347/HTML/default/viewer.htm#statug_pls_sect014.htm

— Iggy25
แหล่งที่มา

+1 ถูกต้อง. ฉันพูดถึงหน้าเอกสารประกอบของ SAS นี้และโดยเฉพาะอย่างยิ่งรูปของพวกเขาในคำตอบของฉันใน stats.stackexchange.com/questions/206587

— อะมีบาพูดว่า Reinstate Monica