ขีด จำกัด ของ "หน่วยความแปรปรวน" ตัวประมาณการถดถอยของสันเมื่อ

พิจารณาสันถดถอยด้วยข้อ จำกัด เพิ่มเติมที่มีผลรวมของหน่วยสแควร์ส (เทียบเท่าความแปรปรวนของหน่วย); หากจำเป็นเราสามารถสันนิษฐานได้ว่ามีผลรวมของหน่วยกำลังสองเช่นกัน: $\hat{\mathbf y}$ $\mathbf y$

{\hat{β}}_{λ}^{*} = \arg min {‖ y - X β ‖^{2} + λ ‖ β ‖^{2}} s.t. ‖ X β ‖^{2} = 1.

$\hat{\boldsymbol\beta}_\lambda^* = \arg\min\Big\{\|\mathbf y - \mathbf X \boldsymbol \beta\|^2+\lambda\|\boldsymbol\beta\|^2\Big\} \:\:\text{s.t.}\:\: \|\mathbf X \boldsymbol\beta\|^2=1.$

ขีด จำกัด ของ $\hat{\boldsymbol\beta}_\lambda^*$ เมื่อ $\lambda\to\infty$ คืออะไร?

นี่คือข้อความบางส่วนที่ฉันเชื่อว่าเป็นจริง:

เมื่อ $\lambda=0$ มีวิธีแก้ไขที่ชัดเจน: ใช้ตัวประมาณ OLS $\hat{\boldsymbol\beta}_0=(\mathbf X^\top \mathbf X)^{-1}\mathbf X^\top \mathbf y$ และทำให้เป็นมาตรฐานเพื่อสนองข้อ จำกัด (เราสามารถเห็นสิ่งนี้ได้โดยการเพิ่มตัวคูณและสร้างความแตกต่างของ Lagrange):
${\hat{β}}_{0}^{*} = {\hat{β}}_{0} / ‖ X {\hat{β}}_{0} ‖ .$ $\hat{\boldsymbol\beta}_0^* = \hat{\boldsymbol\beta}_0 \big/ \|\mathbf X\hat{\boldsymbol\beta}_0\|.$
โดยทั่วไปการแก้ปัญหาคือ
${\hat{β}}_{λ}^{*} = ((1 + μ) X^{⊤} X + λ I)^{- 1} X^{⊤} y with μ needed to satisfy the constraint .$ $\hat{\boldsymbol\beta}_\lambda^*=\big((1+\mu)\mathbf X^\top \mathbf X + \lambda \mathbf I\big)^{-1}\mathbf X^\top \mathbf y\:\:\text{with $\mu$ needed to satisfy the constraint}.$ ฉันไม่เห็นวิธีการแก้ปัญหาแบบปิดเมื่อ $\lambda >0$ 0 ดูเหมือนว่าการแก้ปัญหาคือเทียบเท่ากับประมาณ RR ปกติกับบาง $\lambda^*$ ปกติจะตอบสนองข้อ จำกัด แต่ฉันไม่เห็นสูตรที่ปิดสนิทสำหรับ $\lambda^*$ *
เมื่อ $\lambda\to \infty$ ตัวประมาณ RR เป็นศูนย์
${\hat{β}}_{λ} = (X^{⊤} X + λ I)^{- 1} X^{⊤} y$ $\hat{\boldsymbol\beta}_\lambda=(\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1}\mathbf X^\top \mathbf y$ อย่างชัดเจนแต่ทิศทาง $\hat{\boldsymbol\beta}_\lambda \big/ \|\hat{\boldsymbol\beta}_\lambda\|$ ลู่ไปในทิศทางของ $\mathbf X^\top \mathbf y$ , อาคาแรกสี่เหลี่ยมอย่างน้อยบางส่วน (PLS) ส่วนประกอบ

ข้อความ (2) และ (3) ร่วมกันทำให้ฉันคิดว่าบางที $\hat{\boldsymbol\beta}_\lambda^*$ ยังรวมเข้ากับ $\mathbf X^\top \mathbf y$ ปกติ แต่ฉันไม่แน่ใจว่าสิ่งนี้หรือไม่ ถูกต้องและฉันไม่สามารถโน้มน้าวตัวเองได้

— อะมีบาพูดว่า Reinstate Monica
แหล่งที่มา

คำตอบ:

การตีความทางเรขาคณิต

ตัวประมาณที่อธิบายในคำถามคือตัวคูณลากรองจ์ของปัญหาการปรับให้เหมาะสมดังต่อไปนี้:

minimize f (β) subject to g (β) \leq t and h (β) = 1

$\text{minimize $f(\beta)$ subject to $g(\beta) \leq t$ and $h(\beta) = 1$ }$

\begin{aligned} f (β) & = ‖ y - X β ‖^{2} \\ g (β) & = ‖ β ‖^{2} \\ h (β) & = ‖ X β ‖^{2} \end{aligned}

$\begin{align} f(\beta) &= \lVert y-X\beta \lVert^2 \\ g(\beta) &= \lVert \beta \lVert^2\\ h(\beta) &= \lVert X\beta \lVert^2 \end{align}$

ซึ่งสามารถดูได้ในเชิงเรขาคณิตเป็นการค้นหา ellipsoidที่เล็กที่สุดซึ่งสัมผัสกับจุดตัดของทรงกลมและ ellipsoid $f(\beta)=\text{RSS }$ $g(\beta) = t$ $h(\beta)=1$

เปรียบเทียบกับมุมมองการถดถอยสันมาตรฐาน

ในแง่ของมุมมองทางเรขาคณิตนี้เปลี่ยนแปลงเก่าดู (สำหรับการถดถอยสันเขามาตรฐาน) ของจุดที่ลูกกลม (ข้อผิดพลาด) และทรงกลม ( ) $\|\beta\|^2=t$ สัมผัส ในมุมมองใหม่ที่เรามองหาจุดที่ลูกกลม (ข้อผิดพลาด) สัมผัสเส้นโค้ง (บรรทัดฐานของเบต้า จำกัด โดย $\|X\beta\|^2=1$ ) หนึ่งทรงกลม (สีน้ำเงินในภาพด้านซ้าย) เปลี่ยนเป็นรูปมิติด้านล่างเนื่องจากการแยกด้วยข้อ จำกัด $\|X\beta\|=1$

ในกรณีสองมิตินี่เป็นมุมมองที่ง่าย

เมื่อเราปรับพารามิเตอร์จากนั้นเราเปลี่ยนความยาวสัมพัทธ์ของทรงกลมสีน้ำเงิน / แดงหรือขนาดสัมพัทธ์ของและ (ในทางทฤษฎีของตัวคูณแบบลากรองจ์อาจเป็นวิธีที่เป็นระเบียบเรียบร้อยและเป็นทางการ ว่าอธิบายว่านี้หมายถึงว่าสำหรับแต่ละเป็นหน้าที่ของหรือกลับเป็นฟังก์ชั่นที่น่าเบื่อ. แต่ฉันคิดว่าคุณสามารถเห็นสังหรณ์ใจว่าผลรวมของความคลาดเคลื่อนกำลังสองเพียง แต่เพิ่มเมื่อเราลด .) $t$ $f(\beta)$ $g(\beta)$ $t$ $\lambda$ $||\beta||$

โซลูชันสำหรับเป็นตามที่คุณโต้เถียงในบรรทัดระหว่าง 0 และ $\beta_\lambda$ $\lambda=0$ $\beta_{LS}$

โซลูชันสำหรับคือ (แน่นอนตามที่คุณแสดงความคิดเห็น) ในการโหลดขององค์ประกอบหลักแรก นี่คือจุดที่เป็นที่เล็กที่สุดสำหรับ1 มันคือจุดที่วงกลมสัมผัส ellipseในจุดเดียว $\beta_\lambda$ $\lambda \to \infty$ $\lVert \beta \rVert^2$ $\lVert \beta X \rVert^2 = 1$ $\lVert \beta \rVert^2=t$ $|X\beta|=1$

ในมุมมอง 2ขอบของจุดตัดของทรงกลมและรูปทรงกลมเป็นจุด ในหลายมิติสิ่งเหล่านี้จะเป็นส่วนโค้ง $\lVert \beta \rVert^2 =t$ $\lVert \beta X \rVert^2 = 1$

(ฉันจินตนาการก่อนว่าเส้นโค้งเหล่านี้จะเป็นรูปวงรี แต่มันซับซ้อนกว่าคุณสามารถจินตนาการรูปวงรีถูกตัดโดยลูกบอลเหมือนบางอย่าง ประเภทของ ellipsoid frustum แต่มีขอบที่ไม่ใช่ ellipses ธรรมดา) $\lVert X \beta \rVert^2 = 1$ $\lVert \beta \rVert^2 \leq t$

เกี่ยวกับขีด จำกัด $\lambda \to \infty$

ในตอนแรก (การแก้ไขก่อนหน้า) ฉันเขียนว่าจะมีข้อ จำกัดด้านบนซึ่งการแก้ปัญหาทั้งหมดจะเหมือนกัน (และพวกเขาอยู่ในจุด ) แต่นี่ไม่ใช่กรณี $\lambda_{lim}$ $\beta^*_\infty$

พิจารณาการเพิ่มประสิทธิภาพเป็นอัลกอริทึม LARS หรือการไล่ระดับสี หากในจุดใดก็ตามมีทิศทางที่เราสามารถเปลี่ยนเช่นว่าโทษระยะเพิ่มขึ้นน้อยกว่าเทอม SSRลดลงจากนั้นคุณไม่ได้อยู่ในขั้นต่ำ . $\beta$ $\beta$ $|\beta|^2$ $|y-X\beta|^2$

ในการถดถอยสันเขาปกติคุณมีความลาดชันเป็นศูนย์ (ในทุกทิศทาง) สำหรับในจุด 0 ดังนั้นสำหรับ จำกัด ทั้งหมดการแก้ปัญหาจึงไม่สามารถ (เนื่องจากขั้นตอนเล็ก ๆ น้อย ๆ สามารถทำเพื่อลดผลรวมของส่วนที่เหลือกำลังสองโดยไม่เพิ่มค่าปรับ) $|\beta|^2$ $\beta=0$ $\lambda$ $\beta = 0$
สำหรับ LASSOสิ่งนี้ไม่เหมือนกันตั้งแต่: การลงโทษคือ (ดังนั้นมันจึงไม่เป็นกำลังสองที่มีความชันเป็นศูนย์) เนื่องจาก LASSO นั้นจะมีค่า จำกัดด้านบนซึ่งการแก้ปัญหาทั้งหมดเป็นศูนย์เพราะระยะการลงโทษ (คูณด้วย ) จะเพิ่มขึ้นมากกว่าผลรวมที่เหลือของกำลังสองลดลง $\lvert \beta \rvert_1$ $\lambda_{lim}$ $\lambda$
สำหรับสันเขาที่มีข้อ จำกัดคุณจะได้รับเช่นเดียวกับการถดถอยสันเขาปกติ หากคุณเปลี่ยนเริ่มจากการเปลี่ยนแปลงนี้จะตั้งฉากกับ (ตั้งฉากกับพื้นผิวของวงรี ) และสามารถเปลี่ยนแปลงได้โดยขั้นตอนเล็ก ๆ น้อย ๆ โดยไม่ต้องเปลี่ยนเงื่อนไขการลงโทษ แต่ลดผลรวมของส่วนที่เหลือกำลังสอง ดังนั้นสำหรับทุก ๆจุดไม่สามารถแก้ปัญหาได้ $\beta$ $\beta^*_\infty$ $\beta$ $\beta^*_\infty$ $|X\beta|=1$ $\beta$ $\lambda$ $\beta^*_\infty$

หมายเหตุเพิ่มเติมเกี่ยวกับขีด จำกัด $\lambda \to \infty$

ขีด จำกัด การถดถอยของสันเขาตามปกติสำหรับถึงอนันต์สอดคล้องกับจุดที่แตกต่างในการถดถอยสันสันที่มีข้อ จำกัด ข้อ จำกัด 'เก่า' นี้สอดคล้องกับจุดที่เท่ากับ -1 จากนั้นอนุพันธ์ของฟังก์ชันลากรองจ์ในปัญหาที่ทำให้เป็นมาตรฐาน $\lambda$ $\mu$

$2 (1 + μ) X^{T} X β + 2 X^{T} y + 2 λ β$ $2 (1+\mu) X^{T}X \beta + 2 X^T y + 2 \lambda \beta$ สอดคล้องกับวิธีแก้ปัญหาสำหรับอนุพันธ์ของฟังก์ชัน Lagrange ในปัญหามาตรฐาน

$2 X^{T} X β^{'} + 2 X^{T} y + 2 \frac{λ}{(1 + μ)} β^{'} with β^{'} = (1 + μ) β$ $2 X^{T}X \beta^\prime + 2 X^T y + 2 \frac{\lambda}{(1+\mu)} \beta^\prime \qquad \text{with $\beta^\prime = (1+\mu)\beta$}$

เขียนโดยStackExchangeStrike

— Sextus Empiricus
แหล่งที่มา

+1 ขอบคุณมากนี่เป็นประโยชน์อย่างมาก! ฉันจะต้องใช้เวลาคิดสักหน่อย

— อะมีบาพูดว่า Reinstate Monica

มันคุ้มค่าที่จะชี้ให้เห็นว่ารูปไข่สีแดงและสีดำมีรูปร่างเหมือนกัน: นี่คือสาเหตุที่จุดที่พวกมันสัมผัสอยู่บนเส้นที่เชื่อมต่อกึ่งกลางของมัน หลักฐานกราฟิกที่ดีของจุด # 1 ในคำถามของฉัน

— อะมีบาพูดว่า Reinstate Monica

ฉันกำลังพยายามที่จะเข้าใจว่าในการวาดภาพของคุณเป็นเบต้าที่ตรงกับตัวประมาณสันกับแลมบ์ดาอนันต์ซึ่งอยู่บนวงรีสีดำ ฉันคิดว่ามันอยู่ระหว่างและ (ใช้สัญลักษณ์ของฉัน) - สองจุดที่มีเครื่องหมายวงกลมเปิดสีดำบนรูปวาดของคุณ ดังนั้นถ้าเราทำการถดถอยแบบสันเขาและทำให้สารละลายกลับมาเป็นปกติและเพิ่มแลมบ์ดาจาก 0 เป็นอินฟินิตี้ก็อาจนำเราไปตามแนวโค้งเดียวกัน แต่ไม่ใช่ทั้งหมดจนถึง PC1 ให้วางในข้อ จำกัด อย่างชัดเจนทำให้การแก้ปัญหาดำเนินไปจนสุด PC1

β_{0}^{*}

$\beta_0^*$

β_{\infty}^{*}

$\beta_\infty^*$

‖ X β ‖ = 1

$\|X\beta\|=1$

— อะมีบาพูดว่า Reinstate Monica

+5 (ฉันเริ่มให้รางวัลที่ฉันจะให้รางวัลกับคำตอบของคุณอย่างมีความสุข) ฉันยังโพสต์คำตอบของฉันเองเพราะฉันทำพีชคณิตมาและมันเกินกว่าจะเพิ่มคำถาม ฉันไม่เชื่อมั่นในข้อสรุปของคุณว่าจะมีข้อ จำกัดหลังจากนั้นโซลูชันจะไม่เปลี่ยนแปลงอีกต่อไปและจะได้รับจาก PC1 ฉันไม่เห็นมันเกี่ยวกับพีชคณิตและฉันไม่เข้าใจอาร์กิวเมนต์ของคุณมากว่าทำไมจึงควรมีอยู่ ลองคิดดูสิ

λ_{lim}

$\lambda_\text{lim}$

— อะมีบาพูดว่า Reinstate Monica

@ amoeba คุณพูดถูกเกี่ยวกับ finiteไม่มีอยู่จริง ฉันถกเถียงกันมากเกินไปอย่างสังหรณ์ใจและกระโดดลงมาอย่างรวดเร็วจากเงื่อนไขเฉพาะสำหรับการถดถอยสันเขาปกติไปสู่การถดถอยสันเขาที่มีข้อ จำกัด RR ปกติมีความลาดชันเป็นศูนย์ (ในทุกทิศทาง) สำหรับในจุด0 ฉันคิดว่า (ตั้งแต่ ) คุณไม่ได้รับสิ่งนี้ด้วยการถดถอยแบบ จำกัด อย่างไรก็ตามเนื่องจากถูก จำกัด กับ ellipsoidคุณไม่สามารถ 'ย้าย'ทุกทิศทาง

λ_{lim}

$\lambda_{\lim}$

| β |^{2}

$|\beta|^2$

β = 0

$\beta = 0$

β_{\infty}^{*} \neq 0

$\beta^*_\infty \neq 0$

β

$\beta$

| X β | = 1

$|X\beta| =1$

β

$\beta$

— Sextus Empiricus

นี่เป็นพีชคณิตคู่กับคำตอบทางเรขาคณิตที่สวยงามของ @ Martijn

ก่อนอื่นขีด จำกัด ของเมื่อเป็นอย่างมาก ง่ายต่อการได้มา: ในขีด จำกัด เทอมแรกในฟังก์ชั่นการสูญเสียจะเล็กน้อยและสามารถเพิกเฉยได้ ปัญหาการปรับให้เหมาะสมจะกลายเป็นซึ่งเป็นองค์ประกอบหลักตัวแรกของ

{\hat{β}}_{λ}^{*} = \arg min {‖ y - X β ‖^{2} + λ ‖ β ‖^{2}} s.t. ‖ X β ‖^{2} = 1

$\hat{\boldsymbol\beta}_\lambda^* = \arg\min\Big\{\|\mathbf y - \mathbf X \boldsymbol \beta\|^2+\lambda\|\boldsymbol\beta\|^2\Big\} \:\:\text{s.t.}\:\: \|\mathbf X \boldsymbol\beta\|^2=1$

λ \to \infty

$\lambda\to\infty$

lim_{λ \to \infty} {\hat{β}}_{λ}^{*} = {\hat{β}}_{\infty}^{*} = \underset{‖ X β ‖^{2} = 1}{a r g m i n} ‖ β ‖^{2} \sim \underset{‖ β ‖^{2} = 1}{a r g m a x} ‖ X β ‖^{2},

$\lim_{\lambda\to\infty}\hat{\boldsymbol\beta}_\lambda^* = \hat{\boldsymbol\beta}_\infty^* = \operatorname*{arg\,min}_{\|\mathbf X \boldsymbol\beta\|^2=1}\|\boldsymbol\beta\|^2 \sim \operatorname*{arg\,max}_{\| \boldsymbol\beta\|^2=1}\|\mathbf X\boldsymbol\beta\|^2,$

X

$\mathbf X$ (ปรับสัดส่วนอย่างเหมาะสม) คำถามนี้ตอบคำถาม

ตอนนี้ให้เราพิจารณาวิธีแก้ปัญหาสำหรับค่าใด ๆ ของที่ฉันอ้างถึงในจุดที่ 2 ของคำถามของฉัน การเพิ่มฟังก์ชั่นการสูญเสียตัวคูณลากรองจ์และสร้างความแตกต่างเราได้รับ $\lambda$ $\mu(\|\mathbf X\boldsymbol\beta\|^2-1)$

{\hat{β}}_{λ}^{*} = ((1 + μ) X^{⊤} X + λ I)^{- 1} X^{⊤} y with μ needed to satisfy the constraint .

$\hat{\boldsymbol\beta}_\lambda^*=\big((1+\mu)\mathbf X^\top \mathbf X + \lambda \mathbf I\big)^{-1}\mathbf X^\top \mathbf y\:\:\text{with $\mu$ needed to satisfy the constraint}.$

วิธีการแก้ปัญหานี้จะทำงานอย่างไรเมื่อเติบโตจากศูนย์ถึงไม่มีที่สิ้นสุด? $\lambda$

เมื่อเราได้รับโซลูชัน OLS ที่ปรับขนาดแล้ว: $\lambda=0$
${\hat{β}}_{0}^{*} \sim {\hat{β}}_{0} .$ $\hat{\boldsymbol\beta}_0^* \sim \hat{\boldsymbol\beta}_0.$
สำหรับค่าบวก แต่น้อยของวิธีแก้ปัญหาเป็นรุ่นที่ปรับขนาดของตัวประมาณสัน: $\lambda$
${\hat{β}}_{λ}^{*} \sim {\hat{β}}_{λ^{*}} .$ $\hat{\boldsymbol\beta}_\lambda^* \sim \hat{\boldsymbol\beta}_{\lambda^*}.$
เมื่อค่าของจำเป็นเพื่อตอบสนองข้อ จำกัด คือ0ซึ่งหมายความว่าวิธีแก้ปัญหาเป็นรุ่นที่ปรับขนาดขององค์ประกอบ PLS แรก (หมายความว่าของตัวประมาณสันเขาที่สอดคล้องกันคือ ): $\lambda=\|\mathbf X\mathbf X^\top \mathbf y\|$ $(1+\mu)$ $0$ $\lambda^*$ $\infty$
${\hat{β}}_{‖ X X^{⊤} y ‖}^{*} \sim X^{⊤} y .$ $\hat{\boldsymbol\beta}_{\|\mathbf X\mathbf X^\top \mathbf y\|}^* \sim \mathbf X^\top \mathbf y.$
เมื่อมีขนาดใหญ่กว่านั้นคำที่จำเป็นจะกลายเป็นลบ นับจากนี้ไปโซลูชันจะเป็นตัวประมาณขนาดแบบจำลองของ pseudo-ridge ประมาณค่ากับพารามิเตอร์ normalization เชิงลบ ( สันเขาเชิงลบ ) ในแง่ของทิศทางตอนนี้เราผ่านการถดถอยของสันเขากับแลมบ์ดาที่ไม่มีที่สิ้นสุด $\lambda$ $(1+\mu)$
เมื่อคำว่าจะเป็นศูนย์ (หรือเบี่ยงเบนไป อินฟินิตี้) เว้นแต่ที่เป็นค่าเอกพจน์ที่ใหญ่ที่สุดของX นี้จะทำให้จำกัด และสัดส่วนกับแกนหลักแรกV_1 เราจำเป็นต้องตั้งค่าเพื่อตอบสนองข้อ จำกัด ดังนั้นเราจึงได้รับ $\lambda\to\infty$ $\big((1+\mu)\mathbf X^\top \mathbf X + \lambda \mathbf I\big)^{-1}$ $\mu = -\lambda/ s^2_\mathrm{max} + \alpha$ $s_\mathrm{max}$ $\mathbf X=\mathbf{USV}^\top$ $\hat{\boldsymbol\beta}_\lambda^*$ $\mathbf V_1$ $\mu = -\lambda/ s^2_\mathrm{max} + \mathbf U_1^\top \mathbf y -1$
${\hat{β}}_{\infty}^{*} \sim V_{1} .$ $\hat{\boldsymbol\beta}_\infty^* \sim \mathbf V_1.$

โดยรวมแล้วเราจะเห็นว่าปัญหาการย่อขนาดเล็กสุดนี้ครอบคลุมรุ่น OLS, RR, PLS และ PCA ในรุ่นต่อไปนี้:

OLS \to RR \to PLS \to negative RR \to PCA

$\boxed{\text{OLS} \to \text{RR} \to \text{PLS} \to \text{negative RR} \to \text{PCA}}$

สิ่งนี้ดูเหมือนจะเทียบเท่ากับกรอบทางเคมีที่คลุมเครือ (?) ที่เรียกว่า "การถดถอยแบบต่อเนื่อง" (ดูhttps://scholar.google.de/scholar?q="continuum+regression "โดยเฉพาะอย่างยิ่ง Stone & Brooks 1990, Sundberg 1993 Björkström & Sundberg 2542 ฯลฯ ) ซึ่งอนุญาตให้มีการรวมกันโดยการเพิ่มเกณฑ์เฉพาะกิจเห็นได้ชัดว่าเรื่องนี้ทำให้อัตราส่วน OLS เมื่อ , PLS เมื่อ , PCA เมื่อและสามารถแสดงให้เห็นว่าอัตราผลตอบแทน RR สำหรับ

T = {corr}^{2} (y, X β) \cdot {Var}^{γ} (X β) s.t. ‖ β ‖ = 1.

$\mathcal T = \operatorname{corr}^2(\mathbf y, \mathbf X \boldsymbol\beta)\cdot \operatorname{Var}^\gamma(\mathbf X\boldsymbol\beta) \;\;\text{s.t.}\;\;\|\boldsymbol\beta\|=1.$

γ = 0

$\gamma=0$

γ = 1

$\gamma=1$

γ \to \infty

$\gamma\to\infty$

0 < γ < 1

$0<\gamma<1$

1 < γ < \infty

$1<\gamma<\infty$ ดูที่ Sundberg 1993

แม้จะมีประสบการณ์ค่อนข้างน้อยกับ RR / PLS / PCA / ฯลฯ ฉันต้องยอมรับว่าฉันไม่เคยได้ยินเกี่ยวกับ "การถดถอยต่อเนื่อง" มาก่อน ฉันควรจะพูดด้วยว่าฉันไม่ชอบคำนี้

แผนผังที่ฉันทำตาม @ Martijn's:

อัปเดต:รูปที่อัปเดตด้วยเส้นทางริดจ์เชิงลบต้องขอบคุณ @Martijn อย่างมากสำหรับการแนะนำว่าควรมีลักษณะอย่างไร ดูคำตอบของฉันในการทำความเข้าใจการถดถอยเชิงลบของสันเขาสำหรับรายละเอียดเพิ่มเติม

— อะมีบาพูดว่า Reinstate Monica
แหล่งที่มา

"การถดถอยอย่างต่อเนื่อง" ดูเหมือนจะเป็นหนึ่งในเทคนิคที่กว้างอย่างน่าประหลาดใจที่มุ่งรวม PLS และ PCA ไว้ในกรอบการทำงานร่วมกัน ฉันไม่เคยได้ยินเรื่องนี้มาก่อนจนกระทั่งค้นคว้าเชิงลบ (ฉันให้ลิงก์ไปยัง Bjorkstron & Sundberg, 1999, กระดาษในความคิดเห็นแรกของคำถามเชิงลบเกี่ยวกับสันเขาที่คุณเชื่อมโยงไปถึง) แต่ดูเหมือนว่าจะมีการพูดคุยกันอย่างกว้างขวาง วรรณกรรมเคมี ต้องมีเหตุผลทางประวัติศาสตร์บางประการที่ทำให้เกิดการพัฒนาขึ้นโดยแยกจากสถิติอื่น ๆ (1/3)

— Ryan Simmons

หนึ่งกระดาษที่คุณอาจต้องการอ่านคือde Jong et al (2001) สูตรของพวกเขาใน "canonical PLS" ดูเหมือนว่าจะเทียบเท่ากับของคุณอย่างรวดเร็วแม้ว่าฉันยอมรับว่าฉันยังไม่ได้เปรียบเทียบคณิตศาสตร์อย่างจริงจัง (พวกเขายังให้ความเห็นเกี่ยวกับการวางนัยทั่วไปของ PLS-PCA อื่น ๆ ในหลอดเลือดดำเดียวกัน) แต่อาจเป็นเรื่องลึกซึ้งที่จะเห็นว่าพวกเขาอธิบายปัญหาแล้วอย่างไร (2/3)

— Ryan Simmons

ในกรณีที่ลิงค์นั้นตายการอ้างอิงทั้งหมดคือ Sijmen de Jong, Barry M. Wise, N. Lawrence Ricker "กำลังสองน้อยที่สุดกำลังสองและการถดถอยแบบต่อเนื่อง" วารสารวิชาเคมี, 2001; 15: 85-100 doi.org/10.1002/… (3/3)

— Ryan Simmons

อา ok แล้วและไปที่อินฟินิตี้ แต่ยังคงอัตราส่วนของพวกเขา 2 ไม่ว่าในกรณีใดเส้นทางการถดถอยของสันเขาเชิงลบควรอยู่ในเซกเตอร์ (ลบ) ระหว่างเวกเตอร์ PLS และ PCA เพื่อให้การฉายภาพของพวกเขาเข้าสู่วงรีอยู่ระหว่างคะแนน PLS และ PCA (บรรทัดฐานที่จะไม่มีที่สิ้นสุดทำให้รู้สึกว่าไปที่อินฟินิตี้เช่นกันดังนั้นเส้นทางจะดำเนินต่อไปทางขวาล่างเริ่มต้นแทนเจนต์, เชิงลบ, PLS และ PCA ในที่สุด)

λ^{*}

$\lambda^*$

1 + μ^{*}

$1+\mu^*$

\pm

$\pm$

s_{m a x}^{2}

$s_{max}^2$

| X β = 1 |

$|X\beta=1|$

μ

$\mu$

— Sextus Empiricus

มันจะเพิ่มการสร้างภาพ ฉันจินตนาการถึงจุดเส้นทาง RR สามจุดในปัจจุบัน (ที่ซึ่งวงกลมและวงรีสัมผัส) ดำเนินต่อไปทางขวาและในที่สุดเมื่อไม่มีที่สิ้นสุดวงกลมและ ellipsoidควร 'สัมผัส' ในทิศทางของจุดที่วงกลมสัมผัสรูปวงรี

| β |^{2} = t_{\infty}

$|\beta|^2=t_{\infty}$

| X (β - \hat{β}) |^{2} = R S S

$|X (\beta - \hat\beta)|^2 =RSS$

| β |^{2} = t_{p c a}

$|\beta|^2=t_{pca}$

| X β |^{2} = 1

$|X \beta|^2 =1$

— Sextus Empiricus

ขีด จำกัด ของ "หน่วยความแปรปรวน" ตัวประมาณการถดถอยของสันเมื่อ

การตีความทางเรขาคณิต

เปรียบเทียบกับมุมมองการถดถอยสันมาตรฐาน

เกี่ยวกับขีด จำกัดλ→∞λ→∞\lambda \to \infty

หมายเหตุเพิ่มเติมเกี่ยวกับขีด จำกัดλ→∞λ→∞\lambda \to \infty

เกี่ยวกับขีด จำกัด $\lambda \to \infty$

หมายเหตุเพิ่มเติมเกี่ยวกับขีด จำกัด $\lambda \to \infty$