นี่เป็นพีชคณิตคู่กับคำตอบทางเรขาคณิตที่สวยงามของ @ Martijn
ก่อนอื่นขีด จำกัด ของเมื่อเป็นอย่างมาก ง่ายต่อการได้มา: ในขีด จำกัด เทอมแรกในฟังก์ชั่นการสูญเสียจะเล็กน้อยและสามารถเพิกเฉยได้ ปัญหาการปรับให้เหมาะสมจะกลายเป็นซึ่งเป็นองค์ประกอบหลักตัวแรกของλ →การ∞ Lim λ →การ∞ β * λ = β * ∞ = R กรัม
β^∗λ=argmin{∥y−Xβ∥2+λ∥β∥2}s.t.∥Xβ∥2=1
λ→∞Xlimλ→∞β^∗λ=β^∗∞=argmin∥Xβ∥2=1∥β∥2∼argmax∥β∥2=1∥Xβ∥2,
X(ปรับสัดส่วนอย่างเหมาะสม) คำถามนี้ตอบคำถาม
ตอนนี้ให้เราพิจารณาวิธีแก้ปัญหาสำหรับค่าใด ๆ ของที่ฉันอ้างถึงในจุดที่ 2 ของคำถามของฉัน การเพิ่มฟังก์ชั่นการสูญเสียตัวคูณลากรองจ์และสร้างความแตกต่างเราได้รับμ ( ‖ X β ‖ 2 - 1 )λμ(∥Xβ∥2−1)
β^∗λ=((1+μ)X⊤X+λI)−1X⊤ywith μ needed to satisfy the constraint.
วิธีการแก้ปัญหานี้จะทำงานอย่างไรเมื่อเติบโตจากศูนย์ถึงไม่มีที่สิ้นสุด?λ
เมื่อเราได้รับโซลูชัน OLS ที่ปรับขนาดแล้ว:β * 0 ~ β 0λ=0
β^∗0∼β^0.
สำหรับค่าบวก แต่น้อยของวิธีแก้ปัญหาเป็นรุ่นที่ปรับขนาดของตัวประมาณสัน:บีตา * λ ~ บีตา λ *λ
β^∗λ∼β^λ∗.
เมื่อค่าของจำเป็นเพื่อตอบสนองข้อ จำกัด คือ0ซึ่งหมายความว่าวิธีแก้ปัญหาเป็นรุ่นที่ปรับขนาดขององค์ประกอบ PLS แรก (หมายความว่าของตัวประมาณสันเขาที่สอดคล้องกันคือ ):( 1 + μ ) 0 λ * ∞ บีตา * ‖ X X ⊤ Y ‖ ~ X ⊤ Yλ=∥XX⊤y∥(1+μ)0λ∗∞
β^∗∥XX⊤y∥∼X⊤y.
เมื่อมีขนาดใหญ่กว่านั้นคำที่จำเป็นจะกลายเป็นลบ นับจากนี้ไปโซลูชันจะเป็นตัวประมาณขนาดแบบจำลองของ pseudo-ridge ประมาณค่ากับพารามิเตอร์ normalization เชิงลบ ( สันเขาเชิงลบ ) ในแง่ของทิศทางตอนนี้เราผ่านการถดถอยของสันเขากับแลมบ์ดาที่ไม่มีที่สิ้นสุดλ(1+μ)
เมื่อคำว่าจะเป็นศูนย์ (หรือเบี่ยงเบนไป อินฟินิตี้) เว้นแต่ที่เป็นค่าเอกพจน์ที่ใหญ่ที่สุดของX นี้จะทำให้จำกัด และสัดส่วนกับแกนหลักแรกV_1 เราจำเป็นต้องตั้งค่าเพื่อตอบสนองข้อ จำกัด ดังนั้นเราจึงได้รับλ→∞((1+μ)X⊤X+λI)−1μ=−λ/s2max+αsmaxX=USV⊤β^∗λV1μ=−λ/s2max+U⊤1y−1
β^∗∞∼V1.
โดยรวมแล้วเราจะเห็นว่าปัญหาการย่อขนาดเล็กสุดนี้ครอบคลุมรุ่น OLS, RR, PLS และ PCA ในรุ่นต่อไปนี้:
OLS→RR→PLS→negative RR→PCA
สิ่งนี้ดูเหมือนจะเทียบเท่ากับกรอบทางเคมีที่คลุมเครือ (?) ที่เรียกว่า "การถดถอยแบบต่อเนื่อง" (ดูhttps://scholar.google.de/scholar?q="continuum+regression "โดยเฉพาะอย่างยิ่ง Stone & Brooks 1990, Sundberg 1993 Björkström & Sundberg 2542 ฯลฯ ) ซึ่งอนุญาตให้มีการรวมกันโดยการเพิ่มเกณฑ์เฉพาะกิจเห็นได้ชัดว่าเรื่องนี้ทำให้อัตราส่วน OLS เมื่อ , PLS เมื่อ , PCA เมื่อและสามารถแสดงให้เห็นว่าอัตราผลตอบแทน RR สำหรับ
T=corr2(y,Xβ)⋅Varγ(Xβ)s.t.∥β∥=1.
γ=0γ=1γ→∞0<γ<11<γ<∞ดูที่ Sundberg 1993
แม้จะมีประสบการณ์ค่อนข้างน้อยกับ RR / PLS / PCA / ฯลฯ ฉันต้องยอมรับว่าฉันไม่เคยได้ยินเกี่ยวกับ "การถดถอยต่อเนื่อง" มาก่อน ฉันควรจะพูดด้วยว่าฉันไม่ชอบคำนี้
แผนผังที่ฉันทำตาม @ Martijn's:
อัปเดต:รูปที่อัปเดตด้วยเส้นทางริดจ์เชิงลบต้องขอบคุณ @Martijn อย่างมากสำหรับการแนะนำว่าควรมีลักษณะอย่างไร ดูคำตอบของฉันในการทำความเข้าใจการถดถอยเชิงลบของสันเขาสำหรับรายละเอียดเพิ่มเติม