สันเขาและลาสโซบรรทัดฐาน

12

โพสต์นี้ตามหลังอันนี้: ทำไมการประมาณสันถึงดีกว่า OLS โดยการเพิ่มค่าคงที่ในแนวทแยง

นี่คือคำถามของฉัน:

เท่าที่ฉันรู้แล้วการทำให้เป็นมาตรฐานของสันเขาใช้ -norm (ระยะทางแบบยูคลิด) แต่ทำไมเราถึงใช้สแควร์ของบรรทัดฐานนี้ (แอปพลิเคชันโดยตรงของจะส่งผลให้มีสแควร์รูทของผลรวมของเบต้ากำลังสอง) $\ell_2$ $\ell_2$

เป็นการเปรียบเทียบเราไม่ทำเช่นนี้กับ LASSO ซึ่งใช้ไม่ต้องทำเป็นประจำ แต่นี่คือบรรทัดฐาน"ของจริง" (เพียงผลรวมของกำลังสองของค่าสัมบูรณ์สัมบูรณ์เบต้าและไม่ใช่กำลังสองของผลรวมนี้) $\ell_1$ $\ell_1$

มีคนช่วยฉันอธิบายไหม

lasso regularization ridge-regression

— Plotz
แหล่งที่มา

2

ระยะเวลาการลงโทษในการถดถอยสันเขาเป็นบรรทัดฐาน L2 กำลังสอง ดูสไลด์เหล่านี้ที่เขียนโดย Tibshirani เป็นตัวอย่าง (สไลด์ 7) stat.cmu.edu/~ryantibs/datamining/lectures/16-modr1.pdfดูที่นี่en.wikipedia.org/wiki/Tikhonov_regularization

— boscovich

จุดเล็ก ๆ ของการชี้แจงเหล่านี้เป็นภาพนิ่งจาก Ryan Tibshirani ไม่ใช่ Rob

— Ellis Valentiner

ตกลงขอบคุณมากสำหรับการชี้แจง แต่ฉันไม่เข้าใจว่าทำไมกำลังสองสำหรับ L2 และไม่ได้กำลังสองสำหรับ L1 เราไม่มีสูตรทั่วไปสำหรับการทำให้เป็นมาตรฐานหรือไม่?

— PLOTZ

@ user12202013: ขอบคุณที่ชี้ให้เห็น ฉันไม่ได้สังเกตว่า

— boscovich

9

สันและเชือกเป็นสองวิธีในการทำให้เป็นมาตรฐานและการถดถอย Lasso ถดถอยกำหนดข้อ จำกัด เกี่ยวกับผลรวมของสัมประสิทธิ์สัมบูรณ์:

$\sum_i \sqrt{\beta_i^2} = ||\beta||_1$

การถดถอยของสันเขาเรียกร้องข้อ จำกัด ของผลรวมของความแตกต่างกำลังสอง:

$\sum_i \beta_i^2 = \sqrt{\sum_i \beta_i^2}^2 = ||\beta_i||_2^2$

คุณแนะนำให้แนะนำบรรทัดฐานอื่นความยาวของปริภูมิแบบสัมประสิทธิ์ยูคลิด:

$\sqrt{\sum_i \beta_i^2} = ||\beta_i||_2$

ความแตกต่างระหว่างการถดถอยของสันและความยาวแบบยุคลิดคือการยกกำลังสอง สิ่งนี้เปลี่ยนการตีความของการทำให้เป็นมาตรฐาน ในขณะที่ความยาวของสันเขาและความยาวแบบยุคลิดเป็นศูนย์เป็นศูนย์ แต่การถดถอยของสันก็มีความแตกต่างกันด้วย ค่าสัมประสิทธิ์ที่อยู่ห่างจากศูนย์ดึงขึ้นไปทางศูนย์ สิ่งนี้ทำให้มีเสถียรภาพมากขึ้นประมาณศูนย์เนื่องจากการเปลี่ยนแปลงในแบบปกติจะค่อย ๆ เป็นศูนย์ นี่ไม่ใช่กรณีของความยาวแบบยุคลิดหรือตามความเป็นจริงสำหรับการถดถอยแบบ lasso

— ปีเตอร์
แหล่งที่มา

7

มีวิธีการลงโทษมากมายที่มีฟังก์ชั่นการลงโทษที่แตกต่างกันทุกประเภทในขณะนี้ (สันเขา, บ่วงบาศ, MCP, SCAD) คำถามที่ว่าทำไมหนึ่งในรูปแบบใดรูปแบบหนึ่งโดยทั่วไปคือ "การลงโทษเช่นนี้มีข้อดีหรือข้อเสียอะไร?"

คุณสมบัติที่น่าสนใจอาจเป็น:

1) ตัวประมาณที่ไม่เอนเอียง (สังเกตว่าตัวประมาณที่ถูกลงโทษทั้งหมดจะลำเอียง)

2) Sparsity (การถดถอยของสันโน้ตไม่ให้ผลลัพธ์ที่เบาบางนั่นคือไม่ทำให้ค่าสัมประสิทธิ์ลดลงจนเป็นศูนย์)

3) ความต่อเนื่อง (เพื่อหลีกเลี่ยงความไม่แน่นอนในการทำนายแบบจำลอง)

เหล่านี้เป็นคุณสมบัติเพียงไม่กี่อย่างที่ใคร ๆ ก็สนใจฟังก์ชั่นการลงโทษ

มันเป็นง่ายมากที่จะทำงานร่วมกับผลรวมในการพิสูจน์และการทำงานทฤษฎี: เช่นและ. ลองนึกภาพถ้าเรามี $||\beta||_2^2=\sum |\beta_i|^2$ $||\beta||_1 = \sum |\beta_i|$ หรือ2การจดอนุพันธ์ (ซึ่งจำเป็นต่อการแสดงผลลัพธ์ทางทฤษฎีเช่นความสม่ำเสมอความเป็นระเบียบเชิงเส้นกำกับเป็นต้น) จะเป็นความเจ็บปวดที่มีบทลงโทษเช่นนั้น $\sqrt{\left(\sum |\beta_i|^2\right)}$ $\left( \sum |\beta_i|\right)^2$

— bdeonovic
แหล่งที่มา

โอเคขอบคุณ. แต่ทำไมกำลังสองสำหรับ L2 และไม่ยกกำลังสองสำหรับ L1 เราไม่มีสูตรทั่วไปสำหรับการทำให้เป็นมาตรฐานหรือไม่? นี้จะทำให้งงฉัน ...

— Plotz

@PLOTZ ฉันเพิ่มคำตอบของฉันเล็กน้อย

— bdeonovic

ขอบคุณมากเบนจามิน! แน่นอนตอนนี้มันชัดเจนกว่า! ฉันไม่ได้รับวัตถุประสงค์ทางทฤษฎีนี้ก่อนคำตอบของคุณ ขอบคุณมากสำหรับคำตอบของคุณ

— PLOTZ

@Benjamin: ในจุด # 1 คุณหมายถึง "( ไม่ใช่ตัวประมาณค่าที่ถูกลงโทษทั้งหมดจะไม่เอนเอียง)"? การถดถอยของสันเขา - เพียงเพื่อชื่อหนึ่ง - มีอคติ

— boscovich

อ๊ะขอบคุณสำหรับการจับที่! ฉันคิดว่าในความเป็นจริงตัวประมาณที่ถูกลงโทษทั้งหมดจะลำเอียง

— bdeonovic

5

$\ell_2$ $\ell_1$ $\|\boldsymbol{\beta}\|_p^p$ $p > 0$

การถดถอยแบบสันใช้และ Lassoแต่สามารถใช้ค่าอื่นได้ $p=2$ $p=1$ $p$

ตัวอย่างเช่นคุณมีโซลูชันกระจัดกระจายสำหรับค่าทั้งหมดของและยิ่งค่าของที่ sparser น้อยลง $p \leq 1$ $p$

สำหรับค่าของวัตถุประสงค์ของคุณไม่ราบรื่นดังนั้นการเพิ่มประสิทธิภาพจึงยากขึ้น สำหรับวัตถุประสงค์ไม่นูนดังนั้นการเพิ่มประสิทธิภาพจึงยากขึ้น ... $p \leq 1$ $p<1$

— Tonio Bonnef
แหล่งที่มา

2

ฉันเชื่อว่ามีคำตอบที่ง่ายยิ่งขึ้นที่นี่แม้ว่าคำถาม "ทำไม" มักจะตอบยากเมื่อมีการพัฒนาเทคนิค squaredไม่ถูกใช้เพื่อให้เทอร์มินัลการทำให้มีความแตกต่างได้ง่าย ลดความถดถอยสัน: $l_2$

‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{2}^{2}

$\|\mathbf{y - X\beta}\|^2_2+\lambda\|\beta\|_2^2$

ซึ่งสามารถเขียนได้:

‖ y - X β ‖_{2}^{2} + λ β^{T} β

$\|\mathbf{y - X\beta}\|^2_2+\lambda\beta^T\beta$

ตอนนี้สามารถแตกต่างได้อย่างง่ายดาย wrtเพื่อรับโซลูชันแบบปิด: $\beta$

{\hat{β}}^{ridge} = (X^{T} X + λ I)^{- 1} X^{T} y

$\hat\beta^{\text{ridge}} = (\mathbf{X}^T\mathbf{X} + \lambda I)^{-1}\mathbf{X}^T\mathbf{y}$

จากการอนุมานทุกชนิดสามารถรับได้

— ทิมอทรัยเดส
แหล่งที่มา

1

พิจารณาความแตกต่างที่สำคัญอีกข้อหนึ่งระหว่างการใช้จตุของ norm (เช่นการถดถอยของสัน) และ unmodified norm: อนุพันธ์ของ norm ของ , , ที่ถูกกำหนดโดยดังนั้นจึงไม่มีความแตกต่างที่ศูนย์เวกเตอร์ นั่นคือถึงแม้ว่า norm ไม่ได้เลือกตัวแปรแต่ละตัวเหมือน lasso แต่ในทางทฤษฎีมันสามารถให้ผลผลิตในฐานะที่เป็นวิธีแก้ปัญหาที่น่าจะเป็นโทษสูงสุด โดยกำลังสอง $\ell_2$ $\ell_2$ $\ell_2$ $x$ $||x||_2$ $x$ $\frac{x}{ ||x||_2}$ $\ell_2$ $\beta=0$ $\ell_2$ บรรทัดฐานในการลงโทษการลงโทษแบบสันเขานั้นแตกต่างกันไปทุกหนทุกแห่งและไม่สามารถให้ทางออกได้

พฤติกรรมนี้เป็นสิ่งที่แน่นอน (โดยความเข้าใจของฉัน) ทำไมกลุ่ม lasso (หยวนและหลิน) และกลุ่ม lasso (Simon, et al.) และอื่น ๆ ใช้บรรทัดฐาน (ในส่วนย่อยที่เจาะจงของสัมประสิทธิ์) แทนที่จะเป็นรูปสี่เหลี่ยมจัตุรัส ของบรรทัดฐาน $\ell_2$ $\ell_2$

— psboonstra
แหล่งที่มา