ถ้า p> n, lasso เลือกได้ไม่เกิน n ตัวแปร

แรงจูงใจอย่างหนึ่งของตาข่ายยางยืดคือข้อ จำกัด ของ LASSO ดังต่อไปนี้:

ในกรณีสายบาศกเลือกตัวแปร n ส่วนใหญ่ก่อนที่จะอิ่มตัวเนื่องจากลักษณะของปัญหาการปรับให้เหมาะสมของนูน นี่ดูเหมือนจะเป็นคุณสมบัติที่ จำกัด สำหรับวิธีการเลือกตัวแปร ยิ่งไปกว่านั้นเชือกไม่ได้กำหนดไว้อย่างชัดเจนเว้นแต่ขอบเขตของ L1-norm ของสัมประสิทธิ์มีค่าน้อยกว่าค่าที่แน่นอน $p > n$

( http://onlinelibrary.wiley.com/doi/10.1111/j.1467-9868.2005.00503.x/full )

ฉันเข้าใจว่า LASSO เป็นปัญหาการเขียนโปรแกรมสมการกำลังสอง แต่ยังสามารถแก้ไขได้ผ่าน LARS หรือการไล่ระดับสีแบบองค์ประกอบที่ชาญฉลาด แต่ฉันไม่เข้าใจว่าในอัลกอริธึมเหล่านี้ฉันพบปัญหาหรือไม่ถ้าโดยที่คือจำนวนตัวทำนายและคือขนาดตัวอย่าง และทำไมปัญหานี้แก้ไขได้โดยใช้สุทธิยืดหยุ่นที่ฉันเพิ่มปัญหาไปตัวแปรที่ชัดเจนเกินหน้า $p > n$ $p$ $n$ $p+n$ $p$

— user1137731
แหล่งที่มา

ถ้าบ่วงบาศ จำกัด ใช้ในการรักษา p <= n ทำไมจึงเป็นข้อเสียเปรียบมากกว่าคุณธรรม การ overfitting เป็นปัญหาร้ายแรงที่เกิดขึ้นเมื่อ p = n โมเดลที่มี p = n นั้นเป็นโมเดลที่อิ่มตัวและบ่อยครั้งที่โมเดลนั้น overfits เพราะมันจะพอดีกับข้อมูลที่สังเกตได้อย่างสมบูรณ์แบบ แต่ไม่จำเป็นต้องคาดการณ์ผู้ป่วยในอนาคต

— Michael R. Chernick

Lasso เลือกได้เฉพาะตัวแปรไม่เกินตัวเท่านั้นซึ่งเป็นผลมาจากความจริงที่ว่ามันสามารถแก้ไขได้โดยใช้อัลกอริธึม LARS (แก้ไขเล็กน้อย) ซึ่งยอมรับตัวแปรสูงสุดถึงตัวแปรในชุดที่แอคทีฟเพียงครั้งเดียว สิ่งนี้ไม่ได้อยู่ในกรณีที่ยืดหยุ่นได้โดยการรวมตัวกันของลงโทษและพฤติกรรมเช่นเดียวกับสันเขาถดถอยซึ่งโดยทั่วไปแล้วจะส่งผลให้สัมประสิทธิ์ทั้งหมดเป็นศูนย์

n

$n$

n

$n$

ℓ_{2}

$\ell_2$

— พระคาร์ดินัล

ขอบคุณสำหรับคำตอบและฉันจะดูอย่างไรสำหรับการไล่ระดับสีที่ตัวแปร n ส่วนใหญ่สามารถเลือกได้: การนำเสนอที่cs.cmu.edu/afs/cs/project/link-3/lafferty/www/ml-stat2/talks/ ...กระดาษ (มาตรา 4) ที่datamining.dongguk.ac.kr/papers/GLASSO_JRSSB_V1.final.pdf

— user1137731

@ ผู้ใช้: ฉันคิดว่าคุณอาจจะทำให้ปัญหาทางคณิตศาสตร์กับวิธีแก้ปัญหาเชิงตัวเลข อัลกอริทึม LARS แสดงให้เห็นว่าการแก้ปัญหา lasso จะเลือกตัวแปรที่มากที่สุดนี่เป็นวิธีที่ไม่ขึ้นอยู่กับตัวเลขที่แท้จริงสำหรับวิธีการแก้ปัญหานั่นคืออัลกอริทึม LARS ให้ข้อมูลเชิงลึกเกี่ยวกับปัญหา แต่แน่นอนว่าวิธีการอื่นใดที่แก้ปัญหาต้องมีคุณสมบัติเหมือนกัน! :-)

n

$n$

— สำคัญ

พิจารณาคุณสมบัติที่ซ้ำกันครั้ง จะมีตัวประมาณค่าแบบบ่วงบาศที่มีไม่ใช่ศูนย์อย่างแน่นอน(แม้ว่า ) ดังนั้นข้อความของคุณไม่เป็นจริงตามที่เขียน

p

$p$

p

$p$

p > n

$p>n$

— user795305

คำตอบ:

ดังที่ได้กล่าวมานี้ไม่ใช่คุณสมบัติของอัลกอริทึม แต่เป็นปัญหาการปรับให้เหมาะสม เงื่อนไขของ KKT นั้นให้ค่าสัมประสิทธิ์ไม่เป็นศูนย์โดยจะต้องสอดคล้องกับความสัมพันธ์คงที่กับส่วนที่เหลือ (เป็นพารามิเตอร์การทำให้เป็นมาตรฐาน) $\beta_j$ $|X_j^t(y-X\beta)| = \lambda$ $\lambda$

หลังจากแก้ไขภาวะแทรกซ้อนต่าง ๆ ด้วยค่าสัมบูรณ์แล้วคุณก็จะได้สมการเชิงเส้นสำหรับสัมประสิทธิ์ที่ไม่เป็นศูนย์แต่ละตัว เนื่องจากอันดับของเมทริกซ์คือมากที่สุดเมื่อนี่คือจำนวนของสมการที่สามารถแก้ไขได้และดังนั้นจึงมีค่าเป็นศูนย์ที่ไม่ใช่ n ส่วนใหญ่ (เว้นแต่จะมีความซ้ำซ้อน) $X$ $n$ $p>n$

โดยวิธีการนี้เป็นจริงสำหรับฟังก์ชั่นการสูญเสียใด ๆ ไม่เพียง แต่บ่วงมาตรฐานที่มีการสูญเสียดังนั้นจึงเป็นทรัพย์สินของการลงโทษบ่วงบาศ มีเอกสารมากมายที่แสดงมุมมอง KKT นี้และข้อสรุปที่เกิดขึ้นฉันสามารถชี้ไปที่กระดาษของเรา: Rosset และ Zhu, เส้นทางการแก้ปัญหาเชิงเส้นเชิงเส้น Piecewise, พงศาวดารของสถิติปี 2007 และอ้างอิงในนั้น $L_2$

— Saharon Rosset
แหล่งที่มา

KKT ยืนหยัดเพื่ออะไร? นอกจากนี้เป็นไปได้ไหมที่คุณหมายถึงการสูญเสีย L1 เมื่อพูดถึง Lasso มาตรฐาน?

— miura

สวัสดี Saharon และยินดีต้อนรับสู่เว็บไซต์ คุณสามารถใช้ LaTeX เพื่อสร้างสูตร neater (ฉันทำในคำตอบของคุณ) และคุณไม่จำเป็นต้องลงชื่อโพสต์ของคุณเนื่องจากลายเซ็นจะถูกเพิ่มโดยอัตโนมัติ

— Peter Flom - Reinstate Monica

@miura: KKT ย่อมาจาก Karush-Kuhn-Tucker เงื่อนไข KKT มีสมการบางอย่างที่จะแก้ไขปัญหาความ (ปกติพอ) ปัญหาการเพิ่มประสิทธิภาพจะต้องปฏิบัติตาม ( บทความวิกิพีเดีย )

— mogron

ฉันเพิ่งเห็นว่า Ryan Tibshirani มีบทความเกี่ยวกับการทำงาน 'The Lasso Problem and Uniqueness': stat.cmu.edu/~ryantibs/papers/lassounique.pdf

— user1137731

$n < p$ $X$ $n$ $p - n$ $z$ $\beta$ $p - n$ $p$ $\beta+z$ $n$ $\beta_j$

‖ y - X (β + z) ‖_{2}^{2} + λ ‖ β + z ‖_{1} = ‖ y - X β ‖_{2}^{2} + λ ‖ β + z ‖_{1} < ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1}

ได้ลดลง

— user2969758
แหล่งที่มา

(+1) มีช่องว่างที่นี่: ดูความคิดเห็นของฉันในโพสต์ OPs

— user795305