การถดถอยมุมต่ำกับบ่วง

การถดถอยแบบมุมต่ำและบ่วงนั้นมีแนวโน้มที่จะสร้างเส้นทางการทำให้เป็นมาตรฐานที่คล้ายกันมาก (เหมือนกันยกเว้นเมื่อค่าสัมประสิทธิ์กากบาทเป็นศูนย์)

พวกเขาทั้งสองสามารถปรับได้อย่างมีประสิทธิภาพโดยอัลกอริทึมที่เหมือนจริง

มีเหตุผลเชิงปฏิบัติหรือไม่ที่จะชอบวิธีหนึ่งมากกว่าอีกวิธี?

ทฤษฎี "ไม่มีอาหารกลางวันฟรี" ชี้ให้เห็นว่าไม่มีความแตกต่างระหว่างอัลกอริธึมอนุมานเชิงสถิติ - กล่าวคือว่า LARS หรือ LASSO ทำงานได้ดีที่สุดหรือไม่นั้นขึ้นอยู่กับลักษณะของชุดข้อมูลนั้น ๆ ในทางปฏิบัติแล้วจะเป็นการดีที่สุดที่จะลองใช้ทั้งคู่และใช้ตัวประมาณค่าที่เชื่อถือได้ของประสิทธิภาพการวางนัยทั่วไปเพื่อตัดสินใจว่าจะใช้งานอย่างไร (หรือใช้ทั้งชุด) เนื่องจากความแตกต่างระหว่าง LARS และ LASSO ค่อนข้างเล็กน้อยความแตกต่างของประสิทธิภาพจึงค่อนข้างเล็กน้อยเช่นกัน แต่โดยทั่วไปมีเพียงวิธีเดียวที่จะค้นหาได้อย่างแน่นอน!

เมื่อใช้ในโหมดสเตจฉลาดอัลกอริทึม LARS เป็นวิธีการโลภที่ไม่ได้ให้ค่าประมาณที่สอดคล้องกันอย่างพิสูจน์ได้

ในทางกลับกัน LASSO (และอัลกอริทึม LARS เมื่อใช้ในโหมด LASSO) แก้ปัญหาการกระชับข้อมูลนูน โดยเฉพาะอย่างยิ่งปัญหานี้ (ตัวประมาณค่าเชิงเส้น L1 ถูกลงโทษ) มีคุณสมบัติที่พิสูจน์แล้วจำนวนมาก (ความสอดคล้อง, การกระจายคำ)

ฉันจะพยายามใช้ LARS ในโหมด LASSO เสมอ (หรือใช้ตัวแก้ปัญหาอื่นสำหรับ LASSO) เว้นแต่คุณจะมีเหตุผลที่ดีมากที่จะชอบฉากที่ฉลาดกว่า

LASSO ไม่ใช่อัลกอริทึมต่อ se แต่เป็นโอเปอเรเตอร์

มีหลายวิธีในการหาอัลกอริธึมที่มีประสิทธิภาพสำหรับปัญหาที่ทำให้เป็นปกติเช่นสามารถใช้โปรแกรมกำลังสองเพื่อแก้ไขปัญหาโดยตรง ฉันเดาว่านี่คือสิ่งที่คุณเรียกว่า LASSO$\ell_1$

อีกอันหนึ่งคือ LARS ซึ่งเป็นที่นิยมอย่างมากเนื่องจากความเรียบง่ายการเชื่อมต่อกับขั้นตอนการส่งต่อ (แต่ไม่โลภมาก) พิสูจน์ได้อย่างสร้างสรรค์และใช้งานง่าย

แม้ว่าจะเปรียบเทียบกับโปรแกรมการเขียนโปรแกรมกำลังสองที่ทันสมัยแล้ว LARS ยังมีประสิทธิภาพมากกว่ามาก

$l_1$$l_1$$l_2$

ความตั้งใจของคำตอบนี้คือการชี้ให้เห็นว่า LARS ในปัจจุบันดูเหมือนว่าจะได้รับการ superseeded โดยประสานงานโคตรและStochastic ประสานโคตรวิธี วิธีการเหล่านี้มีพื้นฐานมาจากอัลกอริธึมง่าย ๆ โดยเฉพาะในขณะเดียวกันก็ดูเหมือนว่าประสิทธิภาพจะสูงกว่าของ LARS (บ่อยครั้งที่หนึ่งหรือสองลำดับความสำคัญเร็วกว่า) สำหรับตัวอย่างดูบทความของ Friedman และคณะ

ดังนั้นถ้าคุณวางแผนที่จะใช้ LARS อย่าทำเช่นนั้น ใช้พิกัด - โคตรซึ่งใช้เวลาสองสามชั่วโมง

$\lambda$

นี่คือความคิดเห็นของฉัน:

$C_p$

นอกจากนี้ LARS ยังคำนวณได้อย่างรวดเร็วและเชื่อถือได้ Lasso นั้นเร็ว แต่มีความแตกต่างเล็กน้อยระหว่างอัลกอริทึมที่ทำให้ LARS ชนะการท้าทายความเร็ว ในทางตรงกันข้ามมีแพคเกจทางเลือกเช่นใน R เรียกว่า 'glmnet' ที่ทำงานเชื่อถือได้มากกว่าแพ็คเกจ lars (เพราะมันเป็นเรื่องทั่วไปมากขึ้น)

สรุปแล้วไม่มีอะไรสำคัญที่สามารถพิจารณาเกี่ยวกับลาร์สและบ่วงบาศได้ มันขึ้นอยู่กับบริบทที่คุณจะใช้โมเดล

ฉันแนะนำให้ใช้ glmnet ใน R เป็นการส่วนตัวทั้งในระดับสูงและระดับต่ำ หรือหากคุณสนใจในเกณฑ์ที่แตกต่างกันคุณสามารถใช้http://cran.r-project.org/web/packages/msgps/แพ็คเกจ

ในบริบทบางอย่างเวอร์ชันปกติของวิธีแก้ปัญหากำลังสองน้อยที่สุดอาจเป็นที่นิยม ตัวอย่างเช่นอัลกอริทึม LASSO (การหดตัวแบบสัมบูรณ์และการเลือกน้อยที่สุด) ค้นหาวิธีแก้ปัญหากำลังสองน้อยที่สุดด้วยข้อ จำกัด ที่ | β | 1, L1-norm ของพารามิเตอร์เวกเตอร์ไม่เกินค่าที่กำหนด มันอาจแก้ปัญหาการลดโทษน้อยที่สุดด้วยα | β | 1 เพิ่มโดยที่αเป็นค่าคงที่ (นี่คือรูปแบบของปัญหาแบบ จำกัด ลากรองจ์) ปัญหานี้อาจแก้ไขได้โดยใช้การเขียนโปรแกรมแบบกำลังสองหรือวิธีการหาค่าเหมาะที่สุดแบบนูนทั่วไปเช่นเดียวกับอัลกอริธึมเฉพาะเช่น การกำหนดสูตร L1 จะมีประโยชน์ในบางบริบทเนื่องจากมีแนวโน้มที่จะชอบวิธีการแก้ปัญหาที่มีค่าพารามิเตอร์ที่ไม่ใช่ศูนย์น้อยกว่า การลดจำนวนตัวแปรอย่างมีประสิทธิภาพซึ่งโซลูชันที่ให้นั้นขึ้นอยู่กับ [11] ด้วยเหตุนี้ LASSO และสายพันธุ์ของมันจึงเป็นพื้นฐานของการรับรู้แบบบีบอัด