ความซับซ้อนของเวลาในการถดถอยของ Lasso คืออะไร?

ความซับซ้อนเวลา asymptotic ของการถดถอยแบบ Lasso เมื่อจำนวนแถวหรือคอลัมน์เพิ่มขึ้นเท่าไหร่?

จำได้ว่าเชือกเป็นรูปแบบเชิงเส้นกับ$l_1$ regularization

การค้นหาพารามิเตอร์สามารถกำหนดได้ว่าเป็นปัญหาการปรับให้เหมาะสมแบบไม่มีข้อ จำกัด ซึ่งกำหนดพารามิเตอร์โดย

$\arg \min_\beta ||y - X\beta||^2 + \alpha||\beta||_1$

ในการกำหนดสูตรพารามิเตอร์จะได้รับจาก

$\arg \min_\beta ||y - X\beta||^2 s.t.||\beta||_1 < \alpha$

ซึ่งเป็นปัญหาการเขียนโปรแกรมกำลังสองและพหุนาม

รูทีนการออปติไมซ์เชิงคอนเวอเรจเกือบทั้งหมดแม้กระทั่งสำหรับสิ่งที่ไม่เชิงเส้นที่มีความยืดหยุ่นเช่นเครือข่ายนิวรัลให้พึ่งพาการคำนวณอนุพันธ์ของพารามิเตอร์ wrt เป้าหมายของคุณ คุณไม่สามารถหาอนุพันธ์ของได้ เช่นนี้คุณต้องพึ่งพาเทคนิคที่แตกต่างกัน มีวิธีการมากมายในการค้นหาพารามิเตอร์ นี่เป็นกระดาษตรวจสอบในเรื่องการเพิ่มประสิทธิภาพแควน้อยกับ L1-นอร์ม regularization ความซับซ้อนของเวลาในการเพิ่มประสิทธิภาพของการวนซ้ำแบบวนซ้ำนั้นค่อนข้างยุ่งยากในการวิเคราะห์เนื่องจากมันขึ้นอยู่กับเกณฑ์การลู่เข้า โดยทั่วไปปัญหาวนซ้ำมารวมกันในยุคที่น้อยลงเมื่อการสังเกตเพิ่มขึ้น$\alpha||w||_1$

ในขณะที่ @JacobMick ให้ภาพรวมที่กว้างขึ้นและลิงก์ไปยังบทความวิจารณ์ให้ฉันให้คำตอบ "ทางลัด" (ซึ่งอาจเป็นกรณีพิเศษของคำตอบของเขา)

ให้จำนวนของตัวแปรผู้สมัคร (คุณสมบัติคอลัมน์) จะและขนาดของกลุ่มตัวอย่าง (จำนวนสังเกตแถว) เป็นnพิจารณา LASSO ที่ใช้งานโดยใช้อัลกอริทึม LARS ( Efron et al., 2004 ) ความซับซ้อนในการคำนวณของ LASSO คือ ( ibid. )n O ( K 3 + K 2 n $K$$n$$\mathcal{O}(K^3 + K^2 n)$

• สำหรับ ,และความซับซ้อนในการคำนวณของ LASSO คือซึ่งเหมือนกับการถดถอยด้วยตัวแปร ( Efron et al., 2004 , หน้า 443-444, อ้างถึงในSchmidt, 2005 , ส่วน 2.4; สำหรับความซับซ้อนในการคำนวณของการถดถอย, ดูโพสต์นี้ )K 3 < K 2 n O ( K 2 n ) $K<n$$K^3 < K^2 n$$\mathcal{O}(K^2 n)$$K$
• สำหรับ ,และความซับซ้อนในการคำนวณของ LASSO คือ ( Efron et al., 2004 )K 3 ⩾ K 2 n O ( K 3$K \geqslant n$$K^3 \geqslant K^2 n$$\mathcal{O}(K^3)$

อ้างอิง:

• Efron, Bradley, et al. "การถดถอยมุมน้อยที่สุด" พงศาวดารของสถิติ 32.2 (2004): 407-499
• ชมิดท์มาร์ค "การเพิ่มประสิทธิภาพกำลังสองน้อยที่สุดด้วยการทำให้เป็นมาตรฐาน l1 - ปกติ" รายงานโครงการ CS542B (2005)