สเกล Lasso มีขนาดเมทริกซ์การออกแบบอย่างไร

ถ้าฉันมีเมทริกซ์การออกแบบโดยที่คือจำนวนการสังเกตของมิติความซับซ้อนในการแก้สำหรับด้วย LASSO, wrtและ ? ผมคิดว่าคำตอบควรดูที่วิธีการหนึ่ง Lasso ย้ำเครื่องชั่งน้ำหนักที่มีพารามิเตอร์เหล่านี้มากกว่าวิธีการที่จำนวนซ้ำ (ลู่) เครื่องชั่งน้ำหนักจนกว่าคุณจะรู้สึกอย่างอื่น $X\in\mathcal{R}^{n\times d}$ $n$ $d$ $\hat{\beta}=\text{argmin}_{\beta}\frac{1}{2n} ||X\beta-y||^{2} + \lambda||\beta||_{1}$ $n$ $d$

ฉันได้อ่านนี้ซับซ้อนก่อนหน้า Lasso คำถามแต่ดูเหมือนว่าที่ขัดแย้งกับการอภิปรายเกี่ยวกับ glmnet ที่นี่และที่นี่ ผมทราบว่ามีขั้นตอนวิธีการจำนวนมากออกมีรวมทั้ง glmnet ของวิธีการ GLM แต่ผมกำลังเขียนกระดาษเกี่ยวกับการเปลี่ยนองค์ประกอบ Lasso ขั้นตอนวิธีการที่ผู้ปกครองและต้องการที่จะรวมถึงการอภิปรายเกี่ยวกับความซับซ้อน Lasso โดยทั่วไปโดยเฉพาะอย่างยิ่งกับ $d$ และn $n$ ฉันต้องการทราบความซับซ้อนของ glmnet ในกรณีที่ไม่กระจัดกระจายพื้นฐาน แต่บทความที่อ้างถึงมีความสับสนเล็กน้อยเนื่องจากความซับซ้อนของอัลกอริทึมทั้งหมดไม่ชัดเจน

— rnoodle
แหล่งที่มา

ยังไม่ชัดเจนว่าทำไมคำตอบนี้stats.stackexchange.com/a/190717/28666 (ในเธรดที่คุณเชื่อมโยง) ไม่ตอบคำถามของคุณ คุณสามารถทำอย่างละเอียด? อะไรคือสิ่งที่ขัดแย้งกับอะไร

— อะมีบา

หน้า 6 ใน [pdf] [1], ระบุ "ดังนั้นการวนรอบที่สมบูรณ์ผ่านตัวแปร d ทั้งหมดจะต้องเสียค่าใช้จ่าย " แต่คำถามที่คุณเชื่อมโยงไปยังรัฐn) ฉันขาดการวนซ้ำที่นี่เพื่อให้เกิดความซับซ้อนหรือไม่ [1]: jstatsoft.org/article/view/v033i01

O (d n)

$O(dn)$

O (d^{2} n)

$O(d^{2}n)$

d^{2}

$d^{2}$

— rnoodle

@amoeba ลิงก์ที่คุณระบุมีไว้สำหรับอัลกอริทึม LARS - ฉันต้องการทราบเกี่ยวกับวิธีการ GLM

— rnoodle

การอ้างอิงสำหรับการถดถอยมุมอย่างน้อยและสำหรับการประสานงานโคตรถูกต้อง ความแตกต่างคือ (1) LARS พบทางออกที่ถูกต้องใน (และทำข้ามเส้นทางทั้งหมดที่เป็นไปได้มีความซับซ้อนเท่ากับปัญหา OLS กับปัญหาทั้งหมดซึ่งยัง เกล็ดขณะที่ ) ในขณะที่ (2) โคตรพิกัดกำลังทำ "เพียง" ขั้นตอนเดียวประมาณใน , บรรจบกัน / 'ลง' ใกล้กับขั้นต่ำสุดของ ปัญหา LASSO LARS ใช้ขั้นตอนพร้อมโคตรโคตร ... ไม่มีใครรู้

O (d^{2} n)

$\mathcal{O}(d^2n)$

O (d n)

$\mathcal{O}(dn)$

O (d^{2} n)

$\mathcal{O}(d^2n)$

λ

$\lambda$

O (d^{2} n)

$\mathcal{O}(d^2n)$

O (d n)

$\mathcal{O}(dn)$

d

$d$

— Sextus Empiricus

คำตอบจากการอ้างอิง

$\mathcal{O}(d^2n)$ สำหรับการถดถอยมุมอย่างน้อย
$\mathcal{O}(dn)$ เพื่อประสานงานการสืบเชื้อสาย

ถูกต้อง

ความแตกต่างก็คือ

สมการLARSถูกเขียนในรูปแบบปิดและค้นหาวิธีแก้ปัญหาที่แน่นอน

(และการทำเช่นนั้นจะข้ามเส้นทางทั้งหมดของความเป็นไปได้λในขณะที่ความซับซ้อนในการคำนวณนั้นถูกปรับขนาดเช่นเดียวกับการค้นหาวิธีแก้ปัญหาของปัญหากำลังสองน้อยสุดธรรมดาซึ่งยังขยายเป็น ) $O(d^2n)$

ในขณะที่

โคตรพิกัดเป็นรูปแบบการวนซ้ำเพื่อประมาณวิธีแก้ปัญหา ขั้นตอนที่อ้างถึง (ซึ่งคำนวณต้นทุนเป็น ) คือ "เพียง" ขั้นตอนเดียวโดยประมาณการรวม / 'มาก' เข้าใกล้กับปัญหา LASSO ขั้นต่ำที่สุด $\mathcal{O}(dn)$

LARS ใช้ (อย่างแน่นอน)ขั้นตอนในการค้นหาวิธีแก้ไข(ด้วยความซับซ้อนของการปรับส k-th เป็น , คำแรกสำหรับการค้นหา Inner-products ใน inactive ระยะชุดและครั้งที่สองสำหรับการแก้มุมใหม่ในตัวแปรที่ใช้งาน) ด้วยโคตรโคตร ๆ ไม่มีใครรู้ถึงอัตราการลู่เข้าและจำนวนของขั้นตอนที่ต้องการ / คาดหวังสำหรับการลู่เข้าแบบ 'เพียงพอ' (หรืออย่างน้อยก็ไม่ได้อธิบายอย่างดี) $d$ $\mathcal{O}((d-k)n+k^2)$ $d-k$ $k$

ในทางกลับกันค่าใช้จ่ายเพิ่มขึ้นอย่างมากสำหรับขนาดที่สูง (ในขณะที่ไม่มีเหตุผลที่ดีที่จะคาดหวังว่าอัตราการลู่เข้าของโคตรของโคตรจะคล้ายกัน = เชิงเส้นถ้าเพิ่มขึ้น) ดังนั้นการประสานงานอย่างสังหรณ์ใจโคตรจะทำงานได้ดีเหนือขีด จำกัด บางอย่างสำหรับdกรณีศึกษานี้แสดงให้เห็นด้วย (ดูข้อมูลอ้างอิงที่แสดงว่า glmnet ทำงานได้ดีกว่า LARS เมื่อในขณะที่อัลกอริทึมทำงานคล้ายกัน) $d^2n$ $d$ $d$ $d>>100$ $d=100$

Scaling LARS เป็นปัญหาเกี่ยวกับความซับซ้อนในการคำนวณ การปรับประสานงานเชื้อสายเป็นปัญหาที่เกี่ยวข้องกับความซับซ้อนการคำนวณและการบรรจบกัน

— Sextus Empiricus
แหล่งที่มา