ความเร็ว, ค่าใช้จ่ายในการคำนวณของ PCA, LASSO, elastic net

ฉันกำลังพยายามเปรียบเทียบความซับซ้อนของการคำนวณ / ความเร็วในการประมาณค่าของวิธีการสามกลุ่มสำหรับการถดถอยเชิงเส้นตามที่ระบุไว้ใน Hastie et al "องค์ประกอบของการเรียนรู้ทางสถิติ" (2nd ed.), บทที่ 3:

1. การเลือกชุดย่อย
2. วิธีการหดตัว
3. วิธีการที่ใช้ทิศทางอินพุตที่ได้รับ (PCR, PLS)

การเปรียบเทียบอาจหยาบมากเพียงแค่ให้ความคิด ฉันรวบรวมว่าคำตอบอาจขึ้นอยู่กับขนาดของปัญหาและวิธีการที่เหมาะสมกับสถาปัตยกรรมคอมพิวเตอร์ดังนั้นสำหรับตัวอย่างที่เป็นรูปธรรมเราอาจพิจารณาขนาดตัวอย่างของผู้ลงทะเบียนผู้สมัคร 500 และ 50 คน ฉันส่วนใหญ่สนใจในแรงจูงใจเบื้องหลังความซับซ้อนของการคำนวณ / ความเร็วในการประมาณค่า แต่ไม่นานเท่าไรที่จะใช้กับโพรเซสเซอร์บางตัวสำหรับตัวอย่างที่กำหนด

กลุ่มที่1 :
ความซับซ้อน / ความเร็วของกลุ่มที่ 1 ดูเหมือนจะไม่ยากเกินกว่าที่จะเข้าใจว่ามีการใช้อัลกอริทึมแรงเดรัจฉานหรือไม่ (แม้ว่าอาจจะมีทางเลือกที่มีประสิทธิภาพมากกว่าเช่นอัลกอริทึม ตัวอย่างเช่นการเลือกชุดย่อยแบบเต็มจะต้องใช้การถดถอยเพื่อให้เหมาะสมกับกลุ่มของคุณสมบัติผู้สมัครK OLS พอดีของการถดถอยเชิงเส้นเดียวมีความซับซ้อนของO ( K 2 n ) (ตามโพสต์นี้ ) โดยที่nคือขนาดตัวอย่าง ดังนั้นความซับซ้อนโดยรวมของการเลือกชุดย่อยแบบ brute-force ควรเป็นO ( 2 K K $2^K$$K$$\mathcal{O}(K^2 n)$$n$ )$\mathcal{O}(2^K K^2 n)$

กลุ่มที่2 :
ความซับซ้อน / ความเร็วของกลุ่มที่ 2 ถูกกล่าวถึงในหัวข้อ 3.8 และ 3.9 ของหนังสือเล่มนี้ ยกตัวอย่างเช่นสันเขาถดถอยมีโทษให้มีความซับซ้อนของคอมพิวเตอร์เช่นเดียวกับการถดถอยปกติ เนื่องจากλจำเป็นต้องพบโดยใช้การตรวจสอบความถูกต้องของการโหลดการคำนวณเพิ่มขึ้นเป็นเส้นตรงในจำนวนของการแยกข้อมูลที่ใช้ในการตรวจสอบความถูกต้องข้าม (พูด, S ) ถ้าλตารางมีLจุดรวมความซับซ้อนของการถดถอยสันกับจูนλพารามิเตอร์จะเป็นO ( L S K 2 n )$\lambda$$\lambda$$S$$\lambda$$L$$\lambda$$\mathcal{O}(LSK^2 n)$
มีบางเรื่องที่พูดถึงLASSOในหนังสือ แต่ฉันไม่สามารถหาสิ่งที่ฉันต้องการได้ อย่างไรก็ตามฉันพบในหน้า 443 ของ Efron และคณะ "อย่างน้อยมุมถดถอย" (2004) ที่ซับซ้อนเชือกสำหรับให้เป็นเช่นเดียวกับความซับซ้อนของ OLS นั้นพอดีของการถดถอยเชิงเส้นหากวิธี LARS ถูกนำมาใช้ จากนั้นซับซ้อนรวมของเชือกที่มีการปรับλพารามิเตอร์จะเป็นO ( L S K 2 n ) (ฉันไม่ได้อ่านบทความนั้นอย่างถี่ถ้วนดังนั้นโปรดแก้ไขให้ฉันถ้าฉันทำผิดนี้) ตาข่ายยืดหยุ่นรวมสันและ LASSO; ทั้งสองมีความซับซ้อนในการคำนวณเหมือนกัน ดังนั้นความซับซ้อนของตาข่ายยืดหยุ่นควรจะเป็น$\lambda$$\lambda$$\mathcal{O}(LSK^2 n)$
โดยที่ Aคือขนาดกริดของพารามิเตอร์การปรับแต่ง αที่ปรับสมดุลน้ำหนักของสันเขากับ LASSO$\mathcal{O}(ALSK^2 n)$$A$$\alpha$

กลุ่มที่3 :
ฉันยังคงคิดถึงโน้ตใด ๆ เกี่ยวกับความซับซ้อน / ความเร็วของกลุ่มที่ 3 ซึ่งประกอบด้วยการถดถอยส่วนประกอบหลัก (PCR) และกำลังสองน้อยที่สุด (PLS)

เป็นเพียงส่วนหนึ่งของคำถาม 2 ในกลุ่ม 3 ด้านบน (คือ PLS) แต่อาจมีข้อมูลอย่างไรก็ตาม Srinivasan et al (2010 รายงานทางเทคนิคดูhttps://www.umiacs.umd.edu/~balajiv/Papers/) UMD_CS_TR_Pls_Gpu.pdfทำการวัดบางอย่างบน PLS โดยใช้อัลกอริทึม NIPALS ซึ่งระบุเวลา (และที่ว่าง) ของความซับซ้อนของอัลกอริทึมนี้ว่าเป็น O (dN) - สำหรับการแยกและรวมถึงสิ่งเหล่านี้ในแบบจำลองต่างๆ ) การจดจำใบหน้า ทำการวัดโดยใช้การใช้งาน GPU ของตนเอง