คำถามติดแท็ก time-complexity

ฉันกำลังพยายามเปรียบเทียบความซับซ้อนของการคำนวณ / ความเร็วในการประมาณค่าของวิธีการสามกลุ่มสำหรับการถดถอยเชิงเส้นตามที่ระบุไว้ใน Hastie et al "องค์ประกอบของการเรียนรู้ทางสถิติ" (2nd ed.), บทที่ 3: การเลือกชุดย่อย วิธีการหดตัว วิธีการที่ใช้ทิศทางอินพุตที่ได้รับ (PCR, PLS) การเปรียบเทียบอาจหยาบมากเพียงแค่ให้ความคิด ฉันรวบรวมว่าคำตอบอาจขึ้นอยู่กับขนาดของปัญหาและวิธีการที่เหมาะสมกับสถาปัตยกรรมคอมพิวเตอร์ดังนั้นสำหรับตัวอย่างที่เป็นรูปธรรมเราอาจพิจารณาขนาดตัวอย่างของผู้ลงทะเบียนผู้สมัคร 500 และ 50 คน ฉันส่วนใหญ่สนใจในแรงจูงใจเบื้องหลังความซับซ้อนของการคำนวณ / ความเร็วในการประมาณค่า แต่ไม่นานเท่าไรที่จะใช้กับโพรเซสเซอร์บางตัวสำหรับตัวอย่างที่กำหนด

18 machine-learning  estimation  feature-selection  algorithms  time-complexity 

ความซับซ้อนของเวลาของอัลกอริทึมk -NN ด้วยวิธีการค้นหาแบบไร้เดียงสา (ไม่มี kd tree หรือ similars) คืออะไร? ผมสนใจในความซับซ้อนเวลาพิจารณายัง hyperparameter k ฉันได้พบคำตอบที่ขัดแย้ง: O (ND + kn) โดยที่nคือ cardinality ของชุดการฝึกอบรมและวันที่มิติของแต่ละตัวอย่าง [1] O (ndk) อีกครั้งที่nเป็น cardinality ของชุดการฝึกอบรมและวันที่มิติของแต่ละตัวอย่าง [2] [1] http://www.csd.uwo.ca/courses/CS9840a/Lecture2_knn.pdf (Pag. 18/20) [2] http://www.cs.haifa.ac.il/~rita/ml_course/lectures/KNN.pdf (หน้า 18/31)

18 k-nearest-neighbour  time-complexity 

เพื่อประเมินประสิทธิภาพของอัลกอริธึมลักษณนามใหม่ฉันพยายามเปรียบเทียบความแม่นยำและความซับซ้อน (big-O ในการฝึกอบรมและการจำแนก) จากเครื่องการเรียนรู้: ความคิดเห็นที่ฉันได้รับที่สมบูรณ์รายการลักษณนามภายใต้การดูแลยังเป็นตารางความถูกต้องระหว่างขั้นตอนวิธีการและปัญหาการทดสอบ 44 จากUCI repositoy อย่างไรก็ตามฉันไม่สามารถหาบทวิจารณ์กระดาษหรือเว็บไซต์กับ big-O สำหรับตัวแยกประเภททั่วไปเช่น: C4.5 RIPPER (ฉันคิดว่านี่อาจเป็นไปไม่ได้ แต่ใครจะรู้) ANN พร้อมการขยายพันธุ์กลับ Bayesian ไร้เดียงสา K-NN SVM ถ้าใครมีการแสดงออกสำหรับลักษณนามเหล่านี้มันจะมีประโยชน์มากขอบคุณ

14 machine-learning  classification  multiple-comparisons  algorithms  time-complexity 

ความซับซ้อนเวลา asymptotic ของการถดถอยแบบ Lasso เมื่อจำนวนแถวหรือคอลัมน์เพิ่มขึ้นเท่าไหร่?

14 lasso  time-complexity 

ถ้าฉันมีเมทริกซ์การออกแบบโดยที่คือจำนวนการสังเกตของมิติความซับซ้อนในการแก้สำหรับด้วย LASSO, wrtและd ? ผมคิดว่าคำตอบควรดูที่วิธีการหนึ่ง Lasso ย้ำเครื่องชั่งน้ำหนักที่มีพารามิเตอร์เหล่านี้มากกว่าวิธีการที่จำนวนซ้ำ (ลู่) เครื่องชั่งน้ำหนักจนกว่าคุณจะรู้สึกอย่างอื่น n วันที่β = argmin β 1X∈ Rn × dX∈Rn×dX\in\mathcal{R}^{n\times d}nnndddndβ^= argminβ12 n| | Xβ- y| |2+ λ | | β| |1β^=argminβ12n||Xβ-Y||2+λ||β||1\hat{\beta}=\text{argmin}_{\beta}\frac{1}{2n} ||X\beta-y||^{2} + \lambda||\beta||_{1}nnnddd ฉันได้อ่านนี้ซับซ้อนก่อนหน้า Lasso คำถามแต่ดูเหมือนว่าที่ขัดแย้งกับการอภิปรายเกี่ยวกับ glmnet ที่นี่และที่นี่ ผมทราบว่ามีขั้นตอนวิธีการจำนวนมากออกมีรวมทั้ง glmnet ของวิธีการ GLM แต่ผมกำลังเขียนกระดาษเกี่ยวกับการเปลี่ยนองค์ประกอบ Lasso ขั้นตอนวิธีการที่ผู้ปกครองและต้องการที่จะรวมถึงการอภิปรายเกี่ยวกับความซับซ้อน Lasso โดยทั่วไปโดยเฉพาะอย่างยิ่งกับdddและnnnnฉันต้องการทราบความซับซ้อนของ glmnet ในกรณีที่ไม่กระจัดกระจายพื้นฐาน แต่บทความที่อ้างถึงมีความสับสนเล็กน้อยเนื่องจากความซับซ้อนของอัลกอริทึมทั้งหมดไม่ชัดเจน

10 optimization  lasso  regularization  time-complexity