ตัวแยกประเภทการเรียนรู้ของเครื่องใหญ่ -O หรือความซับซ้อน

เพื่อประเมินประสิทธิภาพของอัลกอริธึมลักษณนามใหม่ฉันพยายามเปรียบเทียบความแม่นยำและความซับซ้อน (big-O ในการฝึกอบรมและการจำแนก) จากเครื่องการเรียนรู้: ความคิดเห็นที่ฉันได้รับที่สมบูรณ์รายการลักษณนามภายใต้การดูแลยังเป็นตารางความถูกต้องระหว่างขั้นตอนวิธีการและปัญหาการทดสอบ 44 จากUCI repositoy อย่างไรก็ตามฉันไม่สามารถหาบทวิจารณ์กระดาษหรือเว็บไซต์กับ big-O สำหรับตัวแยกประเภททั่วไปเช่น:

• C4.5
• RIPPER (ฉันคิดว่านี่อาจเป็นไปไม่ได้ แต่ใครจะรู้)
• ANN พร้อมการขยายพันธุ์กลับ
• Bayesian ไร้เดียงสา
• K-NN
• SVM

ถ้าใครมีการแสดงออกสำหรับลักษณนามเหล่านี้มันจะมีประโยชน์มากขอบคุณ

ให้ = จำนวนตัวอย่างการฝึกอบรมd = มิติของคุณสมบัติและ$N$$d$ = จำนวนคลาส$c$

จากนั้นการฝึกอบรมมีความซับซ้อน:

1. Naive Bayes คือสิ่งที่ต้องทำคือการคำนวณความถี่ของทุกค่าคุณสมบัติd iสำหรับแต่ละคลาส$O(Nd)$$d_i$
2. -NN อยู่ใน O ( 1 ) (บางคนถึงกับบอกว่ามันไม่มีอยู่จริง แต่ความซับซ้อนของการฝึกอวกาศคือ O ( N d $k$$\mathcal{O}(1)$$\mathcal{O}(Nd)$เนื่องจากคุณต้องเก็บข้อมูลที่ต้องใช้เวลาด้วย)
3. ไม่เชิงเส้น SVM ที่ไม่ใช่ค่าประมาณคือหรือO ( N 3 )ขึ้นอยู่กับเคอร์เนล คุณสามารถได้O ( N 3 )ลงไปที่O ( N 2.3$O(N^2)$$O(N^3)$$O(N^3)$$O(N^{2.3})$ด้วยเทคนิคบางอย่าง
4. SVM โดยประมาณคือ$O(NR)$โดยที่ R คือจำนวนการวนซ้ำ

การทดสอบความซับซ้อน:

1. Naive Bayes อยู่ในเนื่องจากคุณต้องดึงค่าคุณสมบัติdสำหรับแต่ละคลาส$\mathcal{O}(cd)$$d$$c$
2. $k$$\mathcal{O}(Nd)$เนื่องจากคุณต้องเปรียบเทียบจุดทดสอบกับทุกจุดข้อมูลในฐานข้อมูลของคุณ

ที่มา: "Core Vector Machines: การฝึกอบรม SVM อย่างรวดเร็วในชุดข้อมูลขนาดใหญ่มาก" - http://machinelearning.wustl.edu/mlpapers/paper_files/TsangKC05.pdf

ขอโทษฉันไม่รู้เกี่ยวกับคนอื่น