ฉันจะพยายามตอบคำถามนี้พร้อมหลักฐานที่ตีพิมพ์ประสบการณ์ส่วนตัวและการเก็งกำไร
A) หลักฐานที่เผยแพร่
บทความเดียวที่ฉันรู้ว่าช่วยตอบคำถามคือDelgado et al 2014 - เราต้องการลักษณนามนับร้อยในการแก้ปัญหาการจำแนกโลกแห่งความจริงหรือไม่? - JMLRซึ่งรันอัลกอริธึมและการใช้งานที่แตกต่างกันหลายร้อยชุดบนชุดข้อมูล 121 ชุดจาก UCI พวกเขาพบว่าแม้ว่า RBF SVM ไม่ใช่อัลกอริทึม "ดีที่สุด" (มันเป็นฟอเรสต์แบบสุ่มถ้าฉันจำได้อย่างถูกต้อง) แต่ก็เป็นหนึ่งใน 3 อันดับแรก (หรือ 5)
หากคุณพิจารณาว่าการเลือกชุดข้อมูลเป็น "ตัวอย่างที่ดี" ของปัญหาในโลกแห่งความเป็นจริงกว่า SVM นั้นเป็นอัลกอริทึมที่ควรลองกับปัญหาใหม่ แต่ควรลองสุ่มฟอเรสต์ก่อน!
ข้อ จำกัด ในการสรุปผลที่ได้คือชุดข้อมูลมีความสูงและผอมเกือบทั้งหมด (n >> p) ไม่กระจัดกระจายมาก - ซึ่งฉันเดาว่าควรจะมีปัญหามากขึ้นสำหรับ RF และไม่ใหญ่มาก (ทั้ง n และ p)
ในที่สุดยังคงอยู่บนหลักฐานที่เผยแพร่ฉันขอแนะนำสองไซต์ที่เปรียบเทียบการใช้งานที่แตกต่างกันของป่าสุ่ม:
B) ประสบการณ์ส่วนตัว
ฉันเชื่อว่าเอกสารเช่น Delgado และสำคัญมากสำหรับชุมชนการเรียนรู้ของเครื่องดังนั้นฉันจึงพยายามจำลองผลลัพธ์ของพวกเขาภายใต้เงื่อนไขที่แตกต่างกัน ฉันใช้อัลกอริธึมที่แตกต่างกัน 15 ตัวในชุดข้อมูลไบนารีมากกว่า 100+ ชุด (จากชุดข้อมูลของ Delgado) ฉันยังคิดว่าฉันระมัดระวังในการเลือกพารามิเตอร์หลายมิติมากกว่านั้น
ผลลัพธ์ของฉันคือ SVM เป็น "อัลกอริทึมที่ดีที่สุด" (หมายถึงอันดับที่ 4.9) สิ่งที่ฉันใช้คือ SVM ผ่าน RF เพราะชุดข้อมูลดั้งเดิมมีปัญหาหลายคลาสซึ่งฉันจะกล่าวถึงในส่วนเก็งกำไร - ควรเป็นปัญหาสำหรับ SVM
แก้ไข (มิ.ย. / 16):
แต่ RF เป็นวิธีวิธีที่เร็วขึ้นและมันก็เป็นขั้นตอนวิธีการที่ดีที่สุดที่ 2 (หมายถึงอันดับ 5.6) ตามด้วย GBM (5.8) nnets (7.2) และอื่น ๆ ) ฉันไม่ได้ลองการถดถอยโลจิสติกมาตรฐานในปัญหาเหล่านี้ แต่ฉันลองใช้ net elastic (L1 และ L2 normalized LR) แต่มันทำงานได้ไม่ดี (หมายถึงระดับ 8.3) ~
ฉันยังไม่ได้วิเคราะห์ผลลัพธ์หรือเขียนรายงานเสร็จฉันจึงไม่สามารถชี้ไปที่รายงานทางเทคนิคพร้อมผลลัพธ์ได้ หวังว่าในอีกไม่กี่สัปดาห์ฉันจะสามารถแก้ไขคำตอบนี้อีกครั้งและชี้ไปที่รายงานทางเทคนิคพร้อมผลลัพธ์
บทความมีอยู่ที่http://arxiv.org/abs/1606.00930ปรากฎว่าหลังจากการวิเคราะห์แบบเต็ม RF และ SVM เกือบเทียบเท่าในแง่ของอัตราความผิดพลาดที่คาดหวังและ SVM นั้นเร็วที่สุด (เพื่อความประหลาดใจของฉัน !!) ฉันไม่ได้เน้นเรื่องการแนะนำ RF อีกต่อไป
ดังนั้นประสบการณ์ส่วนตัวของฉันคือแม้ว่า SVM อาจให้ความแม่นยำเพิ่มขึ้นบ้าง แต่ก็เป็นทางเลือกที่ดีกว่าในการใช้ RF
นอกจากนี้สำหรับปัญหาที่ใหญ่ขึ้นมันอาจเป็นไปไม่ได้ที่จะใช้ตัวแก้ SVM แบบกลุ่ม (ฉันไม่เคยใช้ตัวแก้แบบ SVM ออนไลน์เช่นLASVMหรืออื่น ๆ )
ในที่สุดฉันก็ใช้การถดถอยโลจิสติกในสถานการณ์เดียวเท่านั้น ฉันกำลังทำวิศวกรรมฟีเจอร์ที่ "รุนแรง" เกี่ยวกับปัญหาการจำแนกภาพ (เช่น - รวมหรือไม่อธิบายสองคำต่างกันของภาพและมิติของคำอธิบาย) และฉันใช้การถดถอยโลจิสติกส์เพื่อเลือกในหลายทางเลือก (เพราะไม่มีการค้นหาพารามิเตอร์ใน LR) เมื่อเราตัดสินในคุณสมบัติที่ดีที่สุด (ตาม LR) เราใช้ RF (การเลือกพารามิเตอร์ที่ดีที่สุด) เพื่อให้ได้ลักษณนามสุดท้าย
C) การเก็งกำไร
ฉันไม่เคยทำงานเกี่ยวกับปัญหาหลายคลาสอย่างจริงจัง แต่ความรู้สึกของฉันคือ SVM ไม่ดีสำหรับพวกเขา ปัญหาไม่ใช่ปัญหาระหว่างโซลูชัน one-vs-one หรือ one-vs-all ทั้งหมด แต่การติดตั้งใช้งานทั้งหมดที่ฉันรู้จะใช้ไฮเปอร์พารามิเตอร์เดียวกันสำหรับตัวแยกประเภท (OVO หรือ OVA) ทั้งหมด การเลือกไฮเปอร์พารามิเตอร์ที่ถูกต้องสำหรับ SVM นั้นมีค่าใช้จ่ายสูงซึ่งการใช้งานแบบไม่มีชั้นวางที่ฉันรู้จะทำการค้นหาตัวแยกประเภทแต่ละตัว ฉันคาดการณ์ว่านี่เป็นปัญหาสำหรับ SVM (แต่ไม่ใช่ปัญหาสำหรับ RF !!)
จากนั้นอีกครั้งสำหรับปัญหาแบบหลายคลาสฉันจะไปที่ RF