ใครช่วยอธิบายความแตกต่างระหว่าง RandomForestClassifier และ ExtraTreesClassifier ใน scikit ได้ ฉันใช้เวลาพอสมควรในการอ่านบทความ:
P. Geurts, D. Ernst. และ L. Wehenkel,“ Extremely randomized trees”, Machine Learning, 63 (1), 3-42, 2006
ดูเหมือนว่านี่คือความแตกต่างสำหรับ ET:
1) เมื่อเลือกตัวแปรแบบแยกตัวอย่างจะถูกดึงมาจากชุดการฝึกอบรมทั้งหมดแทนที่จะเป็นตัวอย่าง bootstrap ของชุดการฝึกอบรม
2) การแยกจะถูกเลือกโดยการสุ่มจากช่วงของค่าในตัวอย่างในแต่ละการแบ่ง
ผลจากสองสิ่งนี้คือ "ใบไม้" อีกมากมาย
คำตอบ:
ใช่ข้อสรุปทั้งสองถูกต้องแม้ว่าการใช้งาน Random Forest ใน scikit-learn จะทำให้สามารถเปิดหรือปิดการสุ่มตัวอย่าง bootstrap ได้
ในทางปฏิบัติ RF มักมีขนาดกะทัดรัดกว่า ET ET โดยทั่วไปมีราคาถูกกว่าในการฝึกอบรมจากมุมมองด้านการคำนวณ แต่สามารถเติบโตได้มากกว่า ETs บางครั้งสามารถคุยดีกว่า RFs แต่มันยากที่จะคาดเดาเมื่อมันเป็นกรณีที่ทั้งสองโดยไม่ต้องพยายามครั้งแรก (และการปรับแต่งn_estimators, max_featuresและmin_samples_splitโดยการค้นหาตารางข้ามการตรวจสอบ)
ตัวแยกประเภท ExtraTrees จะทดสอบการแยกส่วนแบบสุ่มมากกว่าเศษส่วนของคุณสมบัติเสมอ (ตรงกันข้ามกับ RandomForest ซึ่งจะทดสอบการแยกส่วนที่เป็นไปได้ทั้งหมดในส่วนของคุณสมบัติ)
ความแตกต่างที่สำคัญระหว่างป่าสุ่มและต้นไม้พิเศษ (โดยปกติเรียกว่าป่าสุ่มแบบสุดขั้ว) อยู่ที่ความจริงที่ว่าแทนที่จะคำนวณคุณลักษณะที่เหมาะสมที่สุดในพื้นที่ / ชุดค่าผสมที่แยกออกมา (สำหรับฟอเรสต์แบบสุ่ม) สำหรับแต่ละคุณสมบัติที่พิจารณาแล้วจะมีการเลือกค่าแบบสุ่ม สำหรับการแยก (สำหรับต้นไม้พิเศษ) นี่คือแหล่งข้อมูลที่ดีที่จะทราบข้อมูลเพิ่มเติมเกี่ยวกับความแตกต่างของพวกเขาในรายละเอียดเพิ่มเติม Random forest vs extra tree