เพื่อนร่วมงานคนหนึ่งในสำนักงานของฉันพูดกับฉันในวันนี้ว่า "แบบจำลองต้นไม้ไม่ดีเพราะพวกเขาถูกจับด้วยการสังเกตอย่างหนัก"
การค้นหาที่นี่ส่งผลให้เธรดนี้รองรับการอ้างสิทธิ์โดยทั่วไป
ข้อใดทำให้ฉันมีคำถาม - โมเดลรถเข็น CART ในสถานการณ์ใดจะมีประสิทธิภาพและจะแสดงได้อย่างไร?
คำตอบ:
ไม่ไม่อยู่ในรูปแบบปัจจุบัน ปัญหาคือฟังก์ชั่นการสูญเสียนูนไม่สามารถทำให้แข็งแกร่งต่อการปนเปื้อนโดยค่าผิดปกติ (นี่เป็นความจริงที่รู้จักกันดีตั้งแต่ยุค 70 แต่ยังคงถูกค้นพบใหม่เป็นระยะให้ดูตัวอย่างเช่น
http://www.cs.columbia.edu/~rocco/Public/mlj9.pdf
ตอนนี้ในกรณีของต้นไม้ถดถอยความจริงที่ว่า CART ใช้มาร์จิ้น (หรือฉายภาพแบบ univariate) สามารถใช้ได้: ใคร ๆ ก็นึกถึงเวอร์ชันของ CART ที่ SD criterion ถูกแทนที่ด้วย MAD ที่แข็งแกร่งกว่าหรือดีกว่า ตัวประมาณ Qn)
เมื่อเร็ว ๆ นี้ฉันได้พบกับกระดาษเก่าที่ใช้แนวทางที่แนะนำข้างต้น สิ่งนี้จะบอกถึงความทนทานต่อ "y" ค่าผิดปกติของ CART / RF (แต่ไม่ใช่ค่าผิดพลาดที่ตั้งอยู่ในพื้นที่การออกแบบซึ่งจะมีผลต่อการประมาณค่าพารามิเตอร์มากเกินไปของโมเดล)
Galimberti, G. , Pillati, M. , & Soffritti, G. (2007) โครงสร้างการถดถอยที่แข็งแกร่งขึ้นอยู่กับตัวประเมิน M Statistica, LXVII, 173–190
คุณอาจพิจารณาใช้Breiman ของห่อหรือสุ่มป่า หนึ่งในการอ้างอิงที่ดีคือBreiman "Bagging Predictors" (1996) ยังสรุปไว้ใน"ต้นไม้การจำแนกและการถดถอยการบรรจุและการส่งเสริม"ของClifton Sutton ในคู่มือสถิติ
คุณสามารถดูการสนทนา Andy Liaw และ Matthew Wiener Rของแพ็คเกจสุ่มป่าไม้
หากคุณตรวจสอบแพ็คเกจ 'gbm' ใน R (การไล่ระดับสีทั่วไป) การ 'เพิ่ม' ใช้ฟังก์ชันการสูญเสียที่ไม่จำเป็นต้องหมายถึงข้อผิดพลาดกำลังสอง สิ่งนี้จะปรากฏในอาร์กิวเมนต์ 'การแจกจ่าย' เพื่อใช้งาน 'gbm ()' ดังนั้นความประณีตของต้นไม้ด้วยการส่งเสริมจะทำให้ต้านทานต่อค่าผิดปกติคล้ายกับวิธีการทำงานของตัวประมาณค่า M
อีกวิธีหนึ่งคือการสร้างต้นไม้ด้วยวิธีปกติ (พาร์ทิชันที่ยึดตาม SSE) แต่ตัดต้นไม้โดยใช้การตรวจสอบความถูกต้องของครอสกับการวัดที่เหมาะสม ฉันคิดว่า xpred ใน rpart จะให้ตัวทำนายที่ผ่านการตรวจสอบข้าม (สำหรับความซับซ้อนของต้นไม้ที่แตกต่างกัน) ซึ่งคุณสามารถใช้การวัดความผิดพลาดของคุณเองเช่นค่าเฉลี่ยสัมบูรณ์