เหตุใดการเพิ่มประสิทธิภาพจึงมีความอ่อนไหวต่อค่าผิดปกติ

ฉันพบบทความจำนวนมากที่ระบุว่าวิธีการส่งเสริมมีความอ่อนไหวต่อค่าผิดปกติ แต่ไม่มีบทความอธิบายว่าเพราะเหตุใด

ในค่าประสบการณ์ของฉันไม่ดีสำหรับอัลกอริทึมการเรียนรู้ของเครื่อง แต่ทำไมวิธีการเพิ่มประสิทธิภาพจึงมีความอ่อนไหวเป็นพิเศษ

อัลกอริธึมต่อไปนี้จะจัดอันดับในแง่ของความไวต่อค่าผิดปกติ: boost-tree, ป่าสุ่ม, เครือข่ายประสาท, SVM และวิธีการถดถอยแบบง่ายเช่นการถดถอยแบบโลจิสติกอย่างไร

ค่าผิดปกติอาจไม่ดีสำหรับการส่งเสริมเนื่องจากการเพิ่มการสร้างแต่ละต้นบนส่วนที่เหลือ / ข้อผิดพลาดของต้นไม้ก่อนหน้า ค่าผิดปกติจะมีจำนวนเงินที่เหลือมากกว่าค่าที่ไม่ใช่ค่าผิดปกติดังนั้นการเพิ่มระดับความลาดชันจะเน้นจำนวนความสนใจในจุดเหล่านั้น

อัลกอริทึมที่คุณระบุไว้ใช้สำหรับการจัดหมวดหมู่ดังนั้นฉันสมมติว่าคุณไม่ได้หมายถึงค่าผิดปกติในตัวแปรเป้าหมาย แต่เป็นค่าผิดปกติของตัวแปรอินพุต วิธีต้นไม้แบบเร่งควรมีความทนทานต่อค่าผิดปกติในคุณลักษณะการป้อนข้อมูลเนื่องจากผู้เรียนพื้นฐานแยกต้นไม้ ตัวอย่างเช่นหากการแบ่งเป็นx > 35 และ 5,000,000 จะถือว่าเหมือนกัน สิ่งนี้อาจหรือไม่ดี แต่เป็นคำถามที่แตกต่าง

หากคุณกำลังพูดถึงการถดถอยและค่าผิดปกติในตัวแปรเป้าหมายความไวของวิธีการทรีที่เพิ่มขึ้นจะขึ้นอยู่กับฟังก์ชันต้นทุนที่ใช้ แน่นอนว่าข้อผิดพลาดกำลังสองนั้นไวต่อค่าผิดปกติเนื่องจากความแตกต่างยกกำลังสองและนั่นจะมีผลต่อต้นไม้ต้นถัดไปตั้งแต่การเพิ่มความพยายามเพื่อให้พอดีกับการสูญเสีย (การไล่ระดับสี) อย่างไรก็ตามมีฟังก์ชั่นข้อผิดพลาดที่มีประสิทธิภาพมากขึ้นซึ่งสามารถใช้สำหรับวิธีการแบบต้นไม้ที่ได้รับการปรับปรุงเช่นHuber lossและ Absolute Loss

ในการเพิ่มประสิทธิภาพเราพยายามเลือกชุดข้อมูลที่ผลลัพธ์ของอัลกอริทึมไม่ดีแทนที่จะเลือกชุดย่อยของข้อมูลแบบสุ่ม ตัวอย่างที่ยากเหล่านี้เป็นสิ่งสำคัญที่ต้องเรียนรู้ดังนั้นหากชุดข้อมูลมีค่าผิดปกติจำนวนมากและอัลกอริทึมทำงานได้ไม่ดีนักเมื่อเทียบกับการเรียนรู้อัลกอริทึมตัวอย่างยากเหล่านั้นจะพยายามเลือกชุดย่อยด้วยตัวอย่างเหล่านั้น