ทำไมต้นไม้การตัดสินใจมีอคติต่ำ & ความแปรปรวนสูง

คำถาม

1. มันขึ้นอยู่กับว่าต้นไม้จะตื้นหรือลึก? หรือเราจะพูดสิ่งนี้โดยไม่คำนึงถึงความลึก / ระดับของต้นไม้?
2. ทำไมอคติต่ำและความแปรปรวนสูง โปรดอธิบายโดยสังหรณ์ใจและเชิงคณิตศาสตร์

สายไปงานเลี้ยง แต่ฉันรู้สึกว่าคำถามนี้สามารถใช้คำตอบกับตัวอย่างที่เป็นรูปธรรม

ฉันจะเขียนบทสรุปของบทความที่ยอดเยี่ยมนี้: อคติความแปรปรวน - การค้า - ออกซึ่งช่วยให้ฉันเข้าใจหัวข้อ

ข้อผิดพลาดการทำนายสำหรับอัลกอริทึมการเรียนรู้ของเครื่องใด ๆ สามารถแบ่งออกเป็นสามส่วน:

• ข้อผิดพลาดของอคติ
• ข้อผิดพลาดของผลต่าง
• ข้อผิดพลาดลดลง

ข้อผิดพลาดลดลง

ดังที่ชื่อแสดงถึงเป็นส่วนประกอบข้อผิดพลาดที่เราไม่สามารถแก้ไขได้โดยไม่คำนึงถึงอัลกอริทึมและการเลือกพารามิเตอร์ ข้อผิดพลาดที่ลดลงไม่ได้เกิดจากความซับซ้อนซึ่งไม่ได้ถูกบันทึกไว้ในชุดการฝึกอบรม นี่อาจเป็นคุณลักษณะที่เราไม่มีในชุดการเรียนรู้ แต่มีผลกับการแมปกับผลลัพธ์โดยไม่คำนึงถึง

ข้อผิดพลาดของอคติ

ข้อผิดพลาดของอคติเกิดจากสมมติฐานของเราเกี่ยวกับฟังก์ชันเป้าหมาย ยิ่งเรามีข้อสันนิษฐานเกี่ยวกับฟังก์ชันเป้าหมายมากเท่าใดเราก็ยิ่งมีอคติมากขึ้นเท่านั้น แบบจำลองที่มีความเอนเอียงสูงมีความยืดหยุ่นน้อยลงเนื่องจากเราได้กำหนดกฎเกณฑ์เพิ่มเติมเกี่ยวกับฟังก์ชันเป้าหมาย

ข้อผิดพลาดของความแปรปรวน

ข้อผิดพลาดของผลต่างคือความแปรปรวนของรูปแบบของฟังก์ชั่นเป้าหมายที่เกี่ยวกับชุดการฝึกอบรมที่แตกต่างกัน แบบจำลองที่มีข้อผิดพลาดความแปรปรวนเล็กน้อยจะไม่เปลี่ยนแปลงมากนักถ้าคุณแทนที่ตัวอย่างสองสามตัวอย่างในชุดฝึกอบรม แบบจำลองที่มีความแปรปรวนสูงอาจได้รับผลกระทบแม้จะมีการเปลี่ยนแปลงเล็กน้อยในชุดฝึกอบรม

พิจารณาการถดถอยเชิงเส้นอย่างง่าย:

Y=b0+b1x

เห็นได้ชัดว่านี่เป็นคำจำกัดความที่ค่อนข้าง จำกัด ของฟังก์ชันเป้าหมายและดังนั้นโมเดลนี้จึงมีอคติสูง

ในทางกลับกันเนื่องจากความแปรปรวนต่ำถ้าคุณเปลี่ยนตัวอย่างข้อมูลสองสามครั้งมันไม่น่าเป็นไปได้ที่จะทำให้เกิดการเปลี่ยนแปลงครั้งใหญ่ในการทำแผนที่โดยรวมที่ฟังก์ชันเป้าหมายดำเนินการ ในทางตรงกันข้ามอัลกอริธึมเช่น k- เพื่อนบ้านที่ใกล้ที่สุดมีความแปรปรวนสูงและมีอคติต่ำ เป็นเรื่องง่ายที่จะจินตนาการว่าตัวอย่างที่แตกต่างกันอาจมีผลต่อการตัดสินใจของ KNN อย่างไร

โดยทั่วไปอัลกอริธึมพาราเมทริกมีอคติสูงและความแปรปรวนต่ำและในทางกลับกัน

หนึ่งในความท้าทายของการเรียนรู้ของเครื่องคือการหาสมดุลที่เหมาะสมของข้อผิดพลาดอคติและข้อผิดพลาดความแปรปรวน

ต้นไม้ตัดสินใจ

ตอนนี้เรามีคำจำกัดความเหล่านี้แล้วมันก็ตรงไปตรงมาเพื่อดูว่าต้นไม้ตัดสินใจเป็นตัวอย่างของโมเดลที่มีอคติต่ำและความแปรปรวนสูง ต้นไม้เกือบจะไม่มีข้อสมมติฐานเกี่ยวกับฟังก์ชั่นเป้าหมาย แต่มีความไวสูงต่อความแปรปรวนของข้อมูล

มีอัลกอริธึมทั้งมวลเช่นการรวมการบูตและการสุ่มฟอเรสต์ซึ่งมีจุดมุ่งหมายเพื่อลดความแปรปรวนด้วยค่าใช้จ่ายเล็กน้อยของอคติในโครงสร้างการตัดสินใจ

หากจำนวนของระดับสูงเกินไปเช่นแผนผังการตัดสินใจที่ซับซ้อนรูปแบบมีแนวโน้มที่จะเกิน

มันสามารถเข้าใจได้ในวิธีนี้ เมื่อมีโหนดการตัดสินใจมากเกินไปที่จะต้องผ่านก่อนที่จะถึงผลลัพธ์นั่นคือจำนวนของโหนดที่จะทำการสำรวจก่อนที่จะถึงโหนดใบนั้นจะสูงเงื่อนไขที่คุณกำลังตรวจสอบกับจะทวีคูณ นั่นคือการคำนวณจะกลายเป็น (เงื่อนไข 1) && (เงื่อนไข 2) && (เงื่อนไข 3) && (เงื่อนไข 4) && (condition5)

เฉพาะในกรณีที่เงื่อนไขทั้งหมดเป็นไปตามการตัดสินใจ อย่างที่คุณเห็นนี่จะทำงานได้ดีมากสำหรับชุดฝึกอบรมเนื่องจากคุณแคบลงเรื่อย ๆ ในข้อมูล ต้นไม้ปรับความสูงของข้อมูลที่มีอยู่ในชุดการฝึกอบรม

แต่เมื่อมีการป้อนจุดข้อมูลใหม่แม้ว่าพารามิเตอร์ตัวใดตัวหนึ่งจะเบี่ยงเบนไปเล็กน้อยเงื่อนไขจะไม่ถูกพบ

1. ต้นไม้ตัดสินใจที่ซับซ้อน (เช่นลึก) มีอคติต่ำและมีความแปรปรวนสูง ความเบี่ยงเบนของอคตินั้นขึ้นอยู่กับความลึกของต้นไม้

2. ต้นไม้การตัดสินใจมีความไวต่อการแยกและวิธีการแยก ดังนั้นแม้การเปลี่ยนแปลงเล็กน้อยในค่าตัวแปรอินพุตอาจส่งผลให้โครงสร้างต้นไม้ที่แตกต่างกันมาก

ทำไมต้นไม้การตัดสินใจมีอคติต่ำ & ความแปรปรวนสูง มันขึ้นอยู่กับว่าต้นไม้จะตื้นหรือลึก? หรือเราจะพูดสิ่งนี้โดยไม่คำนึงถึงความลึก / ระดับของต้นไม้? ทำไมอคติต่ำและความแปรปรวนสูง โปรดอธิบายโดยสังหรณ์ใจและเชิงคณิตศาสตร์

Bias vs Variance

More Bias = ข้อผิดพลาดจากตัวแบบเรียบง่ายกว่า (ไม่พอดีกับข้อมูลมากนัก)

More Variance = error จากแบบจำลองมีความซับซ้อนมากขึ้น (พอดีกับข้อมูลได้ดีและเรียนรู้เสียงรบกวนเพิ่มเติมจากรูปแบบโดยธรรมชาติของข้อมูล)

ทุกอย่างนั้นสัมพันธ์กัน

ฉันต้องการเริ่มต้นด้วยการบอกว่าทุกอย่างสัมพันธ์กัน โดยทั่วไปต้นไม้ตัดสินใจมีอคติต่ำและมีความแปรปรวนสูงซึ่งสมมติว่าเป็นป่าสุ่ม ในทำนองเดียวกันต้นไม้ที่ตื้นกว่าจะมีอคติสูงกว่าและมีความแปรปรวนต่ำกว่าซึ่งเป็นต้นไม้เดียวกันที่มีความลึกสูงกว่า

การเปรียบเทียบความแตกต่างของต้นไม้ตัดสินใจและป่าสุ่ม

ตอนนี้ที่รีดออกมาลองคิดดูว่าทำไมต้นไม้การตัดสินใจจะแย่ลงในความแปรปรวน วิธีการทำงานของอัลกอริธึมทรีตัดสินใจคือข้อมูลถูกแบ่งอีกครั้งและอีกครั้งเมื่อเราลงไปในทรีดังนั้นการคาดการณ์ที่แท้จริงจะทำโดยจุดข้อมูลที่น้อยลงเรื่อย ๆ เปรียบเทียบกับที่ป่าสุ่มรวมการตัดสินใจของต้นไม้หลายต้นและที่ต้นไม้ที่มีความสัมพันธ์น้อยผ่านการสุ่มดังนั้นแบบจำลอง generalizes ดีกว่า (=> ดำเนินการได้อย่างน่าเชื่อถือมากขึ้นในชุดข้อมูลที่แตกต่างกัน = ความแปรปรวนต่ำกว่า) ในทำนองเดียวกันเรากำลังทำการตั้งสมมติฐานที่ง่ายขึ้นสำหรับป่าสุ่มเพื่อศึกษาเพียงชุดย่อยของข้อมูลและคุณสมบัติเพื่อให้พอดีกับต้นไม้ต้นเดียวซึ่งมีอคติสูงกว่า BTW, similary,