ในฟอเรสต์ฟอเรสต์ทำไมคุณสมบัติย่อยบางส่วนของคุณสมบัติแบบสุ่มจึงถูกเลือกที่ระดับโหนดแทนที่จะเป็นระดับต้นไม้

คำถามของฉัน:ทำไมป่าสุ่มพิจารณาย่อยสุ่มของคุณสมบัติสำหรับการแยกในระดับโหนดภายในแต่ละต้นไม้มากกว่าในระดับต้นไม้ ?

ข้อมูลประกอบ:นี่เป็นคำถามเชิงประวัติ ดีบุกกามโฮตีพิมพ์บทความนี้เกี่ยวกับการสร้าง "ป่าตัดสินใจ" โดยการสุ่มเลือกชุดย่อยของคุณสมบัติที่จะใช้สำหรับการเติบโตในแต่ละต้นไม้ในปี 1998 หลายปีต่อมาในปี 2001 ลีโอเบรแมนตีพิมพ์สุ่มป่าเขาน้ำเชื้อกระดาษประเด็นเซตคุณลักษณะแบบสุ่ม เลือกที่แต่ละโหนดภายในแต่ละต้นไม่ใช่ที่แต่ละต้น ในขณะที่ Breiman อ้างถึง Ho เขาไม่ได้อธิบายการย้ายจากระดับต้นไม้ไปเป็นการเลือกคุณลักษณะแบบสุ่มในระดับโหนด

ฉันสงสัยว่าอะไรเป็นแรงจูงใจในการพัฒนานี้โดยเฉพาะ ดูเหมือนว่าการเลือกชุดย่อยคุณลักษณะที่ระดับต้นไม้จะยังคงบรรลุความสัมพันธ์ที่ต้องการของต้นไม้

ทฤษฎีของฉัน:ฉันไม่ได้เห็นสิ่งนี้พูดชัดแจ้งที่อื่น แต่ดูเหมือนว่าวิธีการย่อยแบบสุ่มจะมีประสิทธิภาพน้อยกว่าในแง่ของการประเมินความสำคัญของคุณลักษณะ เพื่อให้ได้การประมาณค่าความสำคัญของตัวแปรสำหรับต้นไม้แต่ละต้นคุณลักษณะจะได้รับการพิจารณาแบบสุ่มทีละตัวและการเพิ่มขึ้นของการจำแนกประเภทหรือเพิ่มข้อผิดพลาดสำหรับการสำรวจนอกถุงจะถูกบันทึก ตัวแปรที่การจำแนกประเภทผิดพลาดหรือเพิ่มข้อผิดพลาดเป็นผลมาจากการเปลี่ยนแปลงแบบสุ่มนี้มีค่าสูงคือตัวแปรที่มีความสำคัญที่สุด

ถ้าเราใช้วิธีการสุ่มสเปซสำหรับแต่ละต้นไม้เราเป็นเพียงการพิจารณาของพีคุณลักษณะ มันอาจใช้เวลาหลายต้นที่จะต้องพิจารณาทุกหน้าทำนายแม้แต่ครั้งเดียว ในทางกลับกันถ้าเราพิจารณาส่วนย่อยที่แตกต่างกันมผมของพีให้บริการในแต่ละโหนดเราจะพิจารณาแต่ละคุณลักษณะครั้งมากขึ้นหลังจากที่ต้นไม้น้อยลงทำให้เราประมาณการที่แข็งแกร่งมากขึ้นมีความสำคัญคุณลักษณะ$m$$p$$p$$m_i$$p$

สิ่งที่ฉันได้ดูไปแล้ว:จนถึงตอนนี้ฉันได้อ่านกระดาษของ Breiman และกระดาษของ Ho แล้วทำการค้นหาออนไลน์แบบกว้าง ๆ เพื่อเปรียบเทียบวิธีต่างๆโดยไม่ต้องค้นหาคำตอบที่ชัดเจน โปรดทราบว่าคำถามที่คล้ายกันถูกถามก่อน คำถามนี้จะเพิ่มเติมอีกเล็กน้อยโดยรวมถึงการเก็งกำไรของฉัน / ทำงานเพื่อแก้ไขปัญหาที่เป็นไปได้ ฉันจะสนใจคำตอบการอ้างอิงที่เกี่ยวข้องหรือการศึกษาแบบจำลองเปรียบเทียบสองแนวทาง หากไม่มีการเตรียมพร้อมฉันวางแผนที่จะทำการจำลองสถานการณ์ของตัวเองโดยเปรียบเทียบทั้งสองวิธี

สมมติว่าเรามีคุณสมบัติ 10 อย่างคือ f1, f2, ... , f9, f10 และเมื่อเรานำเซตย่อยมาลองสมมติว่า f1, f3, f4, f8 ของฟีเจอร์ที่ระดับต้นไม้เองแล้วเราสร้างโครงสร้างทั้ง 4 โดยใช้คุณสมบัติทั้งสี่นี้ เข้าสู่การพิจารณา.

เราคำนวณเอนโทรปีเปรียบเทียบคุณสมบัติเหล่านี้ 4 เท่านั้นที่ทุกโหนดและใช้คุณลักษณะนั้นที่ให้ผลตอบแทนสูงสุดของเอนโทรปี สิ่งนี้ไม่ได้ใช้ประโยชน์มากนักเนื่องจากเรากำลัง จำกัด การเรียนรู้ต้นไม้ของเรากับคุณสมบัติทั้ง 4 อย่างเท่านั้น ตรงกันข้ามกับสิ่งนี้เมื่อเราใช้ฟีเจอร์บางส่วนสมมติว่า f1, f8, f9 ที่โหนดแรกเราจะคำนวณเอนโทรปีและเปรียบเทียบพวกมันในฟีเจอร์ 3 ตัวนี้และเลือกอันที่ให้ค่าสูงสุด แทนที่จะปลูกต้นไม้ต่อไปด้วยฟีเจอร์เดียวกันเราเลือกฟีเจอร์ย่อยอีกชุดหนึ่งสมมติว่า f4, f7, f2 และทำการแยกตามฟีเจอร์เหล่านี้ สมมติว่าเลือก f8 ที่โหนดแรกและเลือก f2 ที่โหนดที่สอง แบบจำลองสามารถเรียนรู้ความสัมพันธ์ระหว่างสิ่งทั้งสองนี้ซึ่งจะ

ด้วยวิธีนี้แบบจำลองสามารถเรียนรู้ความสัมพันธ์ระหว่างคุณสมบัติที่แตกต่างในลักษณะที่หลากหลายมากขึ้น วิธีการนี้จะมีคุณสมบัติหลายอย่างที่สำรวจในต้นไม้ต้นเดียวและทำให้ความสัมพันธ์ระหว่างพวกมันถูกรักษาไว้ หวังว่าคุณจะได้มันตอนนี้ :)