ป่าสุ่มเทียบ Adaboost

ในส่วนที่ 7 ของกระดาษป่าสุ่ม (Breiman, 1999) ผู้เขียนระบุการคาดเดาต่อไปนี้: "Adaboost เป็นป่าสุ่ม"

มีใครพิสูจน์หรือหักล้างสิ่งนี้หรือไม่? สิ่งที่ทำเพื่อพิสูจน์หรือหักล้างโพสต์นี้ 1999?

machine-learning random-forest boosting

โปรดอ่านstats.stackexchange.com/questions/77018/…บางทีคุณอาจพบคำตอบของคุณที่นั่น

@ user75008 ขอบคุณ! ดังนั้นส่วนที่ 7 ให้การคาดเดาอื่นเช่นถ้าพิสูจน์แล้วแสดงว่า adaboost เทียบเท่ากับฟอเรสต์แบบสุ่ม มีใครแสดงการคาดเดานี้ว่าเป็นจริงหรือไม่?

— อเล็กซ์

@ user75008 ฉันกำลังอ่านลิงก์ของคุณstats.stackexchange.com/questions/77018/ ......คุณคิดว่า Adaboost ไม่เทียบเท่ากับ Random Forest หรือไม่

— อเล็กซ์

คำถามที่น่าสนใจ กลุ่มของการอธิบาย ada boost ผ่านทางกลยุทธ์ต่าง ๆ ได้ถูกทำตั้งแต่นั้นมา

ฉันทำการค้นหาวรรณกรรมอย่างรวดเร็วและกระดาษแปลก ๆ นี้ดูเหมือนจะเป็นบทความล่าสุดในเรื่องนี้และยังได้ตรวจสอบการทำงานร่วมกันของ Brieman และผู้อื่น:

http://arxiv.org/pdf/1212.1108.pdf

ฉันไม่รู้ว่าผลลัพธ์ของพวกเขานั้นถูกต้องหรือไม่ แต่พวกเขาอ้างว่าไม่สามารถพิสูจน์การคาดเดาของ Brieman ได้ แต่เพื่อพิสูจน์ว่าเวอร์ชันที่อ่อนแอลงโดยอ้างว่า adaboost เป็นการวัดการรักษา แต่ไม่จำเป็นต้องเป็นไปตามหลักสรีรศาสตร์

พวกเขายังนำเสนอหลักฐานเชิงประจักษ์ที่ adaboost ทำในความเป็นจริงบางครั้งก็พอดี

ฉันคิดว่าคำแนะนำ adaboost อาจเกี่ยวข้องกับป่าสุ่ม แต่ไม่ทั้งหมด (หรือไม่เสมอไป) เทียบเท่าในวิธีที่ Brieman คาดคะเน?

— Ryan Bressler
แหล่งที่มา

ขอบคุณดังนั้นฉันเดาว่านี่ยังคงเป็นคำถามเปิดอยู่ แต่ข้อความสุดท้ายของคุณกำลังบอก

— อเล็กซ์

ใช่ฉันคิดว่ามันยังคงเปิดอยู่ ฉันยังคิดว่าความสนใจลดลงในการวิเคราะห์ AdaBoost เนื่องจากเครื่องจักรเพิ่มระดับความลาดชัน (stochastic) ได้รับความนิยมมากขึ้น AdaBoost เป็นรูปแบบหนึ่งของการไล่ระดับสี ( en.wikipedia.org/wiki/AdaBoost#Boosting_as_Gradient_Descent ) และการคิดในแง่ของการลดลงของการไล่ระดับสีแบบสุ่มอย่างชัดเจนอาจเป็นวิธีที่ง่ายกว่า (เช่นแม้ว่ามันจะเป็นจริงมันอาจเป็นเรื่องยากที่จะสุ่มตัวอย่างจากการแจกแจงที่จำเป็นในทางปฏิบัติ)

— Ryan Bressler

ฉันเพิ่งเห็นกระดาษใหม่นี้ในหัวข้อ: arxiv.org/pdf/1504.07676v1.pdf

— Ryan Bressler

น่าสนใจมากถ้าจริง! "เราสรุปว่าควรใช้การส่งเสริมเช่นป่าสุ่ม: ด้วยต้นไม้ตัดสินใจขนาดใหญ่และไม่มีการทำให้เป็นระเบียบโดยตรงหรือหยุดก่อน"

— อเล็กซ์