ป่าสุ่มและการส่งเสริมพารามิเตอร์หรือไม่ใช่พารามิเตอร์หรือไม่

จากการอ่านการสร้างแบบจำลองทางสถิติที่ยอดเยี่ยม: ทั้งสองวัฒนธรรม (Breiman 2001)เราสามารถยึดความแตกต่างทั้งหมดระหว่างแบบจำลองทางสถิติแบบดั้งเดิม (เช่นการถดถอยเชิงเส้น) และอัลกอริทึมการเรียนรู้ของเครื่องจักร (เช่นการห่อป่าแบบสุ่ม

Breiman วิพากษ์วิจารณ์แบบจำลองข้อมูล (พารามิเตอร์) เพราะพวกเขาอยู่บนพื้นฐานของข้อสันนิษฐานว่าการสังเกตนั้นถูกสร้างขึ้นโดยแบบจำลองที่เป็นทางการซึ่งเป็นที่รู้จักซึ่งกำหนดโดยนักสถิติซึ่งอาจเลียนแบบธรรมชาติได้ไม่ดี ในทางตรงกันข้าม ML algos จะไม่ถือว่าแบบจำลองที่เป็นทางการใด ๆ และเรียนรู้การเชื่อมโยงโดยตรงระหว่างตัวแปรอินพุตและเอาต์พุตจากข้อมูล

ฉันตระหนักว่าบรรจุถุง / RF และการส่งเสริมการนอกจากนี้ยังมีการจัดเรียงของพารา: ยกตัวอย่างเช่นntree , mtryใน RF, อัตราการเรียนรู้ , ส่วนถุง , ซับซ้อนต้นไม้ใน Stochastic ไล่โทนสีต้นไม้เพิ่มขึ้นมีการปรับจูนทุกพารามิเตอร์ นอกจากนี้เรายังประมาณค่าพารามิเตอร์เหล่านี้จากข้อมูลเนื่องจากเราใช้ข้อมูลเพื่อค้นหาค่าที่ดีที่สุดของพารามิเตอร์เหล่านี้

ดังนั้นความแตกต่างคืออะไร? RF และ Boosted Trees เป็นโมเดลพาราเมตริกหรือไม่?

แบบจำลอง Parametrical มีพารามิเตอร์ (อนุมาน) หรือสมมติฐานเกี่ยวกับการกระจายข้อมูลในขณะที่ RF, โครงข่ายประสาทหรือต้นไม้ที่เพิ่มขึ้นมีพารามิเตอร์ที่เกี่ยวข้องกับอัลกอริทึมเอง แต่พวกเขาไม่ต้องการสมมติฐานเกี่ยวกับการกระจายข้อมูลของคุณหรือจำแนกข้อมูลของคุณ . ในความเป็นจริงอัลกอริทึมเกือบทั้งหมดมีพารามิเตอร์เช่นการวนซ้ำหรือค่ามาร์จิ้นที่เกี่ยวข้องกับการปรับให้เหมาะสม

ฉันคิดว่าเกณฑ์สำหรับ parametric และ non-parametric คือ: ว่าจำนวนของพารามิเตอร์จะเพิ่มขึ้นตามจำนวนตัวอย่างการฝึกอบรมหรือไม่ สำหรับการถดถอยโลจิสติกและ svm เมื่อคุณเลือกคุณสมบัติคุณจะไม่ได้รับพารามิเตอร์มากขึ้นโดยการเพิ่มข้อมูลการฝึกอบรมเพิ่มเติม แต่สำหรับ RF เป็นต้นรายละเอียดของแบบจำลองจะเปลี่ยน (เช่นความลึกของต้นไม้) แม้ว่าจำนวนต้นไม้จะไม่เปลี่ยนแปลง

ในแง่สถิติโมเดลเป็นพารามิเตอร์ถ้าเรียนรู้หรืออนุมานพารามิเตอร์ตามข้อมูล ต้นไม้ในแง่นี้ไม่มีพารามิเตอร์ แน่นอนความลึกของต้นไม้เป็นพารามิเตอร์ของอัลกอริทึม แต่ไม่ได้มาจากข้อมูลโดยกำเนิด แต่เป็นพารามิเตอร์อินพุตที่ผู้ใช้ต้องจัดเตรียมไว้