แนวทางที่มีประโยชน์สำหรับการทดสอบพารามิเตอร์ (เช่นความลึกของการโต้ตอบ, minchild, อัตราตัวอย่าง ฯลฯ ) โดยใช้ GBM คืออะไร?
สมมติว่าฉันมีคุณสมบัติ 70-100 ประชากร 200,000 และฉันต้องการทดสอบความลึกของการโต้ตอบที่ 3 และ 4 ชัดเจนว่าฉันต้องทำการทดสอบบางอย่างเพื่อดูว่าการรวมกันของพารามิเตอร์ใดถือตัวอย่างที่ดีที่สุด ข้อเสนอแนะเกี่ยวกับวิธีการออกแบบการทดสอบนี้?
คำตอบ:
แพ็คเกจคาเร็ตสามารถช่วยคุณปรับพารามิเตอร์ตัวเลือกสำหรับปัญหาของคุณได้ บทความสั้น caretTrain แสดงวิธีการปรับแต่งพารามิเตอร์ gbm โดยใช้การตรวจสอบความถูกต้องข้ามซ้ำ 10 เท่า - วิธีการเพิ่มประสิทธิภาพอื่น ๆ ที่มีอยู่นั้นสามารถทำงานพร้อมกันโดยใช้แพ็คเกจ foreach ใช้vignette("caretTrain", package="caret")สำหรับอ่านเอกสาร
การปรับจูนแพคเกจสนับสนุนshrinkage, n.treesและinteraction.depthพารามิเตอร์สำหรับรูปแบบ GBM แม้ว่าคุณสามารถเพิ่มของคุณเอง
สำหรับการวิเคราะห์พฤติกรรมนี่เป็นวิธีเริ่มต้นของฉัน:
shrinkage: เล็กเท่าที่คุณมีเวลา (คู่มือ gbm มีมากขึ้นเกี่ยวกับเรื่องนี้ แต่โดยทั่วไปคุณสามารถ nver ผิดไปด้วยค่าที่น้อยกว่า) ชุดข้อมูลของคุณมีขนาดเล็กดังนั้นฉันอาจเริ่มต้นด้วย 1e-3
n.trees: ฉันมักจะสร้างแบบจำลองเริ่มต้นเพิ่มต้นไม้มากขึ้นเรื่อย ๆ จนกระทั่งgbm.perfบอกว่าฉันมีเพียงพอ (โดยปกติแล้วจะเพิ่มเป็น 1.2 เท่าของค่านั้น) จากนั้นใช้เป็นแนวทางในการวิเคราะห์ต่อไป
interaction.depth: คุณมีความคิดเกี่ยวกับสิ่งนี้อยู่แล้ว ลองค่าน้อยลงเช่นกัน ค่าสูงสุดคือพื้น (sqrt (NCOL (data))
n.minobsinnode: ฉันคิดว่ามันสำคัญมากที่จะปรับตัวแปรนี้ คุณไม่ต้องการให้มันเล็กจนอัลกอริทึมค้นหาคุณสมบัติปลอมมากเกินไป