“ การถดถอยแบบขั้นตอน” ทำงานอย่างไร

ฉันใช้รหัส R ต่อไปนี้เพื่อให้พอดีกับโมเดล probit:

p1 <- glm(natijeh ~ ., family=binomial(probit), data=data1)
stepwise(p1, direction='backward/forward', criterion='BIC')

ฉันต้องการที่จะรู้ว่าสิ่งที่ทำstepwiseและbackward/forwardทำสิ่งที่แน่นอนและวิธีการเลือกตัวแปร?

หลักการเลือกแบบขั้นตอน

1. คุณพอดีกับโมเดลที่มีตัวแปรทั้งหมดที่คุณต้องการ นี่คือรุ่นที่ดีที่สุดของคุณในปัจจุบัน
2. คุณลบตัวแปรหนึ่งตัว (หรือเพิ่มหนึ่งตัวในบรรดาตัวแปรที่ไม่ได้ใช้ในรุ่นที่ดีที่สุดในปัจจุบัน) และสำหรับแต่ละตัวแปรคุณจะพอดีกับโมเดลใหม่และคุณเปรียบเทียบกับแต่ละตัวแปรใหม่และตัวแปรเดิมตามBIC (หรือตัวแปรใด ๆ เกณฑ์อื่น ๆ เช่นAIC ) คุณได้รับ "รุ่นที่ดีที่สุดในปัจจุบัน" อีกรุ่นหนึ่ง

คุณทำซ้ำ 2. จนกว่าจะไม่มีการลด BIC คุณมี BIC ขั้นต่ำในท้องถิ่นซึ่งหมายความว่าคุณอาจไม่ได้รูปแบบที่ดีที่สุดในบรรดาตัวเลือกย่อยของตัวแปร แต่อย่างไรก็ตามมักจะมีมากเกินไปดังนั้นนี่เป็นวิธีเพิ่มประสิทธิภาพบิตโดยไม่ต้องทำงานมากเกินไป

ดูการถดถอยแบบขั้นตอนและการเลือกรุ่นบนวิกิพีเดีย

การถดถอยแบบขั้นตอนนั้นเหมาะสมกับโมเดลการถดถอยโดยการเพิ่ม / ปล่อย covariates ทีละหนึ่งตามเกณฑ์ที่ระบุ (ในตัวอย่างของคุณเหนือเกณฑ์จะเป็นไปตาม BIC)

โดยการระบุล่วงหน้าคุณกำลังบอกRว่าคุณต้องการเริ่มต้นด้วยโมเดลที่ง่ายที่สุด (เช่นหนึ่ง covariate) และจากนั้นเพิ่มหนึ่ง covariate ทีละครั้งที่รักษาเฉพาะคนที่ส่งผลในการปรับปรุงรูปแบบ BIC

ด้วยการระบุย้อนหลังคุณกำลังบอกRว่าคุณต้องการเริ่มต้นด้วยโมเดลเต็มรูปแบบ (เช่นโมเดลที่มี covariates ทั้งหมด) จากนั้นปล่อย covariates หนึ่งครั้งในเวลาหนึ่งซึ่งส่งผลให้การปรับปรุงใน BIC

การถดถอยแบบขั้นตอนอาจเป็นขั้นตอนทางสถิติที่อันตรายมากเพราะไม่ใช่ขั้นตอนการเลือกรุ่นที่ดีที่สุด วิธีการนี้อาจนำไปสู่การเลือกรุ่นที่แย่มากเพราะมันไม่ได้ช่วยปกป้องคุณจากปัญหาเช่นการเปรียบเทียบหลาย ๆ แบบ