คำถามติดแท็ก stepwise-regression

p-value ที่สำคัญที่ใช้โดยstep()ฟังก์ชันใน R สำหรับการถดถอยแบบขั้นตอนคืออะไร? ฉันคิดว่ามันคือ 0.15 แต่สมมติฐานของฉันถูกต้อง ฉันจะเปลี่ยนค่า p วิกฤตได้อย่างไร

12 r  regression  p-value  stepwise-regression 

เอกสาร R สำหรับทั้งไม่ส่องแสงมาก สิ่งที่ฉันได้รับจากลิงค์นี้คือการใช้อย่างใดอย่างหนึ่งควรจะดี สิ่งที่ฉันไม่ได้รับคือทำไมพวกเขาไม่เท่ากัน ความจริง: ฟังก์ชั่นแบบขั้นตอนการถดถอยในการวิจัย, การใช้งานstep()extractAIC() ที่น่าสนใจการทำงานlm()รูปแบบและglm()'null' รุ่น (เฉพาะตัด) ในชุดข้อมูล 'mtcars ของ R ให้ผลลัพธ์ที่แตกต่างกันสำหรับและAICextractAIC() > null.glm = glm(mtcars$mpg~1) > null.lm = lm(mtcars$mpg~1) > AIC(null.glm) [1] 208.7555 > AIC(null.lm) [1] 208.7555 > extractAIC(null.glm) [1] 1.0000 208.7555 > extractAIC(null.lm) [1] 1.0000 115.9434 เป็นเรื่องแปลกเพราะทั้งสองรุ่นข้างต้นเหมือนกันและAIC()ให้ผลลัพธ์ที่เหมือนกันสำหรับทั้งคู่ ทุกคนสามารถโยนแสงในปัญหาหรือไม่

11 r  regression  aic  stepwise-regression 

ฉันใช้รหัส R ต่อไปนี้เพื่อให้พอดีกับโมเดล probit: p1 <- glm(natijeh ~ ., family=binomial(probit), data=data1) stepwise(p1, direction='backward/forward', criterion='BIC') ฉันต้องการที่จะรู้ว่าสิ่งที่ทำstepwiseและbackward/forwardทำสิ่งที่แน่นอนและวิธีการเลือกตัวแปร?

11 r  probit  stepwise-regression 

ฉันกำลังทดลองกับการถดถอยแบบขั้นตอนเพื่อเห็นแก่ความหลากหลายในแนวทางการแก้ไขปัญหา ดังนั้นฉันมี 2 คำถาม: อะไรคือข้อดีของการถดถอยแบบขั้นตอน จุดเด่นเฉพาะคืออะไร คุณคิดอย่างไรเกี่ยวกับวิธีการไฮบริดที่คุณใช้การถดถอยแบบขั้นตอนเพื่อเลือกคุณสมบัติแล้วใช้การถดถอยปกติโดยนำคุณสมบัติที่เลือกทั้งหมดมารวมกัน

11 regression  feature-selection  stepwise-regression 

ฉันได้รับแบบจำลองที่ลดลงสามแบบจากแบบเต็มรูปแบบดั้งเดิมโดยใช้ การเลือกไปข้างหน้า กำจัดไปข้างหลัง เทคนิคการลงโทษ L1 (LASSO) สำหรับรุ่นที่ได้รับใช้ไปข้างหน้าเลือกกำจัด / ข้างหลังผมได้รับการตรวจสอบประมาณการข้ามความผิดพลาดของการทำนายโดยใช้CVlmในแพคเกจในการใช้ได้DAAG Rสำหรับรูปแบบที่เลือกผ่าน Lasso cv.glmผมใช้ ข้อผิดพลาดในการทำนายสำหรับ LASSO นั้นน้อยกว่าข้อผิดพลาดที่ได้รับจากคนอื่น ดังนั้นโมเดลที่ได้จาก LASSO จึงน่าจะดีกว่าในแง่ของความสามารถในการทำนายและความแปรปรวน นี่เป็นปรากฏการณ์ทั่วไปที่เกิดขึ้นเสมอหรือเป็นปัญหาที่เฉพาะเจาะจงหรือไม่? อะไรคือเหตุผลเชิงทฤษฎีสำหรับสิ่งนี้หากนี่เป็นปรากฏการณ์ทั่วไป

10 cross-validation  model-selection  lasso  stepwise-regression 

ฉันมีชุดข้อมูลที่มีตัวแปรประมาณ 70 ตัวที่ฉันต้องการลด สิ่งที่ฉันต้องการทำคือใช้ CV เพื่อค้นหาตัวแปรที่มีประโยชน์มากที่สุดในรูปแบบต่อไปนี้ 1) สุ่มเลือกพูด 20 ตัวแปร 2) ใช้stepwise/ LASSO/ lars/ ฯลฯ เพื่อเลือกตัวแปรที่สำคัญที่สุด 3) ทำซ้ำ ~ 50x และดูว่าตัวแปรใดถูกเลือก (ไม่ตัดออก) บ่อยที่สุด นี่เป็นไปตามสายของสิ่งที่randomForestจะทำ แต่rfVarSelดูเหมือนว่าแพคเกจจะทำงานเฉพาะกับปัจจัย / การจัดหมวดหมู่และฉันจำเป็นต้องทำนายตัวแปรตามอย่างต่อเนื่อง ฉันกำลังใช้ R ดังนั้นคำแนะนำใด ๆ ก็จะถูกนำไปใช้อย่างเหมาะสม

10 r  cross-validation  feature-selection  random-forest  stepwise-regression 

คำถาม / หัวข้อนี้เกิดขึ้นในการสนทนากับเพื่อนร่วมงานและฉันกำลังมองหาความคิดเห็นเกี่ยวกับเรื่องนี้: ฉันกำลังสร้างแบบจำลองข้อมูลบางอย่างโดยใช้การถดถอยโลจิสติกเอฟเฟกต์แบบสุ่มแม่นยำกว่าการถดถอยโลจิสติกแบบตัดขวางที่แม่นยำ สำหรับผลกระทบคงที่ฉันมี 9 ตัวแปรที่น่าสนใจและเข้ามาพิจารณา ฉันต้องการเลือกรูปแบบบางอย่างเพื่อค้นหาตัวแปรที่มีความสำคัญและให้รูปแบบ "ดีที่สุด" (เอฟเฟกต์หลักเท่านั้น) ความคิดแรกของฉันคือการใช้ AIC เพื่อเปรียบเทียบแบบจำลองที่แตกต่างกัน แต่ด้วย 9 ตัวแปรฉันไม่ตื่นเต้นเกินไปที่จะเปรียบเทียบ 2 ^ 9 = 512 รุ่นที่แตกต่างกัน (คำหลัก: การขุดลอกข้อมูล) ฉันพูดคุยเรื่องนี้กับเพื่อนร่วมงานและเขาบอกฉันว่าเขาจำได้ว่าอ่านเกี่ยวกับการใช้การเลือกแบบจำลองแบบขั้นตอน (หรือไปข้างหน้า) กับ GLMM แต่แทนที่จะใช้ p-value (เช่นจากการทดสอบอัตราส่วนความน่าจะเป็นสำหรับ GLMM) เราควรใช้ AIC เป็นเกณฑ์ในการเข้า / ออก ฉันพบความคิดนี้ที่น่าสนใจมาก แต่ฉันไม่พบการอ้างอิงใด ๆ ที่กล่าวถึงเรื่องนี้เพิ่มเติมและเพื่อนร่วมงานของฉันจำไม่ได้ว่าเขาอ่านที่ไหน หนังสือหลายเล่มแนะนำให้ใช้ AIC เพื่อเปรียบเทียบแบบจำลอง แต่ฉันไม่พบการสนทนาใด ๆ เกี่ยวกับการใช้สิ่งนี้พร้อมกับขั้นตอนการเลือกรุ่นแบบขั้นตอนหรือแบบส่งต่อ ดังนั้นฉันมีสองคำถามโดยทั่วไป: มีอะไรผิดปกติหรือไม่หากใช้ AIC …

10 mixed-model  model-selection  aic  glmm  stepwise-regression