คำถามติดแท็ก stepwise-regression

ฉันต้องการใช้อัลกอริทึมสำหรับการเลือกแบบจำลองอัตโนมัติ ฉันกำลังคิดที่จะทำการถดถอยแบบขั้นตอน แต่จะต้องทำทุกอย่าง (จะต้องเป็นไปตามการถดถอยเชิงเส้น) ปัญหาของฉันคือฉันไม่สามารถหาวิธีการหรือการใช้งานโอเพนซอร์ซ (ฉันกำลังใช้ภาษาจาวา) วิธีการที่ฉันมีในใจจะเป็นเช่น: คำนวณเมทริกซ์สหสัมพันธ์ของปัจจัยทั้งหมด เลือกปัจจัยที่มีความสัมพันธ์ต่ำกัน ลบปัจจัยที่มี t-stat ต่ำ เพิ่มปัจจัยอื่น ๆ (ยังคงขึ้นอยู่กับปัจจัยความสัมพันธ์ต่ำที่พบใน 2) ทำซ้ำหลาย ๆ ครั้งจนกว่าเกณฑ์บางอย่าง (เช่น AIC) จะเกินเกณฑ์ที่กำหนดหรือไม่สามารถทำได้หรือเราไม่สามารถหาค่าที่มากขึ้นได้ ฉันรู้ว่ามีการใช้งาน R สำหรับขั้นตอนนี้ (stepAIC) แต่ฉันพบว่ารหัสค่อนข้างเข้าใจยาก นอกจากนี้ฉันไม่สามารถค้นหาบทความที่อธิบายการถดถอยแบบขั้นตอนได้

193 references  feature-selection  model-selection  aic  stepwise-regression 

ฉันมีชุดข้อมูลที่มีตัวแปรอิสระประมาณ 30 ตัวและต้องการสร้างโมเดลเชิงเส้นทั่วไป (GLM) เพื่อสำรวจความสัมพันธ์ระหว่างพวกเขากับตัวแปรตาม ฉันรู้ว่าวิธีการที่ฉันถูกสอนสำหรับสถานการณ์นี้ถดถอยแบบขั้นตอนขณะนี้ถือว่าบาปสถิติ ควรใช้วิธีการแบบจำลองที่ทันสมัยในสถานการณ์นี้อย่างไร

76 regression  generalized-linear-model  model-selection  stepwise-regression 

ในชุดข้อมูลของประชากรสองกลุ่มที่ไม่ทับซ้อนกัน (ผู้ป่วย & สุขภาพดี, รวม ) ฉันต้องการค้นหา (จากตัวแปรอิสระ) ตัวทำนายที่สำคัญสำหรับตัวแปรที่ขึ้นต่อเนื่อง มีความสัมพันธ์ระหว่างตัวทำนาย ฉันสนใจที่จะทราบว่าตัวทำนายใด ๆ ที่เกี่ยวข้องกับตัวแปรตาม "ในความเป็นจริง" (แทนที่จะทำนายตัวแปรตามให้มากที่สุด) ในขณะที่ฉันมีวิธีการมากมายที่เป็นไปได้ฉันอยากจะถามว่าวิธีไหนที่แนะนำมากที่สุดn = 60n=60n=60300300300 จากความเข้าใจของฉันไม่แนะนำให้รวมหรือแยกตัวทำนายแบบเป็นขั้นตอน เช่นใช้การถดถอยเชิงเส้นแยกกันสำหรับตัวทำนายทุกตัวและแก้ไขค่า p สำหรับการเปรียบเทียบหลาย ๆ ครั้งโดยใช้ FDR (อาจจะอนุรักษ์นิยมมาก?) การถดถอยส่วนประกอบหลัก: ยากที่จะตีความเพราะฉันจะไม่สามารถบอกเกี่ยวกับพลังการทำนายของตัวทำนายส่วนบุคคล แต่เกี่ยวกับส่วนประกอบเท่านั้น ข้อเสนอแนะอื่น ๆ ?

31 regression  pca  feature-selection  stepwise-regression  underdetermined 

ลองพิจารณาตัวอย่างเช่นโมเดลการถดถอยเชิงเส้น ฉันได้ยินมาว่าในการขุดข้อมูลหลังจากทำการเลือกตามขั้นตอนตามเกณฑ์ AIC มันทำให้เข้าใจผิดว่าการดูค่า p เพื่อทดสอบสมมติฐานว่างว่าสัมประสิทธิ์การถดถอยจริงแต่ละตัวมีค่าเป็นศูนย์ ฉันได้ยินมาว่าควรพิจารณาตัวแปรทั้งหมดที่เหลือในตัวแบบว่ามีสัมประสิทธิ์การถดถอยที่แท้จริงแตกต่างจากศูนย์แทน มีใครอธิบายได้ไหม ขอขอบคุณ.

28 multiple-regression  predictive-models  data-mining  stepwise-regression 

ฉันใหม่เอี่ยมกับสิ่ง R นี้ แต่ไม่แน่ใจว่าจะเลือกรุ่นใด ฉันทำการถดถอยไปข้างหน้าทีละขั้นตอนเลือกตัวแปรแต่ละตัวตาม AIC ที่ต่ำที่สุด ฉันมากับ 3 แบบที่ฉันไม่แน่ใจซึ่งเป็น "ดีที่สุด" Model 1: Var1 (p=0.03) AIC=14.978 Model 2: Var1 (p=0.09) + Var2 (p=0.199) AIC = 12.543 Model 3: Var1 (p=0.04) + Var2 (p=0.04) + Var3 (p=0.06) AIC= -17.09 ฉันอยากจะไปกับ Model # 3 เพราะมันมี AIC ต่ำที่สุด (ฉันได้ยินว่าเป็นลบก็โอเค) และค่า p ยังค่อนข้างต่ำ ฉันใช้ตัวแปร …

22 model-selection  aic  stepwise-regression 

ฉันตระหนักดีถึงปัญหาของการเลือกตามขั้นตอน / ไปข้างหน้า / ถอยหลังในตัวแบบการถดถอย มีหลายกรณีที่นักวิจัยประนามวิธีและชี้ทางเลือกที่ดีกว่า ฉันอยากรู้ว่ามีเรื่องราวใดบ้างที่มีอยู่ที่การวิเคราะห์ทางสถิติ: ใช้การถดถอยแบบขั้นตอน ทำข้อสรุปที่สำคัญบางประการตามโมเดลสุดท้าย ข้อสรุปนั้นผิดส่งผลลบต่อบุคคลการวิจัยหรือองค์กรของพวกเขา ความคิดของฉันเกี่ยวกับเรื่องนี้หากวิธีการแบบขั้นตอนไม่ดีแล้วก็ควรจะมีผลตามมาใน "โลกแห่งความจริง" สำหรับการใช้มัน

20 regression  stepwise-regression  history 

ฉันใช้แพ็กเกจ R ที่ถูกลงโทษเพื่อให้ได้ค่าสัมประสิทธิ์การหดตัวสำหรับชุดข้อมูลที่ฉันมีตัวทำนายจำนวนมากและมีความรู้เพียงเล็กน้อยซึ่งเป็นสิ่งที่สำคัญ หลังจากที่ฉันเลือกพารามิเตอร์การปรับแต่ง L1 และ L2 และฉันพอใจกับค่าสัมประสิทธิ์ของฉันจะมีวิธีทางสถิติที่จะสรุปรูปแบบที่เหมาะสมกับ R-squared หรือไม่? นอกจากนี้ฉันสนใจที่จะทดสอบความสำคัญโดยรวมของโมเดล (เช่นR² = 0 หรือทำทั้งหมด = 0) ฉันได้อ่านคำตอบของคำถามที่คล้ายกันแล้วที่นี่แต่ก็ไม่ได้ตอบคำถามของฉัน มีการสอนที่ยอดเยี่ยมเกี่ยวกับแพ็คเกจ R ที่ฉันใช้ที่นี่และผู้เขียน Jelle Goeman มีหมายเหตุต่อไปนี้ในตอนท้ายของบทช่วยสอนเกี่ยวกับช่วงความมั่นใจจากโมเดลการถดถอยที่ถูกลงโทษ: มันเป็นคำถามที่ธรรมดามากที่จะถามถึงข้อผิดพลาดมาตรฐานของสัมประสิทธิ์การถดถอยหรือปริมาณที่ประมาณไว้อื่น ๆ ในหลักการข้อผิดพลาดมาตรฐานดังกล่าวสามารถคำนวณได้ง่ายเช่นการใช้ bootstrap ยังคงแพคเกจนี้โดยเจตนาไม่ได้ให้พวกเขา เหตุผลของเรื่องนี้คือข้อผิดพลาดมาตรฐานไม่ได้มีความหมายมากสำหรับการประเมินแบบเอนเอียงอย่างรุนแรงเช่นเกิดจากวิธีการประเมินที่ถูกลงโทษ การประมาณค่าแบบลงโทษเป็นกระบวนการที่ช่วยลดความแปรปรวนของตัวประมาณค่าโดยการแนะนำอคติอย่างมีนัยสำคัญ ความเอนเอียงของตัวประมาณแต่ละตัวจึงเป็นองค์ประกอบหลักของความคลาดเคลื่อนกำลังสองเฉลี่ยในขณะที่ความแปรปรวนอาจมีส่วนเพียงเล็กน้อยเท่านั้น แต่น่าเสียดายที่ในการใช้งานส่วนใหญ่ของการถดถอยเชิงลงโทษนั้นเป็นไปไม่ได้ที่จะได้รับการประเมินความลำเอียงที่แม่นยำเพียงพอ การคำนวณตาม bootstrap ใด ๆ สามารถให้การประเมินความแปรปรวนของการประมาณการเท่านั้น การประมาณการที่น่าเชื่อถือของอคตินั้นจะมีให้เฉพาะในกรณีที่การประมาณการที่เป็นกลางไม่น่าเชื่อถือมีอยู่ซึ่งโดยทั่วไปจะไม่เกิดขึ้นในกรณีที่มีการใช้การประมาณการที่ถูกลงโทษ การรายงานข้อผิดพลาดมาตรฐานของการประเมินที่ถูกลงโทษจึงบอกเพียงส่วนหนึ่งของเรื่องราว มันสามารถสร้างความประทับใจที่ผิดพลาดอย่างแม่นยำโดยไม่สนใจความไม่ถูกต้องที่เกิดจากอคติอย่างสมบูรณ์ มันเป็นความผิดพลาดอย่างแน่นอนในการสร้างคำแถลงความเชื่อมั่นซึ่งตั้งอยู่บนพื้นฐานของการประเมินความแปรปรวนของการประมาณการเช่นช่วงความเชื่อมั่นที่ใช้ bootstrap

20 regression  lasso  stepwise-regression  ridge-regression 

วิธีการเลือกตัวแปรแบบอัลกอริธึมแบบขั้นตอนมีแนวโน้มที่จะเลือกแบบจำลองที่มีอคติมากกว่าหรือน้อยกว่าทุกการประมาณค่าในตัวแบบการถดถอย ( ββ\beta s และ SEs, p-ค่า, สถิติF , ฯลฯ ) ตัวพยากรณ์เท็จตามวรรณกรรมจำลองที่สมเหตุสมผล LASSO ประสบปัญหาในลักษณะที่เหมือนกันเมื่อใช้เพื่อเลือกตัวแปรหรือไม่?

18 regression  feature-selection  lasso  regression-strategies  stepwise-regression 

ฉันได้อ่านโพสต์นับไม่ถ้วนในเว็บไซต์นี้ซึ่งต่อต้านการเลือกตัวแปรแบบขั้นตอนโดยใช้เกณฑ์ใด ๆ ไม่ว่าจะเป็นค่า p ตาม AIC, BIC เป็นต้น ฉันเข้าใจว่าทำไมขั้นตอนเหล่านี้โดยทั่วไปค่อนข้างยากจนสำหรับการเลือกตัวแปร โพสต์ที่มีชื่อเสียงอาจเป็นของ gung ที่นี่แสดงให้เห็นอย่างชัดเจนว่าทำไม; ท้ายที่สุดเรากำลังตรวจสอบสมมติฐานบนชุดข้อมูลเดียวกับที่เราเคยทำกับสมมติฐานซึ่งเป็นเพียงการขุดลอกข้อมูล นอกจากนี้ค่า p จะได้รับผลกระทบจากปริมาณเช่น collinearity และค่าผิดปกติซึ่งทำให้ผลลัพธ์เบ้หนักเป็นต้น แต่ผมได้รับการศึกษาการพยากรณ์อนุกรมเวลาไม่น้อยเมื่อเร็ว ๆ นี้และได้เจอตำรานับหน้าถือตา Hyndman ของที่เขากล่าวถึงที่นี่ใช้ตัวเลือกแบบขั้นตอนที่จะหาคำสั่งซื้อที่เหมาะสมของแบบจำลอง ARIMA โดยเฉพาะอย่างยิ่ง ในความเป็นจริงในforecastแพคเกจใน R อัลกอริทึมที่รู้จักกันดีที่รู้จักกันเป็นauto.arimaค่าเริ่มต้นใช้การเลือกแบบขั้นตอน (กับ AIC ไม่ใช่ค่า p) นอกจากนี้เขายังวิจารณ์การเลือกคุณสมบัติตามค่า p ซึ่งสอดคล้องกับโพสต์หลายรายการในเว็บไซต์นี้ ในที่สุดเราควรข้ามการตรวจสอบในบางวิธีในตอนท้ายถ้าเป้าหมายคือการพัฒนาแบบจำลองที่ดีสำหรับการพยากรณ์ / การทำนาย อย่างไรก็ตามแน่นอนว่านี่เป็นสิ่งที่ไม่เห็นด้วยที่นี่เมื่อพูดถึงขั้นตอนการประเมินตัวชี้วัดอื่น ๆ นอกเหนือจากค่า p ไม่มีใครมีความคิดเห็นใด ๆ เกี่ยวกับการใช้ AIC แบบขั้นตอนในบริบทนี้ แต่โดยทั่วไปยังอยู่นอกบริบทนี้ด้วย ฉันได้รับการสอนให้เชื่อว่าการเลือกตามขั้นตอนใด ๆ …

17 forecasting  predictive-models  arima  aic  stepwise-regression 

ฉันสงสัยว่าทำไมการเลือกรูปแบบ LASSO และ LARS ถึงได้รับความนิยมถึงแม้ว่าพวกเขาจะเป็นเพียงรูปแบบของการเลือกไปข้างหน้าอย่างชาญฉลาด (และทำให้ต้องพึ่งพาเส้นทาง) ในทำนองเดียวกันทำไม General to Specific (GETT) จึงมีวิธีการในการเลือกรูปแบบเป็นส่วนใหญ่ถึงแม้ว่าพวกเขาจะทำได้ดีกว่า LARS / LASSO เพราะพวกเขาไม่ประสบปัญหาการถดถอยขั้นตอนที่ชาญฉลาด? (การอ้างอิงพื้นฐานสำหรับ GETS: http://www.federalreserve.gov/pubs/ifdp/2005/838/ifdp838.pdf - อัลกอริทึมใหม่ในการเริ่มต้นนี้ด้วยการค้นหาแบบกว้างและแผนผังที่หลีกเลี่ยงการพึ่งพาพา ธ และแสดงให้เห็นถึง มักจะทำได้ดีกว่า LASSO / LARS) ดูเหมือนแปลก ๆ LARS / LASSO ดูเหมือนจะได้รับการเปิดเผยและการอ้างอิงมากกว่า General to Specific (GET) ทุกคนมีความคิดอะไรบ้าง? ไม่พยายามเริ่มการถกเถียงอย่างจริงจังมองหาคำอธิบายที่สมเหตุสมผลว่าทำไมวรรณกรรมดูเหมือนจะให้ความสำคัญกับ LASSO / LARS มากกว่า GET และมีคนเพียงไม่กี่คนที่ชี้ให้เห็นถึงข้อบกพร่องของ LASSO / LARS

15 feature-selection  model-selection  lasso  stepwise-regression  lars 

ในด้านจิตวิทยาและสาขาอื่น ๆ รูปแบบของการถดถอยแบบขั้นตอนมักถูกใช้ซึ่งเกี่ยวข้องกับสิ่งต่อไปนี้: ดูตัวทำนายที่เหลือ (ไม่มีตัวแบบในตอนแรก) และระบุตัวทำนายที่ทำให้เกิดการเปลี่ยนแปลง r-square ที่ใหญ่ที่สุด หากค่า p ของการเปลี่ยนแปลง r-square น้อยกว่าอัลฟา (โดยทั่วไปคือ. 05) ให้รวมตัวทำนายนั้นและกลับไปที่ขั้นตอนที่ 1 มิฉะนั้นหยุด ตัวอย่างเช่นดูขั้นตอนนี้ในโปรแกรม SPSS ขั้นตอนการวิพากษ์วิจารณ์เป็นประจำด้วยเหตุผลที่หลากหลาย (ดูการสนทนานี้ในเว็บไซต์ Stata พร้อมการอ้างอิง ) โดยเฉพาะอย่างยิ่งเว็บไซต์ Stata สรุปความคิดเห็นหลายประการโดย Frank Harrell ฉันสนใจข้อเรียกร้อง: [การถดถอยแบบขั้นตอน] ให้ค่า R-squared ที่มีความเอนเอียงไม่ดีที่จะสูง โดยเฉพาะบางส่วนของการวิจัยในปัจจุบันของฉันมุ่งเน้นไปที่การประมาณการประชากร R-ตาราง จากประชากร r-square ฉันอ้างถึงเปอร์เซ็นต์ของความแปรปรวนที่อธิบายโดยข้อมูลประชากรที่สร้างสมการในประชากร วรรณกรรมที่มีอยู่ส่วนใหญ่ที่ฉันกำลังตรวจสอบได้ใช้ขั้นตอนการถดถอยแบบขั้นตอนและฉันต้องการทราบว่าการประเมินที่ให้นั้นมีความลำเอียงหรือไม่และถ้าเป็นเช่นนั้น โดยเฉพาะอย่างยิ่งการศึกษาทั่วไปจะมีตัวทำนาย 30 ตัว n = 200 อัลฟาของการป้อน. 05 และการประมาณ …

14 regression  model-selection  bias  r-squared  stepwise-regression 

สมมติว่าฉันต้องการสร้างตัวจําแนกไบนารี ฉันมีคุณสมบัติหลายพันและตัวอย่างเพียงไม่กี่ 10s จากความรู้โดเมนผมมีเหตุผลที่ดีที่จะเชื่อว่าฉลากชั้นเรียนสามารถคาดการณ์ได้อย่างถูกต้องโดยใช้เพียงไม่กี่อย่าง แต่ผมไม่มีความคิดที่คน ฉันต้องการให้กฎการตัดสินใจขั้นสุดท้ายง่ายต่อการตีความ / อธิบายเพิ่มเติมโดยจำเป็นต้องมีคุณสมบัติจำนวนเล็กน้อย ชุดย่อยบางส่วนของคุณสมบัติของฉันมีความสัมพันธ์กันสูงดังนั้นการเลือกตัวเลือกทำนายที่น้อยที่สุดจะไม่ทำงาน ฉันยังต้องการที่จะสามารถทำการทดสอบสมมติฐานที่มีความหมายเกี่ยวกับคุณสมบัติของฉัน ขั้นตอนการถดถอยแบบขั้นตอนต่อไปนี้สมเหตุสมผลภายใต้เงื่อนไขเหล่านี้: เมื่อพิจารณาคุณลักษณะที่มีอยู่แล้วในโมเดล (หรือเพียงแค่การสกัดกั้นในการวนซ้ำครั้งแรก) ให้เลือกคุณลักษณะที่สร้างอัตราส่วนความน่าจะเป็นบันทึกที่ใหญ่ที่สุดเมื่อเพิ่มเข้ากับโมเดล ใช้อัตราส่วนการทดสอบไคสแควร์ในการคำนวณค่า P-value เล็กน้อยสำหรับการทดสอบสมมติฐานแต่ละครั้งที่ดำเนินการในการเลือกนี้ ค่า null ที่นี่คือการเพิ่มตัวแปรพิเศษเข้ากับโมเดลไม่มีความสามารถในการทำนายเพิ่มเติม ทางเลือกคือเพิ่มความสามารถในการทำนาย ปฏิบัติต่อสมมติฐานที่ทดสอบในขั้นตอนที่ 1 ของการวนซ้ำในแต่ละครอบครัวและคำนวณอัตราการค้นพบที่ผิดพลาดสำหรับค่า P-value ที่น้อยที่สุด (สำหรับสถานที่ที่เลือก) โดยใช้บางอย่างเช่น ไปที่ 1 เว้นแต่ว่าจะมีคุณสมบัติตรงตามเกณฑ์การหยุดบางอย่าง รายงานอัตราการค้นพบที่ผิดพลาดสำหรับฟีเจอร์แต่ละรายการ แต่ไม่ใช่ค่า P-value สำหรับโมเดลโดยรวม (เนื่องจากจะมีการขยายตัวอย่างมาก) การทดสอบค่า P ที่ถูกต้องแต่ละการทดสอบหลายรายการเหล่านี้แสดงถึงนัยสำคัญทางสถิติของคุณลักษณะนั้นซึ่งได้รับคุณสมบัติทั้งหมดที่เพิ่มไว้ก่อนหน้านี้ในโมเดล การทำสิ่งนี้ภายใต้สถานการณ์เหล่านี้ประสบความสำเร็จในการหลีกเลี่ยงการวิพากษ์วิจารณ์ทั่วไปของการถดถอยแบบขั้นตอนทั้งหมดหรือไม่? คำนวณอัตราการค้นพบที่ผิดด้วยวิธีนี้สมเหตุสมผลหรือไม่?

14 regression  logistic  multiple-comparisons  stepwise-regression 

ใน R drop1คำสั่งจะให้ผลลัพธ์ที่เรียบร้อย คำสั่งทั้งสองนี้ควรให้ผลลัพธ์บางอย่างแก่คุณ: example(step)#-> swiss drop1(lm1, test="F") ฉันมีลักษณะเช่นนี้: > drop1(lm1, test="F") Single term deletions Model: Fertility ~ Agriculture + Examination + Education + Catholic + Infant.Mortality Df Sum of Sq RSS AIC F value Pr(F) <none> 2105.0 190.69 Agriculture 1 307.72 2412.8 195.10 5.9934 0.018727 * Examination 1 53.03 …

14 r  regression  self-study  stepwise-regression 

ฉันเหมาะสมการถดถอยโลจิสติกแบบขั้นตอนในชุดของข้อมูลใน SPSS ในขั้นตอนนี้ฉันปรับโมเดลของฉันเป็นชุดย่อยแบบสุ่มที่มีค่าประมาณ 60% ของกลุ่มตัวอย่างทั้งหมดมีประมาณ 330 ราย สิ่งที่ฉันคิดว่าน่าสนใจคือทุกครั้งที่ฉันสุ่มตัวอย่างข้อมูลของฉันอีกครั้งฉันจะได้รับตัวแปรที่แตกต่างกันออกมาในรูปแบบสุดท้าย มีผู้ทำนายไม่กี่คนที่ปรากฏตัวในรุ่นสุดท้ายเสมอ คำถามของฉันคือสิ่งนี้ วิธีที่ดีที่สุดในการจัดการกับสิ่งนี้คืออะไร? ฉันหวังว่าจะเห็นการรวมกันของตัวแปรทำนาย แต่นั่นไม่ใช่กรณี บางรุ่นมีความรู้สึกที่เข้าใจง่ายกว่ามากจากมุมมองด้านปฏิบัติการ (และจะอธิบายได้ง่ายกว่ากับผู้มีอำนาจตัดสินใจ) และคนอื่น ๆ ก็พอดีกับข้อมูลที่ดีกว่าเล็กน้อย ในระยะสั้นเนื่องจากมีการสับเปลี่ยนตัวแปรคุณจะแนะนำให้จัดการกับสถานการณ์ของฉันได้อย่างไร ขอบคุณมากล่วงหน้า

13 logistic  spss  stepwise-regression 

การถดถอยแบบขั้นตอนได้รับการใช้มากเกินไปในเอกสารชีวการแพทย์จำนวนมากในอดีต แต่สิ่งนี้ดูเหมือนว่าจะดีขึ้นด้วยการศึกษาที่ดีขึ้นของปัญหามากมาย ผู้ตรวจสอบรุ่นเก่าหลายคนยังคงขอมัน สถานการณ์ใดที่การถดถอยแบบขั้นตอนมีบทบาทและควรใช้ถ้ามี

13 regression  multiple-regression  feature-selection  model-selection  stepwise-regression