Stepwise AIC - มีข้อโต้แย้งรอบ ๆ หัวข้อนี้หรือไม่?


17

ฉันได้อ่านโพสต์นับไม่ถ้วนในเว็บไซต์นี้ซึ่งต่อต้านการเลือกตัวแปรแบบขั้นตอนโดยใช้เกณฑ์ใด ๆ ไม่ว่าจะเป็นค่า p ตาม AIC, BIC เป็นต้น

ฉันเข้าใจว่าทำไมขั้นตอนเหล่านี้โดยทั่วไปค่อนข้างยากจนสำหรับการเลือกตัวแปร โพสต์ที่มีชื่อเสียงอาจเป็นของ gung ที่นี่แสดงให้เห็นอย่างชัดเจนว่าทำไม; ท้ายที่สุดเรากำลังตรวจสอบสมมติฐานบนชุดข้อมูลเดียวกับที่เราเคยทำกับสมมติฐานซึ่งเป็นเพียงการขุดลอกข้อมูล นอกจากนี้ค่า p จะได้รับผลกระทบจากปริมาณเช่น collinearity และค่าผิดปกติซึ่งทำให้ผลลัพธ์เบ้หนักเป็นต้น

แต่ผมได้รับการศึกษาการพยากรณ์อนุกรมเวลาไม่น้อยเมื่อเร็ว ๆ นี้และได้เจอตำรานับหน้าถือตา Hyndman ของที่เขากล่าวถึงที่นี่ใช้ตัวเลือกแบบขั้นตอนที่จะหาคำสั่งซื้อที่เหมาะสมของแบบจำลอง ARIMA โดยเฉพาะอย่างยิ่ง ในความเป็นจริงในforecastแพคเกจใน R อัลกอริทึมที่รู้จักกันดีที่รู้จักกันเป็นauto.arimaค่าเริ่มต้นใช้การเลือกแบบขั้นตอน (กับ AIC ไม่ใช่ค่า p) นอกจากนี้เขายังวิจารณ์การเลือกคุณสมบัติตามค่า p ซึ่งสอดคล้องกับโพสต์หลายรายการในเว็บไซต์นี้

ในที่สุดเราควรข้ามการตรวจสอบในบางวิธีในตอนท้ายถ้าเป้าหมายคือการพัฒนาแบบจำลองที่ดีสำหรับการพยากรณ์ / การทำนาย อย่างไรก็ตามแน่นอนว่านี่เป็นสิ่งที่ไม่เห็นด้วยที่นี่เมื่อพูดถึงขั้นตอนการประเมินตัวชี้วัดอื่น ๆ นอกเหนือจากค่า p

ไม่มีใครมีความคิดเห็นใด ๆ เกี่ยวกับการใช้ AIC แบบขั้นตอนในบริบทนี้ แต่โดยทั่วไปยังอยู่นอกบริบทนี้ด้วย ฉันได้รับการสอนให้เชื่อว่าการเลือกตามขั้นตอนใด ๆ นั้นไม่ดี แต่ตามจริงauto.arima(stepwise = TRUE)แล้วฉันได้ดีขึ้นจากผลลัพธ์ตัวอย่างมากกว่าauto.arima(stepwise = FALSE)แต่บางทีนี่อาจเป็นเรื่องบังเอิญ


หนึ่งในสองสามสิ่งที่นักพยากรณ์สามารถตกลงกันได้คือการเลือกรุ่นที่ "ดีที่สุด" มักจะใช้งานได้ดีกว่าการรวมรุ่นที่แตกต่างกันหลายแบบเข้าด้วยกัน
S. Kolassa - Reinstate Monica

คำตอบ:


20

มีปัญหาที่แตกต่างกันเล็กน้อยที่นี่

  • อาจเป็นปัญหาหลักคือการเลือกรูปแบบ (ไม่ว่าจะใช้ p-values ​​หรือ AICs, stepwise หรือ all-subsets หรืออย่างอื่น) เป็นปัญหาหลักสำหรับการอนุมาน (เช่นการรับค่า p-type กับ I ผิดประเภทที่เหมาะสม สำหรับการทำนายการเลือกแบบจำลองสามารถเลือกจุดที่ดีกว่าบนแกนแลกเปลี่ยนความแปรปรวนแบบอคติและปรับปรุงข้อผิดพลาดนอกตัวอย่าง
  • สำหรับบางรุ่นของคลาส AIC นั้นเทียบเท่ากับข้อผิดพลาด CV แบบปล่อยแบบไม่ต่อเนื่อง [ดูเช่นhttp://www.petrkeil.com/?p=836 ] ดังนั้นการใช้ AIC เป็นพร็อกซีที่มีประสิทธิภาพในการคำนวณสำหรับ CV นั้นสมเหตุสมผล
  • การเลือกแบบขั้นตอนมักจะถูกครอบงำโดยวิธีการเลือกรุ่นอื่น ๆ (หรือค่าเฉลี่ย ) (ส่วนย่อยทั้งหมดหากเป็นไปได้การคำนวณหรือวิธีการหดตัว) แต่มันง่ายและใช้งานง่ายและถ้าคำตอบนั้นชัดเจนเพียงพอ (พารามิเตอร์บางตัวที่สอดคล้องกับสัญญาณที่แรงสัญญาณอื่น ๆ ที่อ่อนแอไม่กี่สื่อกลาง) จากนั้นจะให้ผลลัพธ์ที่สมเหตุสมผล อีกครั้งมีความแตกต่างใหญ่ระหว่างการอนุมานและการทำนาย ตัวอย่างเช่นหากคุณมีคู่ทำนายที่มีความสัมพันธ์อย่างมากการเลือกอันที่ไม่ถูกต้อง (จาก "ความจริง" / มุมมองเชิงสาเหตุ) เป็นปัญหาใหญ่สำหรับการอนุมาน แต่การเลือกอันที่เกิดขึ้นเพื่อให้ AIC ที่ดีที่สุดคือ กลยุทธ์สำหรับการคาดการณ์ (แม้ว่ามันจะล้มเหลวถ้าคุณพยายามทำนายสถานการณ์ที่ความสัมพันธ์ของตัวทำนายเปลี่ยนแปลง ... )

Bottom line: สำหรับข้อมูลขนาดปานกลางที่มีอัตราส่วนสัญญาณต่อสัญญาณรบกวนที่สมเหตุสมผลการเลือกแบบขั้นตอนตาม AIC สามารถสร้างแบบจำลองการทำนายที่ป้องกันได้ ดูตัวอย่าง Murtaugh (2009)

Murtaugh, Paul A. "ประสิทธิภาพของวิธีการเลือกตัวแปรหลายตัวที่ใช้กับข้อมูลเชิงนิเวศน์ที่แท้จริง" ตัวอักษรนิเวศวิทยา 12 หมายเลข 10 (2009): 1061-1068


พี

โปรดอย่าให้ฉันเริ่มต้นที่ Burnham and Anderson github.com/bbolker/discretization
Ben Bolker
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.