แนวทางที่ขัดแย้งกันในการเลือกตัวแปร: AIC, p-values ​​หรือทั้งสองอย่าง?


13

จากสิ่งที่ฉันเข้าใจการเลือกตัวแปรตามค่า p (อย่างน้อยในบริบทการถดถอย) มีข้อบกพร่องสูง ดูเหมือนว่าการเลือกตัวแปรตาม AIC (หรือคล้ายกัน) ก็ถือว่ามีข้อบกพร่องบางอย่างด้วยเหตุผลที่คล้ายกันแม้ว่าจะดูเหมือนไม่ชัดเจน (เช่นดูคำถามของฉันและลิงก์บางส่วนในหัวข้อนี้ที่นี่: "การเลือกรุ่นตามขั้นตอน" คืออะไร? )

แต่สมมติว่าคุณเลือกหนึ่งในสองวิธีนี้เพื่อเลือกชุดพยากรณ์ที่ดีที่สุดในแบบจำลองของคุณ

อัมและแอนเดอร์สัน 2002 (การเลือกแบบจำลองและการอนุมานหลายรูปแบบ: วิธีปฏิบัติเชิงทฤษฎีสารสนเทศ, หน้า 83) ระบุว่าไม่ควรผสมการเลือกตัวแปรตาม AIC กับการทดสอบสมมติฐาน : "การทดสอบสมมติฐานว่างและแนวทางสารสนเทศเชิงทฤษฎีควร ไม่ใช้ร่วมกันพวกเขาเป็นกระบวนทัศน์การวิเคราะห์ที่แตกต่างกันมาก "

ในอีกทางหนึ่ง Zuur และคณะ 2009 (โมเดลเอฟเฟ็กต์ผสมกับส่วนขยายในระบบนิเวศด้วย R, หน้า 541) ดูเหมือนจะสนับสนุนการใช้AIC เพื่อค้นหาแบบจำลองที่ดีที่สุดก่อนแล้วจึงทำการ "ปรับจูน" โดยใช้การทดสอบสมมติฐาน : "ข้อเสียคือ AIC และคุณอาจต้องใช้การปรับแต่งแบบละเอียด (โดยใช้การทดสอบสมมติฐานจากแนวทางที่หนึ่ง) เมื่อ AIC ได้เลือกแบบจำลองที่ดีที่สุด "

คุณสามารถดูว่าสิ่งนี้ทำให้ผู้อ่านหนังสือทั้งสองเล่มสับสนอย่างไร

1) "ค่าย" ที่แตกต่างกันของการคิดเชิงสถิติและหัวข้อที่ไม่เห็นด้วยในหมู่นักสถิติหรือไม่? หนึ่งในวิธีการเหล่านี้เป็นเพียง "ล้าสมัย" ในขณะนี้ แต่ได้รับการพิจารณาที่เหมาะสมในขณะที่เขียนหรือไม่ หรือเป็นเพียงหนึ่งผิดปกติตั้งแต่เริ่มต้น?

2) จะมีสถานการณ์ที่วิธีนี้เหมาะสมหรือไม่ ตัวอย่างเช่นฉันมาจากภูมิหลังทางชีวภาพซึ่งฉันมักจะพยายามตรวจสอบว่าตัวแปรใดบ้างที่ดูเหมือนว่าจะส่งผลกระทบหรือขับเคลื่อนการตอบสนองของฉัน ฉันมักจะมีตัวแปรอธิบายผู้สมัครจำนวนมากและฉันพยายามค้นหาว่าอะไรคือ "สำคัญ" (ในแง่ที่เกี่ยวข้อง) นอกจากนี้โปรดทราบว่าชุดของตัวแปรตัวทำนายผู้สมัครได้ลดลงไปแล้วสำหรับผู้ที่พิจารณาแล้วว่ามีความเกี่ยวข้องทางชีวภาพ แต่ก็อาจรวมถึงตัวทำนายผู้สมัคร 5-20 คน


3
ฉันสงสัยว่าอาร์กิวเมนต์ทางสถิติของ Zuur จะเป็นอย่างไรสำหรับการปรับแต่งด้วยการทดสอบสมมติฐานหลังจากการเลือก AIC ดูเหมือนจะไม่เหมือนกลยุทธ์การสร้างแบบจำลอง แต่ฉันไม่รู้เกี่ยวกับสิ่งเหล่านั้นมากพอ
Richard Hardy

2
ลางสังหรณ์ของฉันคือข้อเสนอแนะของ Zuur et al. ไม่ดี (ทำไมคุณถึงเคยใช้การทดสอบที่สำคัญสำหรับการเลือกแบบจำลอง) แม้ว่าฉันไม่แน่ใจว่าคำแถลงของ Burnham และ Anderson นั้นถูกต้องเช่นกัน มันเป็นคำถามที่ดี แต่ฉันจะต้องอ่านรายละเอียดทางเทคนิคอย่างลึกซึ้งยิ่งขึ้นกว่าที่ฉันได้อ่านเพื่อตอบคำถาม
Kodiologist

ฉันใช้ทั้งสองวิธีในแบบจำลองเพื่อทำนายยอดขายพาเนล การถดถอยย้อนกลับแบบขั้นตอนตาม AIC นั้นดูเหมือนจะให้ผลลัพธ์ที่ดีขึ้นจากประสบการณ์ของฉัน
Souptik Dhar

1
@SouptikDhar เมื่อคุณพูดว่า "ดีกว่า" ผลลัพธ์คุณหมายถึงอะไร?
Tilen

บางทีคำตอบนั้นขึ้นอยู่กับวัตถุประสงค์ของการวิเคราะห์? ในการศึกษาเชิงสังเกตมันอาจเป็นที่ต้องการที่จะหาแบบจำลองที่มีชื่อเสียงที่สุดในชุดข้อมูลดังนั้นจึงต้องอาศัย "การเลือกตัวแปรตาม AIC" เป็นต้น อย่างไรก็ตามหากจุดมุ่งหมายคือการวางสมมติฐานในการทดสอบจากนั้นแบบจำลองเป็นข้อสรุปของสมมติฐานในแง่ของพร็อกซี่ที่เพียงพอสำหรับตัวแปรที่น่าสนใจให้กับสมมติฐานของเราถูกระบุไว้ตั้งแต่ต้นดังนั้นจึงไม่มีที่ว่างสำหรับ เลือกตัวแปร IMHO?
Rodolphe

คำตอบ:


6

คำตอบสั้น ๆ

วิธีการทำการเลือกหรือปรับแต่งข้อมูลที่ขับเคลื่อนด้วยข้อมูลจากนั้นใช้วิธีการอนุมานมาตรฐานบนโมเดลที่เลือก / ปรับ (à la Zuur et al.และนักนิเวศวิทยาที่มีชื่อเสียงอื่น ๆ เช่น Crawley) จะให้ผลลัพธ์ที่รวดเร็วเกินไป: ความมั่นใจแคบเกินไป ช่วงเวลา (ความครอบคลุมที่ไม่ดี) ค่า p น้อยเกินไป (ข้อผิดพลาดประเภทที่สูง) เพราะนี่คือวิธีการอนุมานมาตรฐานถือว่ารูปแบบมีการระบุเบื้องต้น ; พวกเขาไม่คำนึงถึงกระบวนการปรับแต่งโมเดล

นี่คือเหตุผลที่นักวิจัยอย่าง Frank Harrell ( กลยุทธ์การสร้างแบบจำลองการถดถอย ) ไม่เห็นด้วยอย่างยิ่งกับเทคนิคการเลือกข้อมูลที่ขับเคลื่อนด้วยการถดถอยแบบขั้นตอนและขอเตือนว่าเราจะต้องลดความซับซ้อนของโมเดล ("การลดมิติ") เช่นการคำนวณ PCA ของตัวแปรพยากรณ์ และเลือกแรกแกน PCA น้อยพยากรณ์) โดยการมองเพียงที่ตัวแปร

หากคุณมีความสนใจเฉพาะในการหารูปแบบการทำนายที่ดีที่สุด (และไม่ได้สนใจในชนิดของประมาณการที่เชื่อถือได้ของความไม่แน่นอนของการทำนายของคุณซึ่งตกอยู่ในขอบเขตของการอนุมานใด ๆ !) แล้วที่ขับเคลื่อนด้วยข้อมูลรูปแบบการปรับแต่งเป็นเรื่องปกติ (แม้ว่า การเลือกแบบเป็นขั้นตอนไม่ค่อยเป็นตัวเลือกที่ดีที่สุด) อัลกอริทึมการเรียนรู้ของเครื่อง / การเรียนรู้เชิงสถิติทำการปรับแต่งจำนวนมากเพื่อลองใช้แบบจำลองการทำนายที่ดีที่สุด ข้อผิดพลาด "test" หรือ "out-of-sample" ต้องได้รับการประเมินในตัวอย่างที่แยกออกมาถูกจัดเก็บไว้หรือวิธีการปรับแต่งใด ๆ ที่จะต้องสร้างขึ้นในกระบวนการตรวจสอบข้าม

ดูเหมือนว่าจะมีวิวัฒนาการทางประวัติศาสตร์ในความคิดเห็นในหัวข้อนี้ ตำราสถิติคลาสสิกจำนวนมากโดยเฉพาะอย่างยิ่งที่เน้นการถดถอยนำเสนอแนวทางแบบขั้นตอนตามด้วยขั้นตอนอนุมานมาตรฐานโดยไม่คำนึงถึงผลกระทบของการเลือกแบบจำลองเข้าสู่บัญชี [อ้างอิงที่จำเป็น ... ]

มีหลายวิธีในการหาปริมาณความสำคัญของตัวแปรและไม่ใช่ทั้งหมดที่ตกอยู่ในกับดักของการเลือกตัวแปร

  • เบิร์นแฮมและแอนเดอร์สันแนะนำการรวมน้ำหนัก AIC; มีความขัดแย้งกันเล็กน้อยกับแนวทางนี้
  • คุณสามารถใส่แบบจำลองเต็มรูปแบบ (ด้วยตัวทำนายขนาด / หน่วยที่เหมาะสม) และจัดอันดับตัวทำนายตามขนาดโดยประมาณ [ขนาดผลกระทบทางชีวภาพ] หรือคะแนน Z ["ความชัดเจน" / ขนาดผลกระทบทางสถิติ]

1

ฉันมาจากภูมิหลังทางชีววิทยาและเป็นนักชีวสถิติรับจ้างที่ทำงานในโรงพยาบาลมหาวิทยาลัย ฉันอ่านมากเกี่ยวกับเรื่องนี้โดยเฉพาะอย่างยิ่งเมื่อเร็ว ๆ นี้รวมถึงโดยเฉพาะความคิดเห็นของ Harrell เหนือ www และกลยุทธ์การสร้างแบบจำลองการถดถอยหนังสือของเขา ไม่พูดถึงเขาอีกต่อไป แต่พูดจากประสบการณ์: มันเกี่ยวข้องกันอย่างมากฉันคิดว่านี่เป็นระดับแรกที่ต้องคำนึงถึง ระดับที่สองคือการได้รับวิธีการที่มีเหตุผลที่ดีซึ่งหมายความว่าตัวทำนายของคุณควรมีความหมายหลักในการแสดงสิ่งที่คุณต้องการทำนายโดยประสบการณ์ทางวิทยาศาสตร์ อันดับที่ 3 คือการโต้ตอบซึ่งสำคัญอย่างยิ่งและสามารถแก้ไขได้ด้วยวิธีการทางสถิติหรือข้อมูลเชิงลึก ในกรณีของฉันที่มีข้อมูลโรงพยาบาลมีวิธีที่เลือกเพียง 4 วิธีซึ่งมักจะมีดาต้าพอยท์ประมาณ x * 10 ^ 3 และ x * 10 ^ 1 การสังเกตเช่น

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.