การทดสอบความสำคัญหรือการตรวจสอบความถูกต้องข้าม?

วิธีการทั่วไปสองวิธีในการเลือกตัวแปรที่เกี่ยวข้องคือการทดสอบที่สำคัญและการตรวจสอบความถูกต้องข้าม แต่ละปัญหาพยายามแก้ปัญหาอย่างไรและเมื่อใดที่ฉันจะเลือกใช้อีกอันหนึ่ง

ขั้นแรกให้ชัดเจนและใส่คำถามลงในบริบทของการถดถอยเชิงเส้นหลายครั้งที่เราถดถอยตัวแปรการตอบสนองในตัวแปรต่าง ๆ (สัมพันธ์กันหรือไม่) พร้อมพารามิเตอร์เวกเตอร์และฟังก์ชันการถดถอย ซึ่งอาจเป็นรูปแบบของค่าเฉลี่ยของตัวแปรตอบกลับสำหรับ สังเกตที่กำหนดของx_p x 1 , ... , x P β = ( β 0 , β 1 , ... , β P ) F ( x 1 , ... , x P ) = β 0 + β 1 x 1 + ... + β พีx P , x 1 , … , x $y$$x_1, \ldots, x_p$$\beta = (\beta_0, \beta_1, \ldots, \beta_p)$

คำถามคือวิธีการเลือกชุดย่อยของที่ 's ที่จะไม่ใช่ศูนย์และโดยเฉพาะอย่างยิ่งการเปรียบเทียบอย่างมีนัยสำคัญในการทดสอบเมื่อเทียบกับการตรวจสอบข้าม$\beta_i$

เพื่อให้ชัดเจนเกี่ยวกับคำศัพท์การทดสอบความสำคัญเป็นแนวคิดทั่วไปซึ่งดำเนินการแตกต่างกันในบริบทที่แตกต่างกัน ขึ้นอยู่กับการเลือกของสถิติทดสอบ การตรวจสอบข้ามจริง ๆ เป็นอัลกอริทึมสำหรับการประเมินข้อผิดพลาดการวางนัยทั่วไปที่คาดหวังซึ่งเป็นแนวคิดทั่วไปที่สำคัญและขึ้นอยู่กับทางเลือกของฟังก์ชันการสูญเสีย

ข้อผิดพลาดทั่วไปที่คาดว่าจะเป็นเพียงเล็กน้อยทางเทคนิคในการกำหนดอย่างเป็นทางการ แต่ในคำพูดมันเป็นความสูญเสียที่คาดหวังของรูปแบบการติดตั้งเมื่อนำมาใช้ในการทำนายในชุดข้อมูลที่เป็นอิสระที่คาดหวังมากกว่าข้อมูลที่ใช้สำหรับการประเมินรวมทั้งข้อมูลที่เป็นอิสระ ชุดที่ใช้สำหรับการทำนาย

ในการทำการเปรียบเทียบที่สมเหตุสมผลให้เน้นว่าสามารถนำมาเป็น 0 หรือไม่$\beta_1$

• สำหรับการทดสอบนัยสำคัญของสมมติฐานว่างว่าขั้นตอนหลักคือการคำนวณค่าซึ่งเป็นความน่าจะเป็นที่สถิติทดสอบที่เลือกมีขนาดใหญ่กว่าที่เราสังเกตสำหรับชุดข้อมูลของเราภายใต้สมมติฐานว่างนั่นคือเมื่อ สมมติว่า0 การตีความคือค่าเล็ก ๆเป็นหลักฐานต่อต้านสมมติฐานว่าง มีกฎที่ใช้กันทั่วไปสำหรับสิ่งที่ "เล็ก" หมายถึงในแง่ที่แน่นอนเช่นระดับ 0.05 หรือ 0.01 ที่มีชื่อเสียง$\beta_1 = 0$$p$$\beta_1 = 0$$p$
• สำหรับข้อผิดพลาดทั่วไปคาดว่าเราคำนวณบางทีอาจจะใช้การตรวจสอบข้ามประมาณการของข้อผิดพลาดทั่วไปที่คาดว่าจะอยู่ภายใต้สมมติฐานที่ว่า0 ปริมาณนี้บอกเราว่าแบบจำลองที่เหมาะสมกับวิธีที่เราใช้และด้วยจะทำงานโดยเฉลี่ยเมื่อใช้สำหรับการคาดการณ์ข้อมูลที่เป็นอิสระ ข้อผิดพลาดในการวางนัยทั่วไปที่คาดหวังขนาดใหญ่นั้นไม่ดี แต่ไม่มีกฎในแง่ของค่าสัมบูรณ์ของมันว่าต้องมีขนาดใหญ่เท่าใดจึงจะไม่ดี เราจะต้องประเมินข้อผิดพลาดการวางนัยทั่วไปที่คาดไว้สำหรับรุ่นที่ได้รับอนุญาตให้แตกต่างจาก 0 เช่นกันและจากนั้นเราสามารถเปรียบเทียบข้อผิดพลาดโดยประมาณสองข้อ แล้วแต่จำนวนใดจะน้อยที่สุดสอดคล้องกับรุ่นที่เราเลือก $\beta_1 = 0$$\beta_1 = 0$$\beta_1$

การใช้การทดสอบที่มีนัยสำคัญเราไม่ได้เกี่ยวข้องโดยตรงกับ "ประสิทธิภาพ" ของแบบจำลองภายใต้สมมติฐานว่างกับรุ่นอื่น ๆ แต่เรามีความกังวลเกี่ยวกับการบันทึกว่าเป็นโมฆะ นี้ทำให้รู้สึกมากที่สุด (ให้ฉัน) ในการติดตั้งยืนยันที่วัตถุประสงค์หลักคือเพื่อยืนยันและเอกสารไพรเออรี่ระบุดีสมมติฐานทางวิทยาศาสตร์ซึ่งสามารถสูตร0$\beta_1 \neq 0$

ข้อผิดพลาดทั่วไปคาดว่าจะบนมืออื่น ๆ ที่เกี่ยวข้องเฉพาะกับค่าเฉลี่ย "ประสิทธิภาพ" ในแง่ของการสูญเสียการคาดการณ์ที่คาดไว้และสรุปว่ามันเป็นสิ่งที่ดีที่สุดที่จะช่วยให้จะแตกต่างจาก 0 ในแง่ของการทำนายไม่ได้เป็นความพยายามที่จะเอกสาร ที่คือ "จริงๆ" แตกต่างจาก 0สิ่งที่หมายถึง$\beta_1$$\beta_1$$-$

ฉันเองไม่เคยทำงานเกี่ยวกับปัญหาที่ฉันต้องการการทดสอบที่มีนัยสำคัญอย่างเป็นทางการ แต่ค่าหาทางเข้าไปในงานของฉันและให้คำแนะนำที่สมเหตุสมผลและความประทับใจครั้งแรกสำหรับการเลือกตัวแปร ผม แต่ส่วนใหญ่ใช้วิธีการลงโทษเช่นเชือกร่วมกับข้อผิดพลาดทั่วไปสำหรับการเลือกรูปแบบใด ๆ อย่างเป็นทางการและอย่างช้า ๆ ฉันกำลังพยายามที่จะปราบปรามความโน้มเอียงของฉันจะได้คำนวณ -values $p$$p$

สำหรับการวิเคราะห์เชิงสำรวจฉันไม่เห็นข้อโต้แย้งใด ๆ ที่สนับสนุนการทดสอบนัยสำคัญและค่าและฉันจะแนะนำให้มุ่งเน้นไปที่แนวคิดเช่นข้อผิดพลาดทั่วไปที่คาดไว้สำหรับการเลือกตัวแปร ในบริบทอื่นที่หนึ่งอาจพิจารณาใช้สำหรับการบันทึกว่าไม่ใช่ 0 ฉันจะบอกว่ามันเป็นความคิดที่ดีกว่าในการรายงานการประมาณและช่วงความมั่นใจแทน$p$$p$$\beta_1$$\beta_1$

เพียงแค่ใช้การทดสอบที่มีความสำคัญและขั้นตอนแบบขั้นตอนเพื่อทำการเลือกแบบจำลองอาจทำให้คุณเชื่อว่าคุณมีโมเดลที่แข็งแกร่งมากพร้อมตัวทำนายที่สำคัญเมื่อคุณไม่ได้ทำ คุณอาจได้รับความสัมพันธ์ที่แข็งแกร่งโดยบังเอิญและความสัมพันธ์เหล่านี้สามารถเพิ่มขึ้นได้เมื่อคุณลบตัวพยากรณ์ที่ไม่จำเป็นออกไป

แน่นอนว่าขั้นตอนการคัดเลือกนั้นจะเก็บเฉพาะตัวแปรเหล่านั้นที่มีความสัมพันธ์มากที่สุดกับผลลัพธ์และเมื่อกระบวนงานแบบขั้นตอนก้าวไปข้างหน้าความน่าจะเป็นในการยอมรับข้อผิดพลาด Type I นั้นใหญ่กว่าที่คุณคาดคิด นี่เป็นเพราะข้อผิดพลาดมาตรฐาน (และค่า p) จึงไม่ได้รับการปรับให้คำนึงถึงความจริงที่ว่าตัวแปรที่ไม่ได้ถูกเลือกสำหรับการรวมอยู่ในรูปแบบการสุ่มและการทดสอบสมมติฐานหลายครั้งได้ดำเนินการเพื่อเลือกชุดนั้น

David Freedman มีกระดาษน่ารักที่เขาแสดงให้เห็นถึงจุดเหล่านี้เรียกว่า " A Note on Screening Regression Equations " นามธรรม:

$R^2$$R^2$

วิธีแก้ปัญหาหนึ่งที่เป็นไปได้สำหรับปัญหานี้ดังที่คุณกล่าวถึงคือการใช้ชุดตัวเลือกการตรวจสอบข้าม เมื่อฉันไม่มีเศรษฐกิจที่ดี (งานวิจัยของฉัน) หรือเหตุผลทางสถิติที่จะเชื่อแบบจำลองของฉันนี่เป็นวิธีที่ฉันต้องการในการเลือกแบบจำลองที่เหมาะสมและการอนุมานที่มีประสิทธิภาพ

ผู้ตอบแบบสอบถามอื่น ๆ อาจพูดถึงว่าขั้นตอนแบบขั้นตอนโดยใช้ AIC หรือ BIC นั้นเทียบเท่ากับการตรวจสอบข้าม อย่างไรก็ตามวิธีนี้ใช้งานได้เมื่อจำนวนการสังเกตที่สัมพันธ์กับจำนวนผู้ทำนายมีขนาดใหญ่เท่านั้น ในบริบทของการมีตัวแปรหลายตัวที่สัมพันธ์กับจำนวนการสังเกต (อิสระกล่าวว่า 1 ตัวแปรต่อการสังเกต 10 ครั้งหรือน้อยกว่า) การเลือกในลักษณะนี้สามารถแสดงคุณสมบัติที่ไม่ดีที่กล่าวถึงข้างต้น

ในยุคของคอมพิวเตอร์ที่ทรงพลังฉันไม่เห็นเหตุผลที่จะไม่ใช้การตรวจสอบความถูกต้องแบบไขว้เป็นขั้นตอนการเลือกรุ่นแทนการเลือกแบบขั้นตอน