ใช้การทำให้เป็นมาตรฐานเมื่อทำการอนุมานเชิงสถิติ

ฉันรู้เกี่ยวกับประโยชน์ของการทำให้เป็นปกติเมื่อสร้างแบบจำลองการทำนาย (อคติกับความแปรปรวนป้องกันการโอเวอร์) แต่ฉันสงสัยว่ามันเป็นความคิดที่ดีหรือไม่ที่จะทำการทำให้เป็นมาตรฐาน (lasso, ridge, elastic net) เมื่อจุดประสงค์หลักของแบบจำลองการถดถอยนั้นอนุมานถึงสัมประสิทธิ์ ฉันชอบที่จะได้ยินความคิดของผู้คนรวมถึงลิงก์ไปยังวารสารทางวิชาการหรือบทความที่ไม่ใช่ด้านวิชาการที่กล่าวถึงเรื่องนี้

คำว่า "การทำให้เป็นมาตรฐาน" ครอบคลุมวิธีการที่หลากหลายมาก สำหรับวัตถุประสงค์ของคำตอบนี้ฉันจะ จำกัด ให้แคบลงเพื่อหมายถึง "การเพิ่มประสิทธิภาพที่มีการลงโทษ" นั่นคือการเพิ่มการลงโทษหรือL 2ให้กับปัญหาการเพิ่มประสิทธิภาพของคุณ$L_1$$L_2$

หากเป็นเช่นนั้นคำตอบก็คือ "ใช่!

เหตุผลของเรื่องนี้ก็คือการเพิ่มหรือL 2โทษที่จะนำไปสู่ฟังก์ชั่นความน่าจะเป็นที่จะตรง$L_1$$L_2$ฟังก์ชั่นทางคณิตศาสตร์เช่นเดียวกับการเพิ่มทั้ง Laplace หรือเกาส์ก่อนที่จะมีโอกาสที่จะได้รับการกระจายหลัง (สนามลิฟท์: การกระจายก่อนที่จะอธิบายถึงความไม่แน่นอน ของพารามิเตอร์ก่อนที่จะเห็นข้อมูลการกระจายหลังอธิบายความไม่แน่นอนของพารามิเตอร์หลังจากที่เห็นข้อมูล) ซึ่งนำไปสู่สถิติแบบเบย์ 101 สถิติแบบเบย์เป็นที่นิยมมากและดำเนินการตลอดเวลาโดยมีเป้าหมายของการอนุมานของผลกระทบโดยประมาณ

นั่นคือ "ใช่!" ส่วนหนึ่ง "ดีนะ" คือการเพิ่มประสิทธิภาพการกระจายหลังของคุณเสร็จแล้วและเรียกว่า "การประมาณค่าสูงสุดหลัง" (MAP) แต่ Bayesian ส่วนใหญ่ไม่ใช้การประมาณค่า MAP พวกเขาสุ่มตัวอย่างจากการกระจายหลังโดยใช้อัลกอริทึม MCMC! เรื่องนี้มีข้อดีหลายประการหนึ่งซึ่งมันมีแนวโน้มที่จะมีอคติน้อยลงในองค์ประกอบความแปรปรวน

เพื่อความกระชับฉันได้พยายามที่จะไม่ลงรายละเอียดเกี่ยวกับสถิติของ Bayesian แต่ถ้าสิ่งนี้คุณสนใจนั่นคือสถานที่ที่จะเริ่มมองหา

มีความแตกต่างที่สำคัญระหว่างการประเมินโดยใช้บทลงโทษประเภทสันเขาและบทลงโทษประเภทเชือก ตัวประมาณชนิดสันมีแนวโน้มที่จะลดค่าสัมประสิทธิ์การถดถอยทั้งหมดให้เป็นศูนย์และมีความลำเอียง แต่มีการแจกแจงแบบอะซิมโทติกได้ง่ายเพราะพวกมันไม่หดตัวตัวแปรใด ๆ ให้เป็นศูนย์ ความเอนเอียงในการประมาณสันอาจเป็นปัญหาในการทดสอบสมมติฐานต่อไป แต่ฉันไม่ใช่ผู้เชี่ยวชาญในเรื่องนั้น ในทางกลับกันการลงโทษประเภท Lasso / elastic-net ลดค่าสัมประสิทธิ์การถดถอยจำนวนมากเป็นศูนย์และดังนั้นจึงสามารถดูได้ว่าเป็นเทคนิคการเลือกรูปแบบ ปัญหาของการทำการอนุมานบนแบบจำลองที่เลือกขึ้นอยู่กับข้อมูลมักเรียกว่าปัญหาการอนุมานแบบเลือกหรือการอนุมานภายหลังการเลือก สาขานี้ได้เห็นการพัฒนาจำนวนมากในปีที่ผ่านมา

ปัญหาหลักของการอนุมานหลังจากการเลือกรุ่นคือการเลือกตัดทอนพื้นที่ตัวอย่าง ตัวอย่างง่ายๆสมมติว่าเราสังเกต$y\sim N(\mu,1)$ และต้องการประมาณเท่านั้น $\mu$ถ้าเรามีหลักฐานว่ามันใหญ่กว่าศูนย์ จากนั้นเราประมาณ$\mu$ ถ้า $|y| > c >0$ สำหรับบางเกณฑ์ที่กำหนดไว้ล่วงหน้า $c$. ในกรณีเช่นนี้เราจะสังเกตเท่านั้น$y$ ถ้ามันมีขนาดใหญ่กว่า $c$ ในค่าสัมบูรณ์และดังนั้น $y$ ไม่ปกติอีกต่อไป แต่ถูกตัดทอนตามปกติ

ในทำนองเดียวกัน Lasso (หรือ elastic net) จำกัด พื้นที่ตัวอย่างด้วยวิธีการเพื่อให้แน่ใจว่ามีการเลือกรุ่นที่เลือก การตัดปลายนี้มีความซับซ้อนมากขึ้น แต่สามารถอธิบายได้เชิงวิเคราะห์

จากข้อมูลเชิงลึกนี้เราสามารถทำการอนุมานโดยพิจารณาจากการกระจายข้อมูลที่ถูกตัดทอนเพื่อรับสถิติการทดสอบที่ถูกต้อง สำหรับช่วงความมั่นใจและสถิติการทดสอบดูงานของ Lee et al .: http://projecteuclid.org/euclid.aos/1460381681

วิธีการของพวกเขาจะดำเนินการในแพคเกจการ R selectiveInference

การประมาณค่าที่เหมาะสมที่สุด (และการทดสอบ) หลังจากการเลือกแบบจำลองถูกกล่าวถึงใน (สำหรับ lasso): https://arxiv.org/abs/1705.09417

และแพ็คเกจซอฟต์แวร์ (ครอบคลุมน้อยกว่า) มีให้ใน: https://github.com/ammeir2/selectiveMLE

ฉันจะแนะนำ LASSO เป็นพิเศษหากคุณพยายามใช้การถดถอยสำหรับการอนุมานโดยอ้างอิงจาก "ตัวทำนายที่มีความสำคัญทางสถิติ" - แต่ไม่ใช่สำหรับเหตุผลที่คุณคาดหวัง

ในทางปฏิบัติผู้ทำนายในรูปแบบมักจะมีความสัมพันธ์ แม้ว่าจะไม่มีความหลากหลายทางชีวภาพมากมาย แต่การเลือกตัวพยากรณ์ "สำคัญ" ของการถดถอยในกลุ่มของตัวทำนายที่สัมพันธ์กันนั้นอาจแตกต่างกันอย่างมากจากตัวอย่างไปยังตัวอย่าง

ดังนั้นใช่ไปข้างหน้าและทำ LASSO สำหรับการถดถอยของคุณ จากนั้นทำซ้ำกระบวนการสร้างแบบจำลองที่สมบูรณ์ (รวมถึงการตรวจสอบความถูกต้องแบบข้ามเพื่อเลือกบทลงโทษ LASSO) ในตัวอย่างบูตสแตรปหลายตัวอย่าง (สองสามร้อยหรือมากกว่านั้น) จากข้อมูลดั้งเดิม มาดูกันว่าตัวแปรชุดของตัวทำนาย "สำคัญ" ที่เลือกด้วยวิธีนี้สามารถเป็นอย่างไร

กระบวนการนี้ควรทำให้คุณคิดสองครั้งเกี่ยวกับการตีความค่า p ในการถดถอยในแง่ที่ตัวทำนายแต่ละตัวมีความสำคัญ