การอนุมานหลังจากใช้ Lasso เพื่อเลือกตัวแปร

ฉันใช้ Lasso สำหรับการเลือกคุณสมบัติในการตั้งค่ามิติที่ค่อนข้างต่ำ (n >> p) หลังจากติดตั้ง Lasso model แล้วฉันต้องการใช้ covariates กับสัมประสิทธิ์ที่ไม่ใช่ศูนย์เพื่อให้พอดีกับ model โดยไม่มีการลงโทษ ฉันกำลังทำเช่นนี้เพราะฉันต้องการการประเมินที่เป็นกลางซึ่ง Lasso ไม่สามารถให้ฉันได้ ฉันยังต้องการค่า p และช่วงความเชื่อมั่นสำหรับการประเมินที่เป็นกลาง

ฉันมีปัญหาในการค้นหาวรรณกรรมในหัวข้อนี้ วรรณคดีที่ฉันพบส่วนใหญ่เกี่ยวกับการกำหนดช่วงความเชื่อมั่นในการประเมิน Lasso ไม่ใช่โมเดลที่มีการปรับปรุง

จากสิ่งที่ฉันได้อ่านเพียงแค่อ้างอิงโมเดลโดยใช้ชุดข้อมูลทั้งหมดทำให้เกิดข้อผิดพลาด p-values ​​/ std ที่ไม่สมจริง ตอนนี้การแยกตัวอย่าง (ในรูปแบบของ Wasserman และ Roeder (2014) หรือ Meinshausen et al. (2009)) ดูเหมือนจะเป็นแนวทางที่ดี แต่ฉันกำลังมองหาคำแนะนำเพิ่มเติม

มีใครพบปัญหานี้หรือไม่? ถ้าเป็นเช่นนั้นคุณช่วยกรุณาให้คำแนะนำได้ไหม

เพื่อเพิ่มการตอบสนองก่อนหน้า คุณควรตรวจสอบงานล่าสุดโดย Tibshirani และเพื่อนร่วมงาน พวกเขาได้พัฒนากรอบที่เข้มงวดสำหรับการอนุมานค่า p ที่แก้ไขการเลือกและช่วงความเชื่อมั่นสำหรับวิธีการแบบ lasso และยังให้ R-package

ดู:

ลี, เจสันดี, และคณะ "การอนุมาน post-selection ที่แน่นอนพร้อมกับแอปพลิเคชันไปที่ lasso" พงศาวดารสถิติ 44.3 (2016): 907-927 ( https://projecteuclid.org/euclid.aos/1460381681 )

Taylor, Jonathan, และ Robert J. Tibshirani "การเรียนรู้เชิงสถิติและการอนุมานแบบเลือกสรร" กิจการของ National Academy of Sciences 112.25 (2015): 7629-7634

R-แพคเกจ:

https://cran.r-project.org/web/packages/selectiveInference/index.html

โดยทั่วไปการ refitting โดยไม่มีการลงโทษหลังจากเสร็จสิ้นการเลือกตัวแปรผ่าน Lasso นั้นถือว่าเป็นการ "โกง" เนื่องจากคุณได้ดูข้อมูลแล้วและค่า p-value และช่วงความเชื่อมั่นที่ได้นั้นไม่ถูกต้องตามปกติ

$p$

ชุดของตัวแปรที่เลือกโดย lasso นั้นเป็นแบบกำหนดค่าได้และไม่ใช่ข้อมูลขึ้นอยู่กับความน่าจะเป็นสูง

ดังนั้นการแอบดูข้อมูลสองครั้งจึงไม่ใช่ปัญหา คุณจะต้องดูว่าสำหรับปัญหาของคุณเงื่อนไขที่ระบุไว้ในกระดาษถือหรือไม่

(มีการอ้างอิงที่มีประโยชน์มากมายในกระดาษเช่นกัน)

อ้างอิง:

Zhao, S. , Shojaie, A. , & Witten, D. (2017) ในการป้องกันการแก้ตัว: วิธีการที่ไร้เดียงสามากในการอนุมานมิติสูง สืบค้นจาก: https://arxiv.org/pdf/1705.05543.pdf

ฉันต้องการเพิ่มเอกสารบางส่วนจากวรรณกรรมการเรียนรู้แบบมุมฉาก / คู่ที่กำลังเป็นที่นิยมในวรรณคดีประยุกต์

• Belloni, Alexandre, Victor Chernozhukov และ Christian Hansen "การอนุมานเกี่ยวกับผลการรักษาหลังจากการเลือกในการควบคุมมิติสูง" การทบทวนวิชาเศรษฐศาสตร์ศึกษา 81.2 (2014): 608-650

  บทความนี้กล่าวถึงคุณสมบัติทางทฤษฎีของการประมาณค่า OLS ของผลกระทบของตัวแปรหลังจากเลือกตัวควบคุม "อื่น ๆ " โดยใช้ LASSO

• Victor Chernozhukov, Denis Chetverikov, Mert Demirer, Esther Duflo, Christian Hansen, Whitney Newey, James Robins, การเรียนรู้ด้วยเครื่องคู่ / debiased สำหรับการรักษาและพารามิเตอร์โครงสร้างวารสารเศรษฐมิติเล่มที่ 21, วันที่ 1 กุมภาพันธ์ 2018, หน้า C1-C68 , https://doi.org/10.1111/ectj.12097

  สิ่งนี้พัฒนาทฤษฎีที่ครอบคลุมสำหรับการใช้วิธีการที่ไม่อิงพารามิเตอร์ (อัลกอริธึม ML) จำนวนมากเพื่อการควบคุมแบบไม่เชิงเส้นสำหรับพารามิเตอร์รบกวนระดับสูง (Confounders) จากนั้นศึกษาผลกระทบของตัวแปรร่วมที่เฉพาะเจาะจงต่อผลลัพธ์ พวกเขาจัดการกับกรอบเชิงเส้นบางส่วนและกรอบตัวแปรอย่างสมบูรณ์ พวกเขายังพิจารณาถึงสถานการณ์ที่ตัวแปรที่น่าสนใจสับสน