วิธีจัดการกับค่าที่หายไปเพื่อเตรียมข้อมูลสำหรับการเลือกคุณสมบัติด้วย LASSO

สถานการณ์ของฉัน:

• ตัวอย่างขนาดเล็ก: 116
• ตัวแปรผลลัพธ์ไบนารี
• รายการตัวแปรอธิบายยาวแบบยาว: 44
• ตัวแปรอธิบายไม่ได้มาจากด้านบนของหัวของฉัน ทางเลือกของพวกเขาขึ้นอยู่กับวรรณกรรม
• กรณีส่วนใหญ่ในตัวอย่างและตัวแปรส่วนใหญ่มีค่าขาดหายไป

เลือกวิธีการเลือกคุณลักษณะ: LASSO

แพ็คเกจ glmnet ของ R จะไม่ให้ฉันเรียกใช้รูทีน glmnet อย่างเห็นได้ชัดเนื่องจากมีค่าที่ขาดหายไปในชุดข้อมูลของฉัน ดูเหมือนจะมีวิธีการต่าง ๆ สำหรับการจัดการข้อมูลที่หายไปดังนั้นฉันอยากจะรู้ว่า:

• LASSO กำหนดข้อ จำกัด ใด ๆ ในแง่ของวิธีการใส่ร้ายที่ฉันสามารถใช้ได้หรือไม่?
• อะไรจะเป็นทางออกที่ดีที่สุดสำหรับวิธีการใส่ร้าย เป็นการดีที่ฉันต้องการวิธีการที่ฉันสามารถทำงานบน SPSS (ดีกว่า) หรือ R

UPDATE1: มันชัดเจนจากคำตอบบางส่วนด้านล่างที่ฉันได้จัดการกับปัญหาพื้นฐานเพิ่มเติมก่อนที่จะพิจารณาวิธีการใส่ร้าย ฉันต้องการที่จะเพิ่มคำถามใหม่เกี่ยวกับที่นี่ ในคำตอบที่แนะนำการเข้ารหัสเป็นค่าคงที่และการสร้างตัวแปรใหม่เพื่อจัดการกับค่า 'ไม่สามารถใช้งานได้' และการใช้กลุ่ม lasso:

• คุณจะบอกว่าถ้าฉันใช้กลุ่ม LASSO ฉันจะสามารถใช้วิธีการที่แนะนำให้ผู้ทำนายต่อเนื่องกับผู้ทำนายหมวดหมู่ได้หรือไม่ ถ้าเป็นเช่นนั้นฉันคิดว่ามันจะเทียบเท่ากับการสร้างหมวดหมู่ใหม่ - ฉันระแวงว่านี่อาจทำให้เกิดอคติ
• ไม่มีใครรู้ว่าแพ็คเกจ glmnet ของ R รองรับกลุ่ม LASSO หรือไม่? ถ้าไม่มีใครจะแนะนำคนอื่นที่ร่วมกับการถดถอยโลจิสติก? ตัวเลือกหลายตัวที่กล่าวถึงกลุ่ม LASSO สามารถพบได้ในที่เก็บข้อมูล CRAN คำแนะนำใด ๆ ที่เหมาะสมที่สุดสำหรับกรณีของฉัน บางที SGL

นี่คือการติดตามคำถามก่อนหน้านี้ของฉัน ( จะเลือกชุดย่อยของตัวแปรจากรายการแบบยาวดั้งเดิมของฉันเพื่อทำการวิเคราะห์การถดถอยโลจิสติกได้อย่างไร )

OBS: ฉันไม่ใช่นักสถิติ

เมื่อตัวทำนายต่อเนื่องมีค่า 'ไม่สามารถใช้งานได้' มักจะมีประโยชน์ในการเขียนโค้ดโดยใช้สองตัวแปร$x$

$$x_1=\Big{\{} \begin{array}{ll} c & \text{when $x$ is not applicable}\\ x & \text{otherwise} \end{array} \Bigg{.}$$

เมื่อคงที่ &$c$

$$x_2=\Big{\{} \begin{array}{ll} 1 & \text{when $x$ is not applicable}\\ 0 & \text{otherwise} \end{array} \Bigg{.}$$

สมมติว่าตัวทำนายเชิงเส้นสำหรับการตอบสนองนั้นได้รับจาก

$$\eta = \beta_0 + \beta_1 x_1 + \beta_2 x_2 + \ldots$$

ซึ่งแก้ไขให้

$$\eta = \beta_0 + \beta_1 x_1 + \ldots$$

เมื่อถูกวัดหรือถึง$x$

$$\eta = \beta_0 + \beta_1 c + \beta_2 + \ldots$$

เมื่อ x คือ 'ไม่เกี่ยวข้อง' ตัวเลือกของนั้นเป็นแบบสุ่มและไม่ส่งผลกระทบต่อการประมาณการของการสกัดกั้นหรือความชัน ; อธิบายถึงผลกระทบของ 'เป็น s 'ไม่ได้บังคับ' เมื่อเทียบกับเมื่อ C$c$$\beta_0$$\beta_1$$\beta_2$$x$$x=c$

นี่ไม่ใช่วิธีการที่เหมาะสมเมื่อการตอบสนองแตกต่างกันไปตามค่าที่ไม่ทราบค่าของ : ความแปรปรวนของกลุ่ม 'ที่หายไป' จะสูงขึ้นและค่าสัมประสิทธิ์ของผู้พยากรณ์คนอื่น ๆ มีความเอนเอียงเนื่องจากความสับสน ดีกว่าที่จะกำหนดค่าที่ขาดหายไป$x$

การใช้ LASSO แนะนำสองปัญหา:

1. ตัวเลือกของมีผลต่อผลลัพธ์เนื่องจากปริมาณการหดตัวที่ใช้นั้นขึ้นอยู่กับขนาดของการประมาณค่าสัมประสิทธิ์$c$
2. คุณต้องตรวจสอบให้แน่ใจว่า &นั้นมีทั้งที่อยู่ในหรือออกจากรุ่นที่เลือก$x_1$$x_2$

คุณสามารถแก้ทั้งสองเหล่านี้โดยใช้ค่อนข้างเชือกกลุ่มกับกลุ่มประกอบด้วย &ที่: -norm โทษถูกนำไปใช้ -norm ของ orthonormalized เมทริกซ์ขวา] (นักทำนายหมวดหมู่เป็นเด็กโปสเตอร์สำหรับกลุ่ม LASSO - คุณเพียงแค่เขียนรหัสว่า 'ไม่เกี่ยวข้อง' เป็นระดับแยกต่างหากซึ่งมักทำในการถดถอยแบบไม่เสแสร้ง) ดูMeier et al (2008), JRSS B, 70 , 1, " กลุ่มเชือกสำหรับถดถอยโลจิสติ"และgrplasso$x_1$$x_2$$L_1$$L_2$$\left[\vec{x_1}\ \vec{x_2}\right]$

การใส่ความหลายอย่างนั้นไม่เคยเป็นวิธีที่ไม่ดี นอกจากนี้คุณยังสามารถทำข้อมูลความน่าจะเป็นสูงสุดได้ ตรวจสอบที่ดีและการเปรียบเทียบสินค้าที่นี่และที่นี่

แต่ถ้าคุณไปเส้นทางที่พิจารณาโดยใช้สแตนเพื่อให้พอดีกับการใส่ร้าย ML พร้อมกันกับการถดถอยของคุณเป็นแบบเบส์เดียวตั้งแต่เชือกเป็นกรณีพิเศษของเบส์ถดถอยอยู่แล้ว

คำสั่ง CATREG ในสถิติจัดการข้อมูลที่ขาดหายไปด้วย LASSO คุณสามารถแยกกรณีและปัญหาตามรายการหรือมีการกำหนดขั้นตอนแม้ว่าชื่อของมันจะบอกว่าเป็นตัวแปรเชิงหมวดหมู่ แต่คุณสามารถตั้งค่ามาตราส่วนเป็นตัวเลขเพื่อจัดการกรณีและปัญหาต่อเนื่อง

คุณอาจพิจารณาวิธีการง่าย ๆ ที่นำเสนอในเอกสารต่อไปนี้:

Loh, PL, & Wainwright, MJ (2011) การถดถอยสูงมิติกับมีเสียงดังและข้อมูลที่หายไป: ค้ำประกันพิสูจน์ได้ด้วยไม่ใช่นูน ในความก้าวหน้าในระบบประมวลผลข้อมูลประสาท (หน้า 2726-2734)