การลงโทษแบบนุ่มนวลเทียบกับการลงโทษ

ฉันกำลังพยายามสรุปสิ่งที่ฉันเข้าใจจนถึงการวิเคราะห์หลายตัวแปรที่มีการลงโทษด้วยชุดข้อมูลมิติสูงและฉันยังคงดิ้นรนโดยใช้คำจำกัดความที่ถูกต้องเกี่ยวกับการลงโทษที่นุ่มนวลกับLasso (หรือ )$L_1$

แม่นยำยิ่งขึ้นฉันใช้การกระจัดกระจาย PLS เพื่อวิเคราะห์โครงสร้างข้อมูลแบบ 2 บล็อกรวมถึงข้อมูลจีโนม ( polymorphisms นิวคลีโอไทด์เดี่ยวที่เราพิจารณาความถี่ของอัลลีลย่อยในช่วง {0,1,2} ซึ่งถือว่าเป็นตัวแปรตัวเลข) และ ฟีโนไทป์ต่อเนื่อง (คะแนนเชิงปริมาณลักษณะบุคลิกภาพหรือความไม่สมดุลของสมองยังถือว่าเป็นตัวแปรต่อเนื่อง) ความคิดคือการแยกตัวทำนายที่มีอิทธิพลมากที่สุด (ที่นี่ความผันแปรทางพันธุกรรมในลำดับดีเอ็นเอ) เพื่ออธิบายการแปรผันของฟีโนไทป์ระหว่างบุคคล

ฉันเริ่มใช้แพ็คเกจ mixOmics R (เดิมintegrOmics) ซึ่งมีการลงโทษPLSและCCA ที่ทำให้เป็นมาตรฐาน เมื่อมองไปที่รหัส R เราพบว่า "sparsity" ในตัวทำนายนั้นเกิดจากการเลือกตัวแปรอันดับสูงสุดที่มีการโหลดสูงสุด (ในค่าสัมบูรณ์) บนองค์ประกอบ th, (อัลกอริทึม คือการทำซ้ำและคำนวณตัวแปรของการโหลดในองค์ประกอบทำให้ตัวบล็อกการทำนายในแต่ละการวนซ้ำดูการกระจัดกระจาย PLS: การเลือกตัวแปรเมื่อรวมข้อมูล Omicsสำหรับภาพรวม) ในทางตรงกันข้ามแพ็คเกจsplsร่วมเขียนโดย S. Keleş (ดู$k$$i$$i=1,\dots, k$$k$เบาบางบางส่วนแควน้อยถดถอยสำหรับพร้อมกันขนาดลดลงและการคัดเลือกตัวแปรสำหรับคำอธิบายที่เป็นทางการมากขึ้นของวิธีการดำเนินการโดยผู้เขียนเหล่านี้) การดำเนินการ -penalization สำหรับการปรับไหมตัวแปร$L_1$

มันไม่ได้เป็นที่เห็นได้ชัดกับผมว่ามีความเข้มงวด "bijection" เพื่อที่จะพูดระหว่างการเลือกคุณลักษณะซ้ำขึ้นอยู่กับนุ่ม thresholding และกู ดังนั้นคำถามของฉันคือ: มีการเชื่อมต่อทางคณิตศาสตร์ระหว่างทั้งสองหรือไม่$L_1$

อ้างอิง

1. จุนเอชและ Kele S, S. (2010), เบาบางสี่เหลี่ยมอย่างน้อยบางส่วนสำหรับการลดมิติพร้อมกันและการเลือกตัวแปร วารสารสมาคมสถิติรอยัล: อนุกรม B , 72 , 3–25
2. Le เฉา K.-A. , Rossouw, D. , โรเบิร์ต Granie ซีและ Besse, P. (2008), หร็อมแหร็ม PLS การคัดเลือกตัวแปรเมื่อการบูรณาการข้อมูล การประยุกต์ใช้สถิติในพันธุศาสตร์และอณูชีววิทยา , 7 , มาตรา 35

สิ่งที่ฉันจะบอกว่ามีไว้สำหรับการถดถอย แต่ควรเป็นจริงสำหรับ PLS ด้วย ดังนั้นจึงไม่ bijection เพราะ depeding กับเท่าใดคุณบังคับใช้ข้อ จำกัด ในคุณจะมีความหลากหลายของ 'คำตอบ' ในขณะที่การแก้ปัญหาที่สองยอมรับเพียงคำตอบที่เป็นไปได้ (ที่คือจำนวนของตัวแปร) <-> มี โซลูชันเพิ่มเติมในสูตรมากกว่าในสูตร 'ตัดปลาย'$l1$$p$$p$$l1$

$L_1$$L_1$

$L_1$$X$$X$$1$

$X$