ฉันกำลังอ่านบทความนี้เกี่ยวข้องกับเครือข่ายอีลาสติก พวกเขาบอกว่าพวกเขาใช้ตาข่ายยืดหยุ่นเพราะถ้าเราแค่ใช้ Lasso มันก็มีแนวโน้มที่จะเลือกตัวทำนายเพียงตัวเดียวในกลุ่มที่มีความสัมพันธ์สูง แต่นี่ไม่ใช่สิ่งที่เราต้องการ ฉันหมายความว่ามันช่วยเราจากปัญหาความหลากสีไม่ได้
ข้อเสนอแนะ / ชี้แจง?
คำตอบ:
สมมติว่าตัวทำนายสองตัวมีผลอย่างมากต่อการตอบสนอง แต่มีความสัมพันธ์สูงในตัวอย่างที่คุณสร้างแบบจำลองของคุณ หากคุณดรอปจากโมเดลมันจะไม่สามารถทำนายได้ดีสำหรับตัวอย่างจากประชากรที่คล้ายกันซึ่งตัวทำนายไม่ได้มีความสัมพันธ์สูง
หากคุณต้องการปรับปรุงความแม่นยำของการประมาณค่าสัมประสิทธิ์ของคุณต่อหน้าพหุนามที่คุณต้องแนะนำอคติเล็กน้อยให้ปิดการตั้งค่าโดยการลดความแปรปรวนที่มากขึ้น วิธีหนึ่งคือการลบตัวทำนายออกทั้งหมดด้วย LASSO หรือในสมัยก่อนจะใช้วิธีการทีละขั้นตอนซึ่งเป็นการตั้งค่าสัมประสิทธิ์การประมาณเป็นศูนย์ อีกประการหนึ่งคือการให้น้ำหนักโดยประมาณทั้งหมดเล็กน้อย - ด้วยการถดถอยแบบสันหรือในสมัยก่อนการถดถอยในองค์ประกอบหลักสองสามข้อแรก ข้อเสียเปรียบของอดีตคือมันไม่ปลอดภัยมากหากแบบจำลองจะใช้ในการทำนายการตอบสนองสำหรับรูปแบบการทำนายออกไปจากสิ่งที่เกิดขึ้นในตัวอย่างดั้งเดิมเนื่องจากตัวทำนายมักจะถูกกีดกันเพียงเพราะพวกมันไม่ได้ใช้ร่วมกับคนอื่นมากนัก เกือบ collinear ทำนาย. (ไม่ใช่การคาดการณ์ที่ปลอดภัยอย่างสมบูรณ์) ตาข่ายยืดหยุ่นเป็นส่วนผสมของทั้งสองอย่างที่ @ user12436 อธิบายและมีแนวโน้มที่จะรักษากลุ่มของตัวทำนายที่สัมพันธ์กันไว้ในแบบจำลอง
แต่นี่ไม่ใช่สิ่งที่เราต้องการ ฉันหมายความว่ามันช่วยให้เรารอดพ้นจากปัญหาความหลากสีไม่ได้เป็นอย่างนั้น
ใช่ และไม่. Elastic net คือการรวมกันของเทคนิคการทำให้เป็นมาตรฐานสองแบบ, การทำให้เป็นมาตรฐาน L2 (ใช้ในการถดถอยแบบสัน) และการทำให้เป็นมาตรฐาน L1 (ใช้ใน LASSO)
Lasso สร้างแบบจำลองที่กระจัดกระจายตามธรรมชาตินั่นคือสัมประสิทธิ์ตัวแปรส่วนใหญ่จะถูกลดขนาดเป็น 0 และแยกออกจากตัวแบบได้อย่างมีประสิทธิภาพ ดังนั้นตัวแปรที่สำคัญที่สุดจะถูกย่อขนาดลงก่อนที่จะย่อขนาดตัวแปรอื่น ๆ ซึ่งแตกต่างจากสันเขาซึ่งตัวแปรทั้งหมดถูกย่อขนาดขณะที่ไม่มีตัวแปรใดถูกลดขนาดเป็น 0
Elastic net ใช้การรวมเชิงเส้นของทั้งสองวิธี กรณีเฉพาะที่กล่าวถึงโดย Hastie เมื่อพูดถึงวิธีการในกรณีของ p ขนาดใหญ่ขนาดเล็ก n ซึ่งหมายความว่า: ข้อมูลมิติสูงด้วยการสังเกตค่อนข้างน้อย ในกรณีนี้จะ Lasso (รายงาน) เท่านั้นที่เคยเลือก n ตัวแปรมากที่สุดขณะที่การขจัดส่วนที่เหลือทั้งหมดดูกระดาษโดย Hastie
มันจะขึ้นอยู่กับชุดข้อมูลที่เกิดขึ้นจริง แต่คุณสามารถจินตนาการได้ว่าคุณไม่ต้องการให้มีขีด จำกัด สูงสุดของจำนวนตัวแปรในแบบจำลองของคุณเท่ากับหรือต่ำกว่าจำนวนการสังเกตของคุณ
ทั้ง Lasso และ Elastic Net เป็นวิธีการที่มีประสิทธิภาพในการเลือกตัวแปรหรือคุณสมบัติในการตั้งค่าข้อมูลมิติสูง (ตัวแปรมากกว่าผู้ป่วยหรือกลุ่มตัวอย่างเช่น 20,000 ยีนและ 500 ตัวอย่างเนื้องอก)
มันแสดงให้เห็น (โดย Hastie และคนอื่น ๆ ) ที่ Elastic Net สามารถทำได้ดีกว่า Lasso เมื่อข้อมูลมีความสัมพันธ์สูง Lasso อาจเลือกหนึ่งในตัวแปรที่สัมพันธ์กันและไม่สนใจว่าจะเลือกอันไหน นี่อาจเป็นปัญหาเมื่อต้องการตรวจสอบตัวแปรที่เลือกในชุดข้อมูลอิสระ ตัวแปรที่เลือกโดย Lasso อาจไม่ใช่ตัวทำนายที่ดีที่สุดในบรรดาตัวแปรที่เกี่ยวข้องทั้งหมด Elastic Net แก้ปัญหานี้โดยการหาค่าเฉลี่ยของตัวแปรที่มีความสัมพันธ์สูง