มาตรฐานก่อน Lasso จำเป็นจริงๆหรือ?


28

ฉันได้อ่านเหตุผลหลักสามข้อสำหรับการกำหนดค่ามาตรฐานให้กับตัวแปรก่อนหน้าบางอย่างเช่นLassoการถดถอย:

1) การตีความค่าสัมประสิทธิ์

2) ความสามารถในการจัดอันดับความสำคัญของค่าสัมประสิทธิ์โดยขนาดสัมพัทธ์ของการประมาณค่าสัมประสิทธิ์หลังการหดตัว

3) ไม่ต้องมีการสกัดกั้น

แต่ฉันสงสัยเกี่ยวกับจุดที่สำคัญที่สุด เรามีเหตุผลหรือไม่ที่จะคิดว่าการสร้างมาตรฐานจะช่วยปรับปรุงการวางนัยทั่วไปของตัวอย่าง? นอกจากนี้ฉันไม่สนใจว่าฉันไม่ต้องการการสกัดกั้นในแบบจำลองของฉันหรือไม่ เพิ่มหนึ่งไม่เจ็บฉัน


1
การชี้แจง: คุณดูเหมือนจะต้องการถามว่า "หากว่ามาตรฐานนั้นเป็นทางเลือก (หนึ่งในกรณีพิเศษที่ผลลัพธ์ไม่บิดเบือนตามขนาดที่แตกต่างกัน) จากนั้นมาตรฐานจะปรับปรุงการวางหลักเกณฑ์ทั่วไปแบบนอกตัวอย่างหรือไม่" ถูกต้องหรือไม่
Drew75

@ Drew75 ฉันชอบการแบ่งกรณีเช่นมันช่วยได้หรือไม่เมื่อผลลัพธ์นั้น "เอียงตามขนาดต่างกัน" มันช่วยได้หรือไม่เมื่อผลลัพธ์ไม่เบ้และอื่น ๆ คำตอบที่ดีที่สุดจะครอบคลุมสถานการณ์ที่แตกต่างกัน
Jase

1
ถ้าอย่างนั้นคำถามของคุณไม่เกี่ยวกับ Lasso (เพราะโดยทั่วไปแล้วจำเป็นสำหรับ Lasso) เป็นเรื่องทั่วไปมากขึ้น อาจเปลี่ยนชื่อเรื่องและประโยคแรกของคำถาม
Drew75

@ ดึง: นั่นเป็นคำถามแบบขอทาน: ทำไมมันจำเป็น (เมื่อมันไม่ได้?)? การบิดเบือนผลลัพธ์หมายถึงอะไร (เปรียบเทียบกับอะไร) ฉันคิดว่าคำถามนั้นดีตามที่ควรจะเป็น
Scortchi - Reinstate Monica

@ Drew75 คำถามของฉันเกี่ยวกับ Lasso
Jase

คำตอบ:


21

Lasso regression ทำให้ข้อ จำกัด เกี่ยวกับขนาดของสัมประสิทธิ์ที่เกี่ยวข้องกับแต่ละตัวแปร อย่างไรก็ตามค่านี้จะขึ้นอยู่กับขนาดของแต่ละตัวแปร ดังนั้นจึงจำเป็นต้องจัดให้อยู่กึ่งกลางและลดหรือสร้างมาตรฐานให้กับตัวแปร

ผลของการรวมศูนย์ตัวแปรหมายความว่าไม่มีการสกัดกั้นอีกต่อไป สิ่งนี้ใช้ได้กับการถดถอยแบบสัน

คำอธิบายที่ดีอีกข้อหนึ่งก็คือโพสต์นี้: ความต้องการในการจัดศูนย์ข้อมูลให้เป็นมาตรฐานในการถดถอย


นี่ไม่ใช่คำตอบหรือคำตอบโดยอ้อมอย่างยิ่งต่อคำถามของฉัน โปรดอธิบายลิงก์ระหว่างคำตอบของคุณกับการวางตัวอย่างทั่วไป (ซึ่งเป็นคำถาม)
Jase

10
@Jase: มันพูดถึงเหตุผลหลักของการสร้างมาตรฐานซึ่งคุณละเว้นจากรายการของคุณ: หากคุณต้องการที่จะวางตัวทำนายที่มีค่าสัมประสิทธิ์ขนาดเล็ก (หรือใช้เงื่อนไขการลงโทษขึ้นอยู่กับขนาดของสัมประสิทธิ์) คุณต้องตัดสินใจว่า " แม้ว่ามาตรฐานไม่ได้บังคับก่อน LASSO หรือวิธีการถดถอยอื่น ๆ ที่ถูกลงโทษ แต่ก็ไม่ค่อยมีกรณีที่เครื่องชั่งดั้งเดิมที่ใช้ทำนายการวัดนั้นมีประโยชน์สำหรับจุดประสงค์นี้
Scortchi - Reinstate Monica

3
และจุดที่อยู่ตรงกลางคือโดยปกติคุณไม่ต้องการที่จะปล่อยหรือลดการสกัดกั้น
Scortchi - Reinstate Monica

2
@Jase: ใช่นั่นคือสิ่งที่ฉันหมายถึง (สมมติว่าพารามิเตอร์การหดตัว ) และค่าสัมประสิทธิ์ประมาณว่าน้อยที่สุด (แต่คุณเลือก \ lambda $) หรือไม่นั้นขึ้นอยู่กับว่ามันวัดได้ในหน่วยกิโลเมตรไมโครเมตรหรือไม่ ค่าเบี่ยงเบนมาตรฐานจากค่าเฉลี่ยในตัวอย่างหรือหน่วยอื่น ๆ จากมุมมองแบบเบย์คุณกำลังใส่นักบวชที่มีข้อมูลน้อยกว่าค่าสัมประสิทธิ์ที่แท้จริงไม่ใช่คนที่ไม่มีความรู้ λ
Scortchi - Reinstate Monica

2
ในวงกว้างเท่าใดขนาดโดยรวมของคุณที่ลดลงจะส่งผลต่อการวางนัยทั่วไปสำหรับตัวอย่างที่สุ่ม การตัดสินใจโดยพลการค่อนข้างน้อยเท่าใดที่จะลดขนาดตัวทำนายแต่ละตัวเมื่อเทียบกับตัวอื่น ๆ จะส่งผลกระทบต่อการวางนัยทั่วไปกับตัวอย่างใหม่จากประชากรที่คล้ายกันซึ่งค่าสัมประสิทธิ์แตกต่างกันเล็กน้อย , & c. (แน่นอนว่าคำถามของคุณควรได้รับคำตอบที่สมบูรณ์ยิ่งขึ้น)
Scortchi - Reinstate Monica

2

พารามิเตอร์การลงโทษ L1 เป็นการรวมคำศัพท์เบต้าแบบสัมบูรณ์ หากตัวแปรมีมิติข้อมูลที่แตกต่างกันทั้งหมดเทอมนี้ไม่ได้เป็นสารเติมแต่งแม้ว่าทางคณิตศาสตร์จะไม่มีข้อผิดพลาดก็ตาม

อย่างไรก็ตามฉันไม่เห็นตัวแปรดัมมี่ / หมวดหมู่ที่ทุกข์ทรมานจากปัญหานี้และคิดว่าพวกเขาไม่จำเป็นต้องได้มาตรฐาน การทำให้เป็นมาตรฐานเหล่านี้อาจลดความสามารถในการตีความของตัวแปร

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.