นักสถิติหมายถึงอะไรเมื่อพวกเขาพูดว่าเราไม่เข้าใจจริงๆว่า LASSO (การทำให้เป็นมาตรฐาน) ทำงานอย่างไร?

ฉันเคยไปพูดคุยเกี่ยวกับสถิติไม่กี่เมื่อเร็ว ๆ นี้เกี่ยวกับ Lasso (normalization) และจุดที่ทำให้ขึ้นคือเราไม่เข้าใจว่าทำไม Lasso ทำงานหรือทำไมมันทำงานได้ดี ฉันสงสัยว่าข้อความนี้หมายถึงอะไร เห็นได้ชัดว่าฉันเข้าใจว่าทำไม Lasso จึงใช้งานทางเทคนิคโดยการป้องกันการ overfitting ด้วยการหดตัวของพารามิเตอร์ แต่ฉันสงสัยว่ามีความหมายลึกซึ้งกว่าหลังคำสั่งดังกล่าว ไม่มีใครมีความคิดใด ๆ ขอบคุณ!

machine-learning lasso regularization

— user321627
แหล่งที่มา

กำหนด "งาน" ทำงานเพื่อทำสิ่งที่แน่นอน? ทำงานเพื่อเพิ่ม sparsity หรือไม่ ทำงานเพื่อป้องกันการ overfitting หรือไม่ ทำงานเพื่อสร้างการทดสอบทางสถิติที่สมเหตุสมผลหรือไม่ - หรือจะกล่าวอีกอย่างหนึ่งว่า "ไม่ทำงาน" หมายถึงอะไรในบริบทนี้ - อย่างที่คุณเห็นจากความคิดเห็นในคำตอบปัจจุบันมีความสับสนเกี่ยวกับสิ่งที่คุณตามมา

— RM

@RM คุณจริง ๆ แล้วเพิ่งใช้ถ้อยคำใหม่ OP, IMHO OP น่าจะเป็นหลังจากที่ไม่รู้จักเช่นเดียวกับที่คุณมีปัญหาในการระบุ

— Richard Hardy

@RichardHardy ฉันเห็นว่ามันอาจจะเป็นอย่างนั้น แต่ถ้าเป็นเช่นนั้นฉันหวังว่า OP จะสามารถขยายบริบทอย่างน้อยในบริบทของการพูดคุยทางสถิติที่จุดนั้นเกิดขึ้นเพื่อหวังว่าจะช่วยเราจดจ่อ ได้รับการคิด

— RM

@RM ดีแล้ว

— Richard Hardy

คำตอบ:

บางครั้งมีการขาดการสื่อสารระหว่างนักสถิติการทำงานและชุมชนทฤษฎีการเรียนรู้ที่ศึกษารากฐานของวิธีการเช่นเชือก คุณสมบัติทางทฤษฎีของเชือกเป็นที่เข้าใจกันดีมาก

เอกสารนี้มีข้อมูลสรุปในส่วนที่ 4 ของคุณสมบัติหลายประการ ผลลัพธ์นั้นค่อนข้างเทคนิค แต่โดยพื้นฐานแล้ว:

มันกู้คืนการสนับสนุนที่แท้จริง (ชุดของรายการที่ไม่เป็นศูนย์) ของเวกเตอร์น้ำหนักเบาบางภายใต้สมมติฐานบางอย่างสำหรับชุดข้อมูลที่มีขนาดใหญ่พอที่มีความน่าจะเป็นสูง
มันแปลงเป็นเวกเตอร์น้ำหนักที่ถูกต้องในอัตราที่เหมาะสมเมื่อขนาดของตัวอย่างเพิ่มขึ้นตราบใดที่คอลัมน์ของไม่สัมพันธ์กันมากเกินไป $X$

— AaronDefazio
แหล่งที่มา

ถ้าโดยการทำความเข้าใจว่าทำไม Lasso ถึงทำงานคุณหมายถึงการเข้าใจว่าทำไมมันถึงทำการเลือกคุณสมบัติ (เช่นการตั้งค่าน้ำหนักสำหรับคุณสมบัติบางอย่างเป็น 0) เราเข้าใจดี:

— rinspy
แหล่งที่มา

ขอบคุณสำหรับภาพประกอบที่ดี แต่ฉันสงสัยว่าไม่ใช่ส่วนที่ OP สนใจแน่นอนว่ามันขึ้นอยู่กับ OP เพื่อชี้แจงว่า

— Richard Hardy

ฉันไม่เข้าใจจุดในแผนภาพของคุณ

— Michael R. Chernick

L_{1}

$L_1$

\hat{λ}

$\hat \lambda$

@Chaconne คะแนนของคุณเป็นพื้นฐานที่ดีสำหรับคำตอบ!

— Richard Hardy

@Chaconne มันก็ดูเหมือนจะสร้างการอภิปรายที่มีประโยชน์โดยระบุว่าสิ่งที่เราไม่เข้าใจเกี่ยวกับเชือก!

— ล้าง

มีปัญหาในการกู้คืนสัญญาณของความสอดคล้องกันในการเลือกแบบจำลอง (ซึ่งตอบโดยนักสถิติ ) และ

มีปัญหาของการอนุมาน (สร้างช่วงความเชื่อมั่นที่ดีสำหรับการประมาณ) ซึ่งเป็นหัวข้อของการวิจัย

งานส่วนใหญ่ทำโดยนักสถิติมากกว่า "ชุมชนทฤษฎีการเรียนรู้"

— เกาเจิ้ง
แหล่งที่มา

สิ่งนี้จะเพิ่มสิ่งที่ได้รับแล้ว?

— Michael R. Chernick

ไม่มีใครพูดถึงปัญหาการอนุมานที่นี่ซึ่งฉันเชื่อว่าเป็นเหตุผลว่าทำไมการอ้างสิทธิ์ ("มันไม่เข้าใจดี") เกิดขึ้นตั้งแต่แรก

— Gao Zheng