ในการตั้งค่าใดที่คุณคาดว่ารุ่นที่พบโดย LARS จะแตกต่างจากรุ่นที่พบโดยการค้นหาแบบละเอียด

ข้อมูลเพิ่มเติมอีกเล็กน้อย สมมติว่า

1. คุณทราบมาก่อนแล้วว่ามีตัวแปรให้เลือกจำนวนเท่าใดและคุณได้ตั้งค่าการลงโทษที่ซับซ้อนในขั้นตอน LARS เช่นมีตัวแปรหลายตัวที่มีค่าสัมประสิทธิ์ไม่ใช่ 0
2. ค่าใช้จ่ายในการคำนวณไม่ใช่ปัญหา (จำนวนตัวแปรทั้งหมดมีค่าน้อยพูด 50)
3. ตัวแปรทั้งหมด (y, x) นั้นต่อเนื่อง

แบบจำลอง LARS ในการตั้งค่าแบบใด (เช่น OLS พอดีของตัวแปรที่มีค่าสัมประสิทธิ์ไม่ใช่ศูนย์ใน LARS พอดี) จะแตกต่างจากแบบจำลองที่มีค่าสัมประสิทธิ์จำนวนเท่ากัน แต่พบได้จากการค้นหาแบบละเอียด (a la regsubsets ())

แก้ไข: ฉันใช้ 50 ตัวแปรและ 250 การสังเกตด้วยสัมประสิทธิ์จริงที่ดึงมาจาก Gaussian มาตรฐานยกเว้น 10 ตัวแปรที่มีค่าสัมประสิทธิ์ 'ของจริง' เป็น 0 (และคุณลักษณะทั้งหมดที่มีความสัมพันธ์กันอย่างมาก) เห็นได้ชัดว่าการตั้งค่าเหล่านี้ไม่ดีเนื่องจากความแตกต่างระหว่างชุดตัวแปรที่เลือกสองชุดคือนาที นี่เป็นคำถามเกี่ยวกับประเภทของการกำหนดค่าข้อมูลที่ควรจำลองเพื่อให้ได้ความแตกต่างมากที่สุด

นี่คือคำอธิบายของอัลกอริทึม LARS: http://www-stat.stanford.edu/~tibs/lasso/simple.htmlมันไม่สนใจความสัมพันธ์ระหว่างรีจีสเตอร์ดังนั้นฉันจะกล้าเดาว่ามันอาจจะพลาด ความพอดีในกรณีที่มีความหลากหลายของสี

ยิ่งคุณมีฟีเจอร์มากขึ้นเท่าไรคุณก็ยิ่งมีความเหมาะสมมากขึ้นในการค้นหาด้วยวิธีที่เหมาะสมกว่า LARS ระยะเวลาการลงโทษที่ใช้ใน LARS กำหนดโครงสร้างที่ซ้อนกันของแบบจำลองที่ซับซ้อนมากขึ้นซึ่งจัดทำดัชนีโดยพารามิเตอร์การทำให้เป็นมาตรฐานเดียวดังนั้น "องศาอิสระ" ของการเลือกคุณลักษณะด้วย LARS ค่อนข้างต่ำ สำหรับการค้นหาที่ดีที่สุดมีหนึ่งระดับ (ไบนารี) อิสระต่อคุณลักษณะซึ่งหมายความว่าการค้นหาที่ดีกว่าสามารถใช้ประโยชน์จากความแปรปรวนแบบสุ่มในเกณฑ์การเลือกคุณลักษณะเนื่องจากการสุ่มตัวอย่างข้อมูล เป็นผลให้รูปแบบการค้นหาที่ไม่น่าเชื่อน่าจะเหมาะสมกับเกณฑ์การเลือกคุณลักษณะอย่างรุนแรงเนื่องจาก "คลาสสมมติฐาน" มีขนาดใหญ่กว่า