Lasso-ing คำสั่งของความล่าช้าหรือไม่?

9

สมมติว่าฉันมีข้อมูลตามยาวของรูปแบบ (ฉันมีการสังเกตหลายอย่างนี่เป็นเพียงรูปแบบหนึ่งเดียว) ฉันสนใจในข้อ จำกัด ในการ\ไม่ จำกัดเทียบเท่ากับการ กับsigma_j) $\mathbf Y = (Y_1, \ldots, Y_J) \sim \mathcal N(\mu, \Sigma)$ $\Sigma$ $\Sigma$

Y_{j} = α_{j} + \sum_{ℓ = 1}^{j - 1} ϕ_{ℓ j} Y_{j - ℓ} + ε_{j}

$Y_j = \alpha_j + \sum_{\ell = 1} ^ {j - 1} \phi_{\ell j} Y_{j-\ell} + \varepsilon_j$

ε_{j} \sim N (0, σ_{j})

$\varepsilon_j \sim N(0, \sigma_j)$

โดยทั่วไปจะไม่ทำเช่นนี้เนื่องจากต้องมีการประมาณค่าพารามิเตอร์ความแปรปรวนแบบจำลองคือ "lag- " ถ้าเราใช้ นั่นคือเราใช้ก่อนหน้านี้คำศัพท์ในการทำนายจากประวัติ $O(J^2)$ $k$

Y_{j} = α_{j} + \sum_{ℓ = 1}^{k} ϕ_{ℓ j} Y_{j - ℓ} + ε_{j},

$Y_j = \alpha_j + \sum_{\ell = 1} ^ k \phi_{\ell j} Y_{j - \ell} + \varepsilon_j,$

k

$k$

Y_{j}

$Y_j$

สิ่งที่ฉันอยากทำคือใช้แนวคิดการหดตัวบางอย่างเพื่อกำจัดให้เป็นศูนย์เช่น LASSO แต่สิ่งที่เป็นฉันยังต้องการวิธีที่ผมใช้จะชอบรุ่นซึ่งเป็น lag-สำหรับบาง ; ฉันต้องการลงโทษคำสั่งซื้อที่ล่าช้ามากขึ้นกว่าคำสั่งซื้อที่ต่ำกว่า ฉันคิดว่านี่เป็นสิ่งที่เราอยากทำโดยเฉพาะอย่างยิ่งเนื่องจากตัวทำนายนั้นมีความสัมพันธ์สูง $\phi_{\ell j}$ $k$ $k$

ปัญหาเพิ่มเติมคือถ้า (พูด)หดไปที่ฉันก็อยากได้ถ้าหดไปที่นั่นคือความล่าช้าเดียวกันถูกใช้ในการแจกแจงแบบมีเงื่อนไขทั้งหมด $\phi_{35}$ $0$ $\phi_{36}$ $0$

ฉันสามารถคาดเดาเกี่ยวกับเรื่องนี้ แต่ฉันไม่ต้องการที่จะบูรณาการล้อ มีเทคนิค LASSO ใดที่ออกแบบมาเพื่อแก้ไขปัญหานี้หรือไม่? ฉันควรทำสิ่งอื่นทั้งหมดโดยสิ้นเชิงเช่นการรวมคำสั่งซื้อที่ล่าช้าเป็นขั้นตอนหรือไม่ เนื่องจากพื้นที่ของแบบจำลองของฉันมีขนาดเล็กฉันสามารถใช้ลงโทษกับปัญหานี้ฉันเดาได้หรือไม่ $L_0$

feature-selection lasso shrinkage

— ผู้ชาย
แหล่งที่มา

2

คุณสามารถทำการตรวจสอบไขว้ซ้ำ ๆ กันจาก k = 0 ไปจนถึงค่าสูงสุดและวางแผนการทำงานกับ k เนื่องจากโมเดลกำลังถูกทดสอบกับข้อมูลที่ไม่เคยเห็นมาก่อนจึงไม่มีการรับประกันว่าโมเดลที่ซับซ้อนจะทำงานได้ดีขึ้นและแน่นอนคุณควรเห็นการเสื่อมประสิทธิภาพในกรณีที่โมเดลนั้นซับซ้อนเกินไปเนื่องจาก overfitting โดยส่วนตัวแล้วฉันคิดว่านี่เป็นวิธีที่ปลอดภัยกว่าและง่ายกว่าที่จะพิสูจน์ว่ามีปัจจัยลงโทษตามอำเภอใจ แต่ระยะทางของคุณอาจแตกต่างกันไป

ฉันยังไม่ได้ทำตามวิธีที่ Lasso สั่งตอบคำถาม ดูเหมือนจะเข้มงวดเกินไปมันบังคับให้มีการเรียงลำดับสัมประสิทธิ์อย่างสมบูรณ์ ในขณะที่คำถามดั้งเดิมอาจสิ้นสุดลงสำหรับข้อมูลบางอย่างที่มีทางออกที่ไม่ลดลงอย่างเคร่งครัดด้วย l $\phi_{lj}$

— Nir Friedman
แหล่งที่มา

ในการเพิ่ม LaTeX ให้กับคำถามของคุณให้ใส่นิพจน์ระหว่างเครื่องหมายดอลลาร์ ($)

— Patrick Coulombe

1

(1) จากโมเดลเพียงอย่างเดียวไม่ชัดเจนว่าการจัดเรียงสัมประสิทธิ์เป็นสิ่งที่ต้องการ แต่ที่สำคัญคือสมเหตุสมผล ในการทดลองทางคลินิกวัดซ้ำตัวอย่างเช่นไม่มีเหตุผลที่สำคัญที่จะคาดหวังว่าการก่อกวนเล็ก ๆ ของที่จะมีอิทธิพลต่อการ stochasticallyมากไปกว่าการก่อกวนเล็ก ๆ ของ{J-1} LASSO ที่สั่งซื้อใช้ประโยชน์จากความรู้เบื้องต้นนี้ได้ดีกว่าโดยมีความเสี่ยงเล็กน้อยว่าอาจไม่เป็นจริง

Y_{j - 2}

$Y_{j-2}$

Y_{j}

$Y_j$

Y_{j - 1}

$Y_{j-1}$

— ผู้ชาย

(2) โดยทั่วไปฉันจะไม่ใช้กลยุทธ์ CV อย่างน้อยบางส่วนเพราะมันเกินไปที่เชื่อ ฉันสามารถคาดการณ์ได้ดีขึ้นด้วยการลดความล่าช้าอย่างรอบคอบแทนที่จะทิ้งมันลงไปอย่างสิ้นเชิง

— ผู้ชาย

Nir ความคิดเห็นที่เป็นประโยชน์ในการสั่งซื้อ LASSO ฉันได้แก้ไขคำตอบเพื่อให้ครอบคลุมมากขึ้น ขอบคุณ!

— ฌอนอีสเตอร์

ขอบคุณฌอน Guy ฉันไม่คิดว่ามันดื้อรั้นเกินไป คุณไม่ได้ตั้งค่า ak เป็นหิน แต่ให้อนุญาตให้เปลี่ยนแปลงได้ k มันเลือกจะเป็นที่เริ่มมีอาการของการ overfitting ฉันไม่เห็นด้วยอย่างยิ่งกับคำแถลงของคุณว่าควรมีความรู้เบื้องต้น สิ่งที่ดูเหมือนสมเหตุสมผลและรู้ว่าสิ่งนั้นแตกต่างอย่างสิ้นเชิง ฉันต้องยอมรับว่าดูเหมือนว่าจะมีการต่อต้านในสถิติแบบดั้งเดิมเพื่อข้ามการตรวจสอบที่ฉันไม่เคยเข้าใจ ฉันเลือกประสิทธิภาพการทำนายจากข้อมูลตัวอย่างมากกว่าการเพิ่มสมมติฐานทุกวัน

— Nir Friedman

2

สั่งซื้อเชือกดูเหมือนว่าจะมีสิ่งที่คุณกำลังมองหา: มันคำนวณค่าสัมประสิทธิ์การถดถอย regularizedในขณะที่มาตรฐานเชือก แต่ภายใต้ข้อ จำกัด เพิ่มเติมที่. $\beta_{1...j}$ $|\beta_1| \geq |\beta_2|...\geq|\beta_j|$

สิ่งนี้บรรลุเป้าหมายที่สองของการเป็นศูนย์สัมประสิทธิ์สำหรับการล่าช้าที่สูงกว่า แต่มีข้อ จำกัด มากกว่าข้อ จำกัด เพียงอย่างเดียวของการเลือกแบบจำลองความล่าช้าที่ต่ำกว่า และตามที่คนอื่น ๆ ชี้ว่านี่เป็นข้อ จำกัด อย่างมากที่จะพิสูจน์ได้ยากมาก

กระดาษเหล่านี้แสดงผลลัพธ์ของวิธีการทั้งข้อมูลอนุกรมเวลาจริงและจำลองและอัลกอริธึมรายละเอียดเพื่อหาค่าสัมประสิทธิ์ บทสรุปกล่าวถึงแพคเกจ R แต่กระดาษค่อนข้างเร็วและการค้นหาใน CRAN สำหรับ "สั่ง LASSO" ว่างเปล่าดังนั้นฉันสงสัยว่าแพคเกจยังคงอยู่ในการพัฒนา

บทความนี้ยังนำเสนอแนวทางทั่วไปที่พารามิเตอร์การทำให้เป็นมาตรฐานสองแบบคือ (ดูหน้า 6) กล่าวอีกนัยหนึ่งควรจะสามารถปรับพารามิเตอร์เพื่อให้การสั่งซื้อที่ผ่อนคลาย น่าเศร้าที่ไม่มีตัวอย่างหรือการเปรียบเทียบวิธีผ่อนคลาย แต่ผู้เขียนเขียนว่าการใช้การเปลี่ยนแปลงนี้เป็นเรื่องง่ายในการแทนที่อัลกอริทึมหนึ่งด้วยอีกอันหนึ่งดังนั้นหวังว่ามันจะเป็นส่วนหนึ่งของแพ็คเกจ R ที่กำลังจะมาถึง

— ฌอนอีสเตอร์
แหล่งที่มา

ขอบคุณที่น่าสนใจจริง ๆ ว่านี่เป็นแนวคิดล่าสุด จริง ๆ แล้วฉันมีความคิดเดียวกันที่พูดถึงปัญหากับเพื่อนเมื่อฉันถามคำถาม 9 เดือนที่ผ่านมา แต่ไม่เคยตรวจสอบในเชิงลึก! ฉันแค่คิดว่าความคิดไม่ใช่นิยายเล่มนั้นหรือคนอื่นได้เขียนบทความเกี่ยวกับเรื่องนี้แล้ว

— ผู้ชาย

ยินดีต้อนรับค่อนข้างมาก! ฉันแปลกใจว่ามันเป็นตัวฉันเองเมื่อเร็ว ๆ นี้

— ฌอนอีสเตอร์

1

สามารถใช้การลงโทษ LASSO แบบซ้อน ( pdf ) แต่ไม่มีแพ็คเกจ R สำหรับมัน

— user53874
แหล่งที่มา

1

ในปัจจุบันนี้เป็นความคิดเห็นมากกว่าคำตอบ คุณสามารถขยายออกไปเล็กน้อยได้โดยพูดถึงการลงโทษ LASSO ที่ซ้อนกันหรือไม่?

— gung - Reinstate Monica

0

ฉันรู้ว่าคุณเขียนเป็นหลักฐาน แต่ฉันจะไม่ใช้ LASSO ที่สั่งซื้อโดยไม่แน่ใจว่านี่เป็นสิ่งที่จำเป็นเพราะสมมติฐานของ LASSO ที่สั่งซื้อนั้นไม่เหมาะสมสำหรับการทำนายอนุกรมเวลาโดยตรง เป็นตัวอย่างที่เคาน์เตอร์พิจารณากรณีที่คุณมีความล่าช้าของเวลาพูดสิบขั้นตอนเวลาระหว่างการวัดและเป้าหมาย เห็นได้ชัดว่าข้อ จำกัด ของ LASSO ที่สั่งซื้อนั้นไม่สามารถจัดการกับเอฟเฟกต์ดังกล่าวได้โดยไม่ต้องเกี่ยวข้องกับพารามิเตอร์ทั้งเก้าประการแรก

ในทางตรงกันข้ามฉันอยากจะยึดติดกับ LASSO ปกติและรวมถึงการสังเกตก่อนหน้านี้ทั้งหมดโดยเฉพาะอย่างยิ่งเพราะคุณเขียนพื้นที่แบบจำลองของคุณมีขนาดเล็กและรูทีนการปรับการประสานงานที่เหมาะสมสำหรับ LASSO (ดังอธิบายไว้ที่นี่ ) แล้วคำนวณเส้นทางสำหรับพารามิเตอร์แข็งแรงกูและรูปลักษณ์ที่พารามิเตอร์ได้รวมอยู่ที่คุณไปจากขนาดใหญ่จะ 0 โดยเฉพาะอย่างยิ่งที่รวมไว้ก่อนหน้านี้เป็นคนสำคัญ $\lambda$ $\lambda$ $\lambda=0$

สุดท้ายคุณก็ต้องเลือกเกณฑ์ที่เหมาะสมและเพิ่มประสิทธิภาพของพารามิเตอร์ใช้ข้ามการตรวจสอบมาตรฐานการลดมิติเดียวหรืออะไรก็ตาม ตัวอย่างเช่นเกณฑ์สามารถเป็นสิ่งที่ "ข้อผิดพลาดในการทำนาย + จำนวนของตัวแปรที่รวม" (--AIC หลักเกณฑ์เหมือน) $\lambda$

— davidhigh
แหล่งที่มา

ฉันจะเห็นได้ชัดว่าไม่สนใจในข้อ จำกัด ในการสั่งซื้อของสัมประสิทธิ์ถ้าฉันไม่ได้มีความแข็งแรงเบื้องต้นเหตุผลที่จะเชื่อว่ามัน สำหรับรุ่นที่ฉันสงสัยว่าน่าจะเป็นไปได้การใช้ LASSO ที่สั่งซื้อควรมีประสิทธิภาพมากขึ้น มีความล่าช้า-10 ค่าสัมประสิทธิ์กับคนอื่นอีก 9 เป็น 0 ทำให้รู้สึกไม่ในของฉันที่สำคัญการตั้งค่า นี่เป็นปัญหาที่เพื่อนร่วมงานของฉันทำงาน (สั่งการหดตัวตามความล่าช้า) แต่พวกเขาใช้แนวคิดของ Bayesuan ดังนั้นจะไม่พิจารณา LASSO (ที่ไม่ใช่แบบเบย์)

— ผู้ชาย

ตกลงคุณดูเหมือนจะรู้ว่าสิ่งที่คุณทำ แต่โปรดจำไว้ว่าคำสั่ง LASSO นั้นมีข้อ จำกัด อย่างยิ่งกว่าคำสั่ง "เมื่อเป็นศูนย์ - เป็นศูนย์เสมอ" หรือคุณอาจพิจารณารูปแบบที่พารามิเตอร์ป้อนด้วยวิธีการคูณ จากนั้นความสำคัญสัมพัทธ์อาจเพิ่มขึ้นหรือลดลงจนกระทั่งสัมประสิทธิ์กลายเป็นศูนย์

— davidhigh