คำว่า "กระจัดกระจายก่อน" หมายถึงอะไร (FBProphet Paper)?

การอ่านกระดาษ "การพยากรณ์ในระดับ" (เครื่องมือพยากรณ์ FBProphet ให้ดูที่https://peerj.com/preprints/3190.pdf ) ฉันเจอคำว่า "กระจัดกระจายมาก่อน" ผู้เขียนอธิบายว่าพวกเขากำลังใช้ "กระจัดกระจายก่อน" ในการสร้างแบบจำลองเวกเตอร์ของอัตราการเบี่ยงเบนจากอัตราสเกลาบางซึ่งเป็นพารามิเตอร์แบบจำลองในแบบจำลองการเติบโตโลจิสติก$\mathbf{\delta}$$k$

เนื่องจากพวกเขาระบุว่าฉันเข้าใจอย่างถูกต้องหรือไม่ว่า "sparse" หมายถึงเวกเตอร์ที่มีองค์ประกอบใกล้เคียงกับศูนย์ถ้าพารามิเตอร์มีขนาดเล็ก? ฉันสับสนเพราะฉันคิดว่าองค์ประกอบเวกเตอร์ทั้งหมดจำเป็นต้องเป็นพารามิเตอร์ของการถดถอย แต่การกำหนดพวกมันแบบนั้นทำให้พารามิเตอร์และเป็นพารามิเตอร์โมเดลฟรีเท่านั้นใช่ไหม$\delta_j \sim\text{Laplace}(0,\tau)$$\tau$$k$$\tau$

นอกจากนี้ยังมีการใช้การกระจาย Laplace เพื่อสร้างสิ่งที่พบบ่อยก่อน ฉันไม่เข้าใจว่าทำไมจึงเป็นที่ต้องการมากกว่าเช่นการกระจายปกติ

ข้อมูลเบาบางคือข้อมูลที่มีศูนย์จำนวนมาก ที่นี่ผู้เขียนดูเหมือนจะโทรมาก่อนเป็นเบาบางเพราะมันชอบศูนย์ นี่เป็นคำอธิบายที่ค่อนข้างชัดเจนถ้าคุณดูรูปร่างของการแจกแจงแบบ Laplace (เลขชี้กำลังเลขชี้กำลังสองเท่า) ซึ่งมียอดแหลมประมาณศูนย์

(แหล่งรูปภาพ Tibshirani, 1996)

เอฟเฟกต์นี้เป็นจริงสำหรับค่าใด ๆของ (การแจกแจงจะถูกแหลมที่พารามิเตอร์ตำแหน่งเสมอนี่คือศูนย์) แม้ว่าค่าพารามิเตอร์จะเล็กลง แต่ยิ่งมีผลในการทำให้เป็นปกติมากขึ้น$\tau$

ด้วยเหตุนี้เลซก่อนที่มักจะใช้เป็นที่แข็งแกร่งก่อนที่มีผลกระทบระเบียบ การมีสิ่งนี้กล่าวว่า Laplace ก่อนหน้าเป็นตัวเลือกยอดนิยม แต่ถ้าคุณต้องการโซลูชันที่กระจัดกระจายจริงๆอาจมีตัวเลือกที่ดีกว่าดังที่ Van Erp et al (2019) อธิบายไว้

_{Van Erp, S. , Oberski, DL, & Mulder, J. (2019) Priors หดตัวสำหรับ Bayesian Penalized Regression วารสารจิตวิทยาคณิตศาสตร์, 89 , 31-50 ดอย: 10.1016 / j.jmp.2018.12.004}