เหตุใดบทลงโทษของ Lasso จึงเทียบเท่ากับเลขชี้กำลังสองเท่า (Laplace) ก่อนหน้า?

27

ฉันได้อ่านจำนวนการอ้างอิงว่า Lasso ประมาณค่าสำหรับพารามิเตอร์การถดถอยเวกเตอร์เทียบเท่ากับโหมดหลังของซึ่งการแจกแจงก่อนหน้าสำหรับแต่ละเป็นการกระจายแบบเลขชี้กำลังสองเท่า (เรียกอีกอย่างว่าการกระจาย Laplace) $B$ $B$ $B_i$

ฉันพยายามพิสูจน์เรื่องนี้แล้วจะมีใครช่วยอธิบายรายละเอียดได้บ้างไหม?

— Wintermute
แหล่งที่มา

@ user777 ฉันหยิบหนังสือเล่มนั้นมาซักพักหนึ่งวันนี้ ไม่พบสิ่งที่เกี่ยวข้อง

— Wintermute

3

ที่เกี่ยวข้อง: stats.stackexchange.com/questions/177210/…

— ทิม

30

เพื่อความง่ายลองพิจารณาการสังเกตตัวแปรเพียงครั้งเดียวเช่น $Y$

Y | μ, σ^{2} ~ ยังไม่มีข้อความ (μ, σ^{2}),

$Y|\mu, \sigma^2 \sim N(\mu, \sigma^2),$

$\mu \sim \mbox{Laplace}(\lambda)$ และที่ไม่เหมาะสมก่อนที่ 0} $f(\sigma) \propto \mathbb{1}_{\sigma>0}$

จากนั้นความหนาแน่นของรอยต่อเป็นสัดส่วนกับ $Y, \mu, \sigma^2$

ฉ (Y, μ, σ^{2} | λ) α \frac{1}{σ} ประสบการณ์ (- \frac{(Y - μ)^{2}}{σ^{2}}) \times 2 λ {อี}^{- λ | μ |} .

$f(Y, \mu, \sigma^2 | \lambda) \propto \frac{1}{\sigma}\exp \left(-\frac{(y-\mu)^2}{\sigma^2} \right) \times 2\lambda e^{-\lambda \vert \mu \vert}.$

การบันทึกและยกเลิกข้อกำหนดที่ไม่เกี่ยวข้องกับ , $\mu$

เข้าสู่ระบบ ฉ (Y, μ, σ^{2}) = - \frac{1}{σ^{2}} ‖ Y - μ ‖_{2}^{2} - λ | μ | . (1)

$\log f(Y, \mu, \sigma^2) = -\frac{1}{\sigma^2} \Vert y-\mu\Vert_2^2 -\lambda \vert \mu \vert. \quad (1)$

ดังนั้นสูงสุด (1) จะมีการประมาณการแผนที่และแน่นอนปัญหาเชือกหลังจากที่เรา reparametrize $\tilde \lambda = \lambda \sigma^2$ 2

ส่วนขยายที่จะถดถอยเป็นที่ชัดเจน - แทนที่กับในโอกาสปกติและตั้งก่อนในไปเป็นลำดับของ Laplace อิสระกระจาย $\mu$ $X\beta$ $\beta$ $(\lambda)$

— Andrew M
แหล่งที่มา

25

สิ่งนี้ชัดเจนโดยการตรวจสอบปริมาณที่ LASSO ปรับให้เหมาะสม

ใช้ก่อนสำหรับจะเป็น Laplace อิสระที่มีศูนย์เฉลี่ยและบางขนาด\ $\beta_i$ $\tau$

ดังนั้น|} $p(\beta|\tau) \propto e^{-\frac{1}{2\tau} \sum_i|\beta_i|}$

รูปแบบสำหรับข้อมูลที่เป็นปกติสมมติฐานการถดถอย2) $y \stackrel{\text{iid}}{\sim}N(X\beta,\sigma^2)$

$f(\mathbf{y}|\mathbf{X},\boldsymbol\beta,\sigma^{2}) \propto (\sigma^{2})^{-n/2} \exp\left(-\frac{1}{2{\sigma}^{2}}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)^{\rm T}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)\right)$

ตอนนี้ลบสองครั้งบันทึกของหลังเป็นรูป

$k(\sigma^2,\tau,n,p)+$ $\frac{1}{{\sigma}^{2}} (\mathbf{y}- \mathbf{X} \boldsymbol\beta)^{\rm T}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)+ \frac{1}{\tau} \sum_i|\beta_i|$

ให้และเราได้รับ log- ข้างหน้าของ $\lambda=\sigma^2/\tau$ $-2\log$

$k(\sigma^2,\lambda,n,p)+$ $\frac{1}{{\sigma}^{2}}\left[ (\mathbf{y}- \mathbf{X} \boldsymbol\beta)^{\rm T}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)+ \lambda \sum_i|\beta_i|\right]$

ตัวประมาณค่า MAP สำหรับย่อเล็กสุดด้านบนซึ่งย่อเล็กสุด $\beta$

$S=(\mathbf{y}- \mathbf{X} \boldsymbol\beta)^{\rm T}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)+ \lambda \sum_i|\beta_i|$

ตัวประมาณค่า MAP สำหรับคือ LASSO $\beta$

(ที่นี่ฉันได้รับการปฏิบัติได้รับการแก้ไขอย่างมีประสิทธิภาพ แต่คุณสามารถทำสิ่งอื่นกับมันและยังคงได้รับ LASSO ออกมา) $\sigma^2$

แก้ไข: นั่นคือสิ่งที่ฉันได้รับจากการเขียนคำตอบ ฉันไม่เห็นคำตอบที่ดีถูกโพสต์โดย Andrew แล้ว ฉันไม่ได้ทำในสิ่งที่เขาไม่ได้ทำ ฉันจะออกจากเหมืองในขณะนี้เพราะมันจะช่วยให้คู่รายละเอียดเพิ่มเติมของการพัฒนาในแง่ของ\ $\beta$

— Glen_b -Reinstate Monica
แหล่งที่มา

1

ดูเหมือนจะมีความแตกต่างในคำตอบและแอนดรูของคุณ คำตอบของคุณมีรูปแบบที่ถูกต้องของ regularizer:ในขณะที่ Andrew มีซึ่งในการถดถอยเชิงเส้นที่เราได้รับ\

λ ‖ β ‖_{1}

$\lambda \|\beta\|_1$

λ | μ |

$\lambda |\mu|$

μ = X β

$\mu=X\beta$

— Alex R.

2

@AlexR ฉันคิดว่าคุณตีความμผิดในคำตอบของ Andrew μที่นั่นสอดคล้องกับในการถดถอยโดยมีจุดตัดเท่านั้นไม่ใช่ในการถดถอยหลายครั้ง อาร์กิวเมนต์เดียวกันตามมาสำหรับตัวพิมพ์ใหญ่ (สังเกตความคล้ายคลึงกับคำตอบของฉัน) แต่มันง่ายกว่าที่จะติดตามในกรณีง่าย ๆ คำตอบของแอนดรูว์นั้นถูกต้องแล้ว แต่ไม่ได้เชื่อมต่อจุดทั้งหมดกับคำถามเดิมโดยปล่อยให้ผู้อ่านกรอกจำนวนเล็กน้อยฉันคิดว่าคำตอบของเรานั้นสอดคล้องกัน (ขึ้นอยู่กับความแตกต่างเล็กน้อยที่เกี่ยวข้องกับσ และเขาสมควรได้รับเห็บอย่างเต็มที่

β_{0}

$\beta_0$

X β

$X\beta$

— Glen_b -Reinstate Monica