การทำให้เป็นมาตรฐาน L2 เทียบเท่ากับ Gaussian ก่อน

56

ฉันอ่านมันต่อไปและอย่างสังหรณ์ใจฉันสามารถเห็นสิ่งนี้ได้ แต่จะไปจากการทำให้เป็นมาตรฐาน L2 เพื่อบอกว่านี่คือการวิเคราะห์แบบเกาส์ก่อนหรือไม่ กันไปสำหรับการพูด L1 เทียบเท่ากับ Laplacean ก่อน

การอ้างอิงใด ๆ เพิ่มเติมจะดีมาก

regression references regularization

— ไม่ระบุชื่อ
แหล่งที่มา

54

เราลองนึกภาพว่าคุณต้องการที่จะสรุปบางพารามิเตอร์จากบางส่วนสังเกตคู่อินพุทy_n) ให้เราสมมติว่าผลลัพธ์นั้นเกี่ยวข้องกับอินพุตเป็นแนวตรงผ่านและข้อมูลนั้นเสียหายจากสัญญาณรบกวน : $\beta$ $(x_1,y_1)\dots,(x_N,y_N)$ $\beta$ $\epsilon$

y_{n} = β x_{n} + ϵ,

$y_n = \beta x_n + \epsilon,$

ที่สัญญาณรบกวนแบบเกาส์ที่มีค่าเฉลี่ยและความแปรปรวน 2 สิ่งนี้ก่อให้เกิดโอกาสแบบเกาส์น: $\epsilon$ $0$ $\sigma^2$

\prod_{n = 1}^{N} N (y_{n} | β x_{n}, σ^{2}) .

$\prod_{n=1}^N \mathcal{N}(y_n|\beta x_n,\sigma^2).$

ขอให้เราปรับพารามิเตอร์โดยกำหนดให้เสียนก่อนที่เป็นสเกลาร์เชิงบวกอย่างเคร่งครัด ดังนั้นการรวมความเป็นไปได้และสิ่งที่เรามีก่อน: $\beta$ $\mathcal{N}(\beta|0,\lambda^{-1}),$ $\lambda$

\prod_{n = 1}^{N} N (y_{n} | β x_{n}, σ^{2}) N (β | 0, λ^{- 1}) .

$\prod_{n=1}^N \mathcal{N}(y_n|\beta x_n,\sigma^2) \mathcal{N}(\beta|0,\lambda^{-1}).$

ให้เราหาลอการิทึมของนิพจน์ข้างต้น เรายังได้รับค่าคงที่ลดลง:

\sum_{n = 1}^{N} - \frac{1}{σ^{2}} (y_{n} - β x_{n})^{2} - λ β^{2} + const .

$\sum_{n=1}^N -\frac{1}{\sigma^2}(y_n-\beta x_n)^2 - \lambda \beta^2 + \mbox{const}.$

หากเราเพิ่มการแสดงออกข้างต้นให้มากที่สุดเกี่ยวกับเราจะได้ค่าประมาณ a-posteriori สูงสุดสำหรับหรือการประมาณ MAP สำหรับช่วงสั้น ๆ ในนิพจน์นี้จะเห็นได้ชัดว่าทำไมเกาส์เซียนก่อนสามารถตีความได้ว่าเป็นคำศัพท์ในการทำให้เป็นมาตรฐาน L2 $\beta$ $\beta$

ในทำนองเดียวกันความสัมพันธ์ระหว่างบรรทัดฐาน L1 และ Laplace ก่อนสามารถเข้าใจได้ในแบบเดียวกัน ใช้เวลาแทนที่จะเป็นแบบเกาส์เซียนก่อนหน้านี้ Laplace ก่อนจะรวมเข้ากับโอกาสของคุณและใช้ลอการิทึม

การอ้างอิงที่ดี (อาจจะสูงเล็กน้อย) รายละเอียดทั้งสองประเด็นคือกระดาษ "Adaptive Sparseness สำหรับการเรียนรู้ภายใต้การดูแล" ซึ่งปัจจุบันดูเหมือนจะไม่ง่ายที่จะหาทางออนไลน์ อีกวิธีหนึ่งคือดูที่"เบาบาง Adaptive ใช้ฟรีย์ก่อน" อ้างอิงอื่นที่ดีคือ"ในการจัดหมวดหมู่คชกรรมกับไพรเออร์เลซ"

— ngiann
แหล่งที่มา

1

ในD dimensionกรณีการถดถอยเชิงเส้นสามารถbetaและsigmaมีวิธีแก้ไขปัญหาอย่างชัดเจนหรือไม่? ฉันกำลังอ่าน PRML และหาสมการ (1.67) ในหน้า 30 และไม่รู้จะแก้อย่างไร ในความเป็นไปได้สูงสุดเราจะแก้ไขbetaจากนั้นsigmaตั้งค่าความชันเป็นศูนย์ ในรูปสี่เหลี่ยมจัตุรัสน้อยที่สุดที่ทำให้เป็นมาตรฐานเนื่องจากมีการรู้จัก reqularization param lambdaเราจึงแก้ปัญหาbetaโดยตรง แต่ถ้าเราแก้ปัญหาโดยตรง MAP สิ่งที่เป็นคำสั่งของการแก้beta, sigma? พวกเขามีวิธีแก้ปัญหาอย่างชัดเจนหรือเราต้องใช้กระบวนการวนซ้ำหรือไม่?

— stackunderflow

คุณขาด "สี่เหลี่ยม" ในในสมการสุดท้ายนั่นคือหรือไม่?

λ β

$\lambda \beta$

λ β^{2}

$\lambda \beta^2$

— brian.keng

@AdamO มัน จำกัด จำนวนของค่าสัมประสิทธิ์ที่สามารถใช้ หากตัวอย่างก่อนหน้านี้อยู่ระหว่าง 1-10 ยกตัวอย่างเช่นมีค่าความน่าจะเป็นของสัมประสิทธิ์เท่ากับ 0 ซึ่งมีค่าอื่น ๆ เช่น [-inf to 1] และ [10, + inf]

— imsrgadich

1

ในกรณีนี้เป็นที่รู้จักกัน ใช้งานได้เมื่อไม่ทราบหรือไม่ สำหรับการถดถอยเชิงเส้นแบบเบย์สามารถใช้แกมมาผกผันก่อนในการสร้างคอนจูเกตก่อนการแปรปรวน แต่ฉันไม่แน่ใจว่าพีชคณิตจะมีค่าเท่ากับนิพจน์เดียวกัน

σ^{2}

$\sigma^2$

σ^{2}

$\sigma^2$

— AdamO

11

สำหรับโมเดลเชิงเส้นที่มีความแปรปรวนปกติหลายตัวแปรก่อนหน้าและโอกาสหลายตัวแปรปกติคุณจะได้การแจกแจงหลังทั่วไปหลายตัวแปรซึ่งค่าเฉลี่ยของรูปหลัง (และสูงสุดของรูปแบบหลัง) เป็นสิ่งที่คุณจะได้รับโดยใช้ Tikhonov (ทำให้เป็นมาตรฐาน) กำลังสองน้อยที่สุดพร้อมพารามิเตอร์การทำให้เป็นมาตรฐานที่เหมาะสม $L_{2}$

โปรดทราบว่ามีความแตกต่างพื้นฐานมากขึ้นในการที่หลังเบย์คือการกระจายความน่าจะเป็นในขณะที่ Tikhonov normalized squares solution น้อยที่สุดคือการประมาณจุดที่เฉพาะเจาะจง

เรื่องนี้มีการกล่าวถึงในหนังสือหลายเล่มเกี่ยวกับวิธีการแบบเบย์สำหรับปัญหาผกผันดูตัวอย่าง:

http://www.amazon.com/Inverse-Problem-Methods-Parameter-Estimation/dp/0898715725/

http://www.amazon.com/Parameter-Estimation-Inverse-Problems-Second/dp/0123850487/

ในทำนองเดียวกันถ้าคุณมี Laplacian มาก่อนและหลายโอกาสปกติแล้วจำนวนสูงสุดของการกระจายหลังเกิดขึ้นในจุดที่คุณจะได้รับจากการแก้ปัญหา normalized สี่เหลี่ยมกำลังสองน้อยที่สุด $L_{1}$

— Brian Borchers
แหล่งที่มา

9

ข้อสังเกตแรกว่าค่ามัธยฐานลดค่า L1 ตามปกติ (ดูที่นี่หรือที่นี่เพื่อเรียนรู้เพิ่มเติมเกี่ยวกับ L1 และ L2)

median (x) = \underset{s}{a r g m i n} \sum_{i} | x_{i} - s |^{1}

$\DeclareMathOperator*{\argmin}{arg\,min} \text{median}(x) = \argmin_s \sum_i |x_i - s|^1$

ในขณะที่ค่าเฉลี่ยลด L2

mean (x) = \underset{s}{a r g m i n} \sum_{i} | x_{i} - s |^{2}

$\text{mean}(x) = \argmin_s \sum_i |x_i - s|^2$

ทีนี้จำได้ว่าค่าพารามิเตอร์การแจกแจงปกติ 'สามารถประมาณได้โดยใช้ค่าเฉลี่ยตัวอย่างในขณะที่ตัวประมาณค่า MLEสำหรับพารามิเตอร์การกระจาย Laplaceเป็นค่ามัธยฐาน ดังนั้นการใช้การแจกแจงแบบปกติจะเทียบเท่ากับการเพิ่มประสิทธิภาพบรรทัดฐาน L2 และการใช้การกระจายแบบ Laplace เพื่อใช้การเพิ่มประสิทธิภาพ L1 ในทางปฏิบัติคุณสามารถคิดได้ว่าค่ามัธยฐานนั้นมีความอ่อนไหวต่อค่าผิดปกติน้อยกว่าค่าเฉลี่ยและเหมือนกันโดยใช้การกระจาย Laplace ที่มีหางเท่ขึ้นทำให้รุ่นของคุณมีแนวโน้มที่จะผิดปกติน้อยกว่าการใช้การแจกแจงแบบปกติ $\mu$ $\mu$

เฮอร์ลีย์, เจดับบลิว (2009) แนวทางเหนี่ยวนำในการคำนวณ MLE สำหรับการกระจายเอกคู่ วารสารวิธีการทางสถิติประยุกต์ที่ทันสมัย: 8 (2), บทความ 25

— ทิม
แหล่งที่มา

บางทีนี่อาจไม่ใช่คำตอบที่เข้มงวดที่สุดในเชิงคณิตศาสตร์ แต่นี่เป็นคำตอบที่ง่ายและเข้าใจง่ายที่สุดสำหรับผู้เริ่มต้นในการทำให้เป็นมาตรฐาน L1 / L2

— SQLServerSteve

8

สำหรับปัญหาการถดถอยที่มีตัวแปร (การสกัดกั้นโดยไม่มี) คุณทำ OLS เป็น $k$

min_{β} (y - X β)^{'} (y - X β)

$\min_{\beta} (y - X \beta)' (y - X \beta)$

ในการถดถอยปกติด้วยการลงโทษคุณทำ $L^p$

min_{β} (y - X β)^{'} (y - X β) + λ \sum_{i = 1}^{k} | β_{i} |^{p}

$\min_{\beta} (y - X \beta)' (y - X \beta) + \lambda \sum_{i=1}^k |\beta_i|^p$

เราสามารถทำได้อย่างเท่าเทียมกัน (สังเกตการเปลี่ยนแปลงเครื่องหมาย)

max_{β} - (y - X β)^{'} (y - X β) - λ \sum_{i = 1}^{k} | β_{i} |^{p}

$\max_{\beta} -(y - X \beta)' (y - X \beta) - \lambda \sum_{i=1}^k |\beta_i|^p$

สิ่งนี้เกี่ยวข้องโดยตรงกับหลักการของแบบเบย์

p o s t e r i o r \propto l i k e l i h o o d \times p r i o r

$posterior \propto likelihood \times prior$

หรือเทียบเท่า (ภายใต้เงื่อนไขปกติ)

l o g (p o s t e r i o r) \sim l o g (l i k e l i h o o d) + l o g (p e n a l t y)

$log(posterior) \sim log(likelihood) + log(penalty)$

ตอนนี้ไม่ยากเลยที่จะเห็นว่าการกระจายครอบครัวแบบเลขชี้กำลังนั้นสอดคล้องกับชนิดของการลงโทษ

— Georg M. Goerg
แหล่งที่มา

3

หากต้องการให้ความสมดุลมีความแม่นยำมากขึ้น:

การปรับน้ำหนักแบบจำลองให้เหมาะสมเพื่อลดฟังก์ชั่นการสูญเสียความผิดพลาดกำลังสองด้วยการทำให้เป็นมาตรฐาน L2 เทียบเท่ากับการหาน้ำหนักที่น่าจะเป็นไปได้มากที่สุดภายใต้การแจกแจงหลังที่ประเมินโดยใช้กฎ Bayes

พิสูจน์:

ฟังก์ชั่นการสูญเสียตามที่อธิบายไว้ข้างต้นจะได้รับจาก

L = \underset{O r i g i n a l l o s s f u n c t i o n}{\underset{⏟}{[\sum_{n = 1}^{N} (y^{(n)} - f_{w} (x^{(n)}))^{2}]}} + \underset{L_{2} l o s s}{\underset{⏟}{λ \sum_{i = 1}^{K} w_{i}^{2}}}

$L = \underbrace{\Big[ \sum_{n=1}^{N} (y^{(n)} - f_{\mathbf{w}}(\mathbf{x}^{(n)}))^{2} \Big] }_{Original \; loss \; function} + \underbrace{\lambda \sum_{i=1}^{K} w_{i}^{2}}_{L_{2} \; loss}$

โปรดทราบว่าการแจกแจงแบบเกาส์หลายตัวแปรคือ

N (x; μ, Σ) = \frac{1}{(2 π)^{D / 2} | Σ |^{1 / 2}} \exp (- \frac{1}{2} (x - μ)^{⊤} Σ^{- 1} (x - μ))

$\mathcal{N}(\mathbf{x}; \mathbf{\mu}, \Sigma) = \frac{1}{(2 \pi)^{D/2}|\Sigma|^{1/2}} \exp\Big(-\frac{1}{2} (\mathbf{x} -\mathbf{\mu})^{\top} \Sigma^{-1} (\mathbf{x} -\mathbf{\mu})\Big)$

การใช้กฎเบย์เรามีสิ่งนั้น

\begin{aligned} p (w | D) & = \frac{p (D | w) p (w)}{p (D)} \\ \propto p (D | w) p (w) \\ \propto [\prod_{n}^{N} N (y^{(n)}; f_{w} (x^{(n)}), σ_{y}^{2})] N (w; 0, σ_{w}^{2} I) \\ \propto \prod_{n}^{N} N (y^{(n)}; f_{w} (x^{(n)}), σ_{y}^{2}) \prod_{i = 1}^{K} N (w_{i}; 0, σ_{w}^{2}) \end{aligned}

$\begin{split} p(\mathbf{w}|\mathcal{D}) &= \frac{p(\mathcal{D}|\mathbf{w}) \; p(\mathbf{w})}{p(\mathcal{D})}\newline &\propto p(\mathcal{D}|\mathbf{w}) \; p(\mathbf{w})\newline &\propto \Big[ \prod_{n}^{N} \mathcal{N}(y^{(n)}; f_{\mathbf{w}}(\mathbf{x}^{(n)}), \sigma_{y}^{2})\Big] \; \mathcal{N}(\mathbf{w}; \mathbf{0}, \sigma_{\mathbf{w}}^{2} \mathbb{I})\newline &\propto \prod_{n}^{N} \mathcal{N}(y^{(n)};f_{\mathbf{w}}(\mathbf{x}^{(n)}) , \sigma_{y}^{2}) \prod_{i=1}^{K} \mathcal{N}(w_{i}; \, 0, \, \sigma_{\mathbf{w}}^{2}) \newline \end{split}$

ที่ที่เราสามารถแยก Guassian หลายมิติเป็นผลิตภัณฑ์เพราะความแปรปรวนร่วมนั้นเป็นเมทริกซ์เอกลักษณ์หลายตัว

รับความน่าจะเป็นบันทึกเชิงลบ

\begin{aligned} - \log [p (w | D)] & = - \sum_{n = 1}^{N} \log [N (y^{(n)}; f_{w} (x^{(n)}), σ_{y}^{2})] - \sum_{i = 1}^{K} \log [N (w_{i}; 0, σ_{w}^{2})] + c o n s t . \\ = \frac{1}{2 σ_{y}^{2}} \sum_{n = 1}^{N} (y^{(n)} - f_{w} (x^{(n)}))^{2} + \frac{1}{2 σ_{w}^{2}} \sum_{i = 1}^{K} w_{i}^{2} + c o n s t . \end{aligned}

$\begin{split} -\log \big[p(\mathbf{w}|\mathcal{D}) \big] &= -\sum_{n=1}^{N} \log \big[\mathcal{N}(y^{(n)}; f_{\mathbf{w}}(\mathbf{x}^{(n)}), \sigma_{y}^{2}) \big] - \sum_{i=1}^{K} \log \big[ \mathcal{N}(w_{i}; \, 0, \, \sigma_{\mathbf{w}}^{2}) \big] + const. \newline &= \frac{1}{2\sigma_{y}^{2}} \sum_{n=1}^{N} \big(y^{(n)} - f_{\mathbf{w}}(\mathbf{x}^{(n)})\big)^{2} + \frac{1}{2\sigma_{\mathbf{w}}^{2}} \sum_{i=1}^{K} w_{i}^{2} + const. \newline \end{split}$

แน่นอนเราสามารถลดค่าคงที่และคูณด้วยจำนวนใดก็ได้โดยไม่ส่งผลกระทบต่อฟังก์ชันการสูญเสีย (ค่าคงที่ไม่ทำอะไรเลยการคูณจะขยายอัตราการเรียนรู้อย่างมีประสิทธิภาพจะไม่ส่งผลกระทบต่อตำแหน่งของ minima) ดังนั้นเราจะเห็นได้ว่าความน่าจะเป็นบันทึกเชิงลบของการแจกแจงหลังคือฟังก์ชันการสูญเสียที่เทียบเท่า

ความเท่ากันนี้เป็นเรื่องทั่วไปและถือเป็นฟังก์ชันที่มีพารามิเตอร์ของน้ำหนัก - ไม่ใช่แค่การถดถอยเชิงเส้นตามที่ปรากฏโดยนัย

— nickelnine37
แหล่งที่มา

1

มีสองลักษณะของแบบจำลองแบบเบย์ที่จำเป็นต้องเน้นเมื่อพูดถึงความเท่าเทียมกันของการประมาณค่าความน่าจะเป็นสูงสุดที่ถูกลงโทษบางอย่างและขั้นตอนแบบเบย์

ในกรอบการทำงานแบบเบย์สิ่งก่อนหน้านี้ได้รับการคัดเลือกตามลักษณะเฉพาะของปัญหาและไม่ได้รับแรงจูงใจจากความสะดวกในการคำนวณ ดังนั้น Bayesians ใช้นักบวชที่หลากหลายรวมถึงเกือกม้าที่ได้รับความนิยมในขณะนี้ก่อนหน้าสำหรับปัญหาการทำนายแบบเบาบางและไม่จำเป็นต้องพึ่งพานักบวชที่เทียบเท่ากับการลงโทษ L1 หรือ L2
ด้วยวิธีการแบบเบย์แบบเต็มคุณจะสามารถเข้าถึงขั้นตอนการอนุมานทั้งหมดเมื่อคุณทำเสร็จแล้ว ตัวอย่างเช่นคุณสามารถหาจำนวนพยานหลักฐานสำหรับค่าสัมประสิทธิ์การถดถอยจำนวนมากและคุณสามารถรับช่วงเวลาที่น่าเชื่อถือเกี่ยวกับค่าสัมประสิทธิ์การถดถอยและค่าคาดการณ์โดยรวม ในกรอบบ่อยครั้งเมื่อคุณเลือกการลงโทษคุณสูญเสียเครื่องอนุมานทั้งหมด

— Frank Harrell
แหล่งที่มา