การได้มาของสารละลายบาศกัมมันตรังสีแบบปิด

$\min_\beta (Y-X\beta)^T(Y-X\beta)$ $\|\beta\|_1 \leq t$

β_{j}^{lasso} = s g n (β_{j}^{LS}) (| β_{j}^{LS} | - γ)^{+}

$\beta_j^{\text{lasso}}= \mathrm{sgn}(\beta^{\text{LS}}_j)(|\beta_j^{\text{LS}}|-\gamma)^+$

X

$X$

lasso

— แกรี่
แหล่งที่มา

ดูเหมือนว่าจะสับสนเล็กน้อย ที่จุดเริ่มต้นที่คุณถือว่าเป็นข้อ จำกัด

t

$t$ และในการแก้ปัญหาที่คุณแนะนำพารามิเตอร์\

γ

$\gamma$ ฉันคาดเดาว่าคุณต้องการให้ทั้งสองคนมีความเกี่ยวข้องผ่านปัญหาสองทาง แต่บางทีคุณสามารถระบุสิ่งที่คุณต้องการได้อย่างชัดเจน

— พระคาร์ดินัล

ตอบสนองต่อ @cardinal บางส่วนการค้นหา

β

$\beta$ ที่ย่อเล็กสุด

(Y - X β)^{'} (Y - X β)

$(Y-X\beta )'(Y-X\beta )$ ภายใต้

‖ β ‖_{1} \leq t

$\|\beta\|_1 \leq t$ เทียบเท่ากับการค้นหา

β

$\beta$ ที่ย่อเล็กสุด

(Y - X β)^{'} (Y - X β) + γ \sum_{j} | β_{j} |

$(Y-X\beta )'(Y-X\beta )+\gamma\sum_j |\beta_j |$ . มีความสัมพันธ์ระหว่าง 1-1 เป็น

t

$t$ และ\

γ

$\gamma$ หากต้องการ 'ง่าย' เพื่อดูว่าเหตุใดผลการค้นหาที่อ่อนนุ่มจึงควรแนะนำให้แก้ไขนิพจน์ที่สอง (ในความคิดเห็นของฉัน)

หมายเหตุอื่นเมื่อค้นหา

β

$\beta$ ที่ย่อเล็กสุด

(Y - X β)^{'} (Y - X β) + γ \sum_{j} | β_{j} |

$(Y-X\beta )'(Y-X\beta )+\gamma\sum_j |\beta_j |$ แบ่งปัญหาขึ้นเป็นกรณี

β_{j} > 0

$\beta_j >0$ ,

β_{j} < 0

$\beta_j<0$ และ

β = 0

$\beta=0$ 0

@cardinal Ah ใช่ 1-1 ไม่ถูกต้อง การแก้ไข: ทุก

t \geq 0

$t\geq0$ คุณสามารถหา

γ \geq 0

$\gamma\geq 0$ 0

ขอบคุณสำหรับการสนทนาที่ยอดเยี่ยม! ฉันเจอวิดีโอนี้ในหลักสูตร - ได้รับการอัพเดตโคตรของพิกัดแบบ lassoซึ่งเกี่ยวข้องกับการสนทนานี้และเดินผ่านทางแก้ปัญหาอย่างสง่างามมาก อาจมีประโยชน์สำหรับผู้เข้าชมในอนาคต :-)

— zorbar

คำตอบ:

นี้สามารถโจมตีในหลาย ๆ ด้านรวมทั้งวิธีการประหยัดเป็นธรรมผ่านเงื่อนไข Karush-Kuhn-ทักเกอร์

ด้านล่างเป็นอาร์กิวเมนต์ทางเลือกที่ค่อนข้างง่าย

วิธีกำลังสองน้อยที่สุดสำหรับการออกแบบฉาก

สมมติว่าประกอบด้วยคอลัมน์มุมฉาก จากนั้นวิธีแก้ปัญหากำลังสองน้อยที่สุดคือ $X$

{\hat{β}}^{LS} = (X^{T} X)^{- 1} X^{T} y = X^{T} y .

$\newcommand{\bls}{\hat{\beta}^{{\small \text{LS}}}}\newcommand{\blasso}{\hat{\beta}^{{\text{lasso}}}} \bls = (X^T X)^{-1} X^T y = X^T y \>.$

ปัญหาที่เทียบเท่ากันบ้าง

ผ่านรูปแบบลากรองจ์มันเป็นเรื่องง่ายที่จะเห็นว่าปัญหาที่เทียบเท่ากับที่พิจารณาในคำถามคือ

min_{β} \frac{1}{2} ‖ y - X β ‖_{2}^{2} + γ ‖ β ‖_{1} .

$\min_\beta \frac{1}{2} \|y - X \beta\|_2^2 + \gamma \|\beta\|_1 \>.$

ขยายเทอมแรกออกไปเราได้และเนื่องจากไม่มี ของตัวแปรที่น่าสนใจเราสามารถละทิ้งมันและพิจารณาปัญหาอื่นที่เทียบเท่า $\frac{1}{2} y^T y - y^T X \beta + \frac{1}{2}\beta^T \beta$ $y^T y$

min_{β} (- y^{T} X β + \frac{1}{2} ‖ β ‖^{2}) + γ ‖ β ‖_{1} .

$\min_\beta (- y^T X \beta + \frac{1}{2} \|\beta\|^2) + \gamma \|\beta\|_1 \>.$

สังเกตว่าปัญหาก่อนหน้านี้สามารถเขียนใหม่เป็น $\bls = X^T y$

min_{β} \sum_{i = 1}^{p} - {\hat{β}}_{i}^{LS} β_{i} + \frac{1}{2} β_{i}^{2} + γ | β_{i} | .

$\min_\beta \sum_{i=1}^p - \bls_i \beta_i + \frac{1}{2} \beta_i^2 + \gamma |\beta_i| \> .$

ฟังก์ชั่นวัตถุประสงค์ของเราตอนนี้เป็นผลรวมของวัตถุประสงค์ซึ่งแต่ละคนมีความสอดคล้องกับตัวแปรแยกดังนั้นพวกเขาแต่ละคนอาจได้รับการแก้ไขเป็นรายบุคคล $\beta_i$

ทั้งหมดเท่ากับผลรวมของชิ้นส่วน

แก้ไขแน่นอน จากนั้นเราต้องการลด $i$

L_{i} = - {\hat{β}}_{i}^{LS} β_{i} + \frac{1}{2} β_{i}^{2} + γ | β_{i} | .

$\mathcal L_i = -\bls_i \beta_i + \frac{1}{2}\beta_i^2 + \gamma |\beta_i| \> .$

หากดังนั้นเราต้องมีมิฉะนั้นเราสามารถพลิกเครื่องหมายและรับค่าที่ต่ำกว่าสำหรับฟังก์ชันวัตถุประสงค์ ในทำนองเดียวกันถ้าแล้วเราจะต้องเลือก0 $\bls_i > 0$ $\beta_i \geq 0$ $\bls_i < 0$ $\beta_i \leq 0$

กรณีที่ 1 :0 ตั้งแต่ , และสร้างความแตกต่างนี้ด้วยความเคารพและการตั้งค่าเท่ากับศูนย์ เราจะได้และนี่เป็นไปได้ก็ต่อเมื่อทางด้านขวามือไม่ใช่ค่าลบดังนั้นในกรณีนี้ทางออกที่แท้จริงคือ $\bls_i > 0$ $\beta_i \geq 0$

L_{i} = - {\hat{β}}_{i}^{LS} β_{i} + \frac{1}{2} β_{i}^{2} + γ β_{i},

$\mathcal L_i = -\bls_i \beta_i + \frac{1}{2}\beta_i^2 + \gamma \beta_i \> ,$

β_{i}

$\beta_i$

β_{i} = {\hat{β}}_{i}^{LS} - γ

$\beta_i = \bls_i - \gamma$

{\hat{β}}_{i}^{lasso} = ({\hat{β}}_{i}^{LS} - γ)^{+} = s g n ({\hat{β}}_{i}^{LS}) (| {\hat{β}}_{i}^{LS} | - γ)^{+} .

$\blasso_i = (\bls_i - \gamma)^+ = \mathrm{sgn}(\bls_i)(|\bls_i| - \gamma)^+ \>.$

กรณีที่ 2 :0 นี่หมายความว่าเราต้องมีและดังนั้น ความแตกต่างด้วยความเคารพและการตั้งค่าเท่ากับศูนย์เราได้รับแกมมา) แต่อีกครั้งเพื่อให้แน่ใจว่าเป็นไปได้เราต้องซึ่งทำได้โดยการ $\bls_i \leq 0$ $\beta_i \leq 0$

L_{i} = - {\hat{β}}_{i}^{LS} β_{i} + \frac{1}{2} β_{i}^{2} - γ β_{i} .

$\mathcal L_i = -\bls_i \beta_i + \frac{1}{2}\beta_i^2 - \gamma \beta_i \> .$

β_{i}

$\beta_i$

β_{i} = {\hat{β}}_{i}^{LS} + γ = s g n ({\hat{β}}_{i}^{LS}) (| {\hat{β}}_{i}^{LS} | - γ)

$\beta_i = \bls_i + \gamma = \mathrm{sgn}(\bls_i)(|\bls_i| - \gamma)$

β_{i} \leq 0

$\beta_i \leq 0$

{\hat{β}}_{i}^{lasso} = s g n ({\hat{β}}_{i}^{LS}) (| {\hat{β}}_{i}^{LS} | - γ)^{+} .

$\blasso_i = \mathrm{sgn}(\bls_i)(|\bls_i| - \gamma)^+ \>.$

ในทั้งสองกรณีเราได้รับแบบฟอร์มที่ต้องการและเสร็จแล้ว

หมายเหตุสุดท้าย

— พระราชาคณะ
แหล่งที่มา

เขียนดี @ cardinal!

— Gary

+1 สามารถแทนที่ครึ่งหลังทั้งหมดด้วยการสังเกตอย่างง่าย ๆ ว่าฟังก์ชันวัตถุประสงค์คือ การรวมกันของชิ้นส่วนของพาราโบลานูนสองอันที่มีจุดยอดซึ่งมีเครื่องหมายลบสำหรับและค่าบวก สูตรเป็นเพียงวิธีแฟนซีในการเลือกจุดสุดยอดที่ต่ำกว่า

β \to \frac{1}{2} β^{2} + (\pm γ - \hat{β}) β

$\beta\to\frac{1}{2}\beta^2+(\pm\gamma-\hat{\beta})\beta$

\pm γ - \hat{β}

$\pm\gamma-\hat{\beta}$

β < 0

$\beta\lt 0$

— whuber

ถ้าเป็นไปได้ฉันอยากจะเห็นการดัดแปลงโดยใช้เงื่อนไขการปรับให้เหมาะสม KKT มีวิธีอื่นใดอีกที่จะได้ผลลัพธ์นี้?

— user1137731

@ สำคัญ: ขอบคุณสำหรับการสืบที่ดี หนึ่งการสังเกต ถ้าฉันจำได้ว่าเมทริกซ์ที่มีคอลัมน์มุมฉากไม่เหมือนกับเมทริกซ์มุมฉาก (อาคา orthonormal) จากนั้นสำหรับบางเส้นทแยงมุมเมทริกซ์ (ไม่จำเป็นต้องเมทริกซ์เอกลักษณ์) ด้วยสมมติฐานเมทริกซ์มุมฉาก (ตามที่อยู่ในคำถามเดิม) เราจะมีและทุกลักษณะดี :)

X^{'} X = D

$X'X=D$

D

$D$

X^{'} X = I

$X'X=I$

— โอเล็ก Melnikov

@cardinal ฉันไม่เข้าใจว่าทำไมคุณถึงพูดว่า "ไม่เช่นนั้นเราสามารถพลิกเครื่องหมายและรับค่าที่ต่ำกว่าสำหรับฟังก์ชันวัตถุประสงค์" เรากำลังหาอนุพันธ์ของฟังก์ชันวัตถุประสงค์ แล้วถ้าฟังก์ชันวัตถุประสงค์สูงหรือต่ำกว่าใครจะสนใจ สิ่งที่เราสนใจคืออนุพันธ์ถูกตั้งค่าเป็นศูนย์เราใส่ใจเรื่อง extrema ไม่ว่าจะสูงหรือต่ำกว่าค่าคงที่จะไม่ส่งผลกระทบต่ออาร์กิวเมนต์

— user13985

สมมติว่าตัวแปรคอลัมน์ของ , มีมาตรฐานนอกจากนี้ยังเพื่อให้ฉัน นี่เป็นเพียงเพื่อความสะดวกในภายหลัง: หากไม่มีสัญลักษณ์จะหนักขึ้นเนื่องจากเป็นเส้นทแยงมุมเท่านั้น นอกจากนี้สมมติว่าพี นี่เป็นข้อสมมติฐานที่จำเป็นสำหรับผลลัพธ์ที่จะถือ กำหนดอย่างน้อยสี่เหลี่ยมประมาณการ 2 จากนั้นตัวประมาณค่าแบบเชือก (รูปแบบลากรองจ์ของ) $x_j$ $X \in \mathbb{R}^{n \times p}$ $X^T X = I$ $X^T X$ $n \geq p$ $\hat\beta_{OLS} = \arg\min_\beta \|y - X \beta\|_2^2$

\begin{aligned} (defn.) & {\hat{β}}_{λ} & = \arg min_{β} \frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1} \\ (OLS is projection) & = \arg min_{β} \frac{1}{2 n} ‖ X {\hat{β}}_{O L S} - X β ‖_{2}^{2} + λ ‖ β ‖_{1} \\ (X^{T} X = I) & = \arg min_{β} \frac{1}{2 n} ‖ {\hat{β}}_{O L S} - β ‖_{2}^{2} + λ ‖ β ‖_{1} \\ (algebra) & = \arg min_{β} \frac{1}{2} ‖ {\hat{β}}_{O L S} - β ‖_{2}^{2} + n λ ‖ β ‖_{1} \\ (defn.) & = {p r o x}_{n λ ‖ \cdot ‖_{1}} ({\hat{β}}_{O L S}) \\ (takes some work) & = S_{n λ} ({\hat{β}}_{O L S}), \end{aligned}

$\begin{align*} \hat\beta_\lambda & = \arg\min_{\beta} \frac{1}{2n} \|y - X \beta\|_2^2 + \lambda \|\beta\|_1 \tag{defn.} \\ & = \arg\min_\beta \frac{1}{2n} \|X \hat\beta_{OLS} - X \beta\|_2^2 + \lambda \|\beta\|_1 \tag{OLS is projection} \\ & = \arg\min_\beta \frac{1}{2n} \|\hat\beta_{OLS} - \beta\|_2^2 + \lambda \|\beta\|_1 \tag{$X^TX=I$} \\ & = \arg\min_\beta \frac{1}{2} \|\hat\beta_{OLS} - \beta\|_2^2 + n \lambda \|\beta\|_1 \tag{algebra} \\ & = \mathrm{prox}_{n \lambda \|\cdot\|_1} \left( \hat\beta_{OLS} \right) \tag{defn.} \\ & = S_{n \lambda} \left( \hat\beta_{OLS} \right) \tag{takes some work}, \end{align*}$ \ end {align *} โดยที่เป็นโอเปอเรเตอร์ proximal ของฟังก์ชันและ soft thresholds ตามจำนวน

{p r o x}_{f}

$\mathrm{prox}_f$

f

$f$

S_{α}

$S_{\alpha}$

α

$\alpha$ .

นี่คือการสืบทอดที่ข้ามการรับรายละเอียดของตัวดำเนินการใกล้เคียงที่ Cardinal ใช้งานได้ แต่ฉันหวังว่าจะอธิบายขั้นตอนหลักที่ทำให้เป็นรูปแบบปิด

— user795305
แหล่งที่มา