สามารถ

11

ถ้า $\beta^*=\mathrm{arg\,min}_{\beta} \|y-X\beta\|^2_2+\lambda\|\beta\|_1$ สามารถ $\|\beta^*\|_2$ เพิ่มขึ้นเมื่อ $\lambda$ เพิ่มขึ้น?

ฉันคิดว่ามันเป็นไปได้ แม้ว่า $\|\beta^*\|_1$ ไม่เพิ่มขึ้นเมื่อ $\lambda$ เพิ่มขึ้น ( หลักฐานของฉัน) $\|\beta^*\|_2$ สามารถเพิ่ม รูปด้านล่างแสดงความเป็นไปได้ เมื่อไหร่ $\lambda$ เพิ่มขึ้นหาก $\beta^*$ เดินทาง (เชิงเส้น) จาก $P$ ถึง $Q$ จากนั้น $\|\beta^*\|_2$ เพิ่มขึ้นในขณะที่ $\|\beta^*\|_1$ ลดลง แต่ฉันไม่ทราบวิธีการสร้างตัวอย่างที่เป็นรูปธรรม (เช่นการสร้าง $X$ และ $y$ ) เพื่อให้โปรไฟล์ของ $\beta^*$ แสดงให้เห็นถึงพฤติกรรมนี้ ความคิดใด ๆ ขอบคุณ.

ป้อนคำอธิบายรูปภาพที่นี่

lasso

— ziyuang
แหล่งที่มา

10

คำตอบคือใช่และคุณมีหลักฐานกราฟิกมา $\ell_2$ ตรงนั้น.

ค้นหาคำจำกัดความของความเท่าเทียมของเวกเตอร์บรรทัดฐาน คุณจะพบว่า

‖ x ‖_{2} \leq ‖ x ‖_{1} \leq \sqrt{n} ‖ x ‖_{2},

$\|x\|_2 \leq \|x\|_1 \leq \sqrt{n}\|x\|_2,$ ที่ไหน

n

$n$ เป็นมิติของเวกเตอร์

x

$x$ . ดังนั้นมีบางห้องเลื้อยสำหรับ

ℓ_{2}

$\ell_2$ บรรทัดฐานเมื่อเทียบกับ

ℓ_{1}

$\ell_1$ บรรทัดฐาน

ในความเป็นจริงปัญหาที่คุณต้องการแก้ไขสามารถระบุได้ว่า:

หา $d$ ดังนั้น

‖ x + d ‖_{2} > ‖ x ‖_{2}

$\|x + d\|_2 > \|x\|_2$ ในขณะเดียวกัน

‖ x + d ‖_{1} < ‖ x ‖_{1} .

$\|x + d\|_1 < \|x\|_1.$

สแควร์ความไม่เท่าเทียมกันแรกขยายและดูว่า

2 \sum_{i} x_{i} d_{i} > - \sum_{i} d_{i}^{2}

$2\sum_i x_id_i > -\sum_i d_i^2$ และโดยสมมติว่า

x_{i} \geq 0

$x_i\geq0$ และ

x_{i} + d_{i} \geq 0

$x_i+d_i\geq0$ เราได้มาจากความไม่เท่าเทียมที่สองที่เราต้องมี

\sum_{i} d_{i} < 0.

$\sum_i d_i < 0.$ ใด

d

$d$ ที่เติมเต็มข้อ จำกัด เหล่านี้จะเพิ่ม

ℓ_{2}

$\ell_2$ บรรทัดฐานในขณะที่ลด

ℓ_{1}

$\ell_1$ บรรทัดฐาน

ในตัวอย่างของคุณ $d\approx[-0.4, 0.3]^T$ , $x:=P\approx[0.5, 0.6]^T$ และ

\sum_{i} d_{i} \approx - 0.1 < 0,

$\sum_i d_i\approx-0.1<0,$ และ

2 \sum_{i} P_{i} d_{i} \approx - 0.04 > - 0.25 \approx - \underset{ผม}{Σ} d_{ผม}^{2} .

$2\sum_i P_id_i\approx-0.04 > -0.25 \approx -\sum_i d_i^2.$

— Tommy L
แหล่งที่มา

แต่มันเกี่ยวข้องกับการก่อสร้างอย่างไร

X

$X$ และ

y

$y$ ?

— ziyuang

3

ขอบคุณสำหรับคำตอบของ @ TommyL แต่คำตอบของเขาไม่ตรงกับการสร้าง $X$ และ $y$ . ฉันแก้ปัญหาด้วยตัวเอง ครั้งแรกเมื่อ $\lambda$ เพิ่มขึ้น $\|\beta^*\|_2$ จะไม่เพิ่มขึ้นเมื่อละ $\beta^*_i$ ลดลงอย่างน่าเบื่อ สิ่งนี้จะเกิดขึ้นเมื่อ $X$ เป็น orthonormal ซึ่งเรามี

β_{ผม}^{* * * *} = s ผม ก. n (β_{ผม}^{L S}) (β_{ผม}^{L S} - λ)_{+}

$\beta^*_i=\mathrm{sign}(\beta_i^{\mathrm{LS}})(\beta_i^{\mathrm{LS}}-\lambda)_+$

เรขาคณิตในสถานการณ์เช่นนี้ $\beta^*$ เคลื่อนที่ตั้งฉากกับรูปร่างของ $\ell_1$ บรรทัดฐานดังนั้น $\|\beta^*\|_2$ ไม่สามารถเพิ่มได้

จริงๆแล้ว Hastie และคณะ กล่าวถึงในกระดาษถดถอยไปข้างหน้า stagewise และ monotone lasso , เงื่อนไขที่จำเป็นและเพียงพอของ monotonicity ของเส้นทางโปรไฟล์:

ป้อนคำอธิบายรูปภาพที่นี่

ในส่วนที่ 6 ของกระดาษพวกเขาสร้างชุดข้อมูลเทียมขึ้นอยู่กับฟังก์ชั่นพื้นฐานเชิงเส้นเป็นชิ้น ๆ ซึ่งละเมิดเงื่อนไขดังกล่าวข้างต้นแสดงให้เห็นว่าไม่ใช่ monotonicity แต่ถ้าเรามีโชคเราสามารถสร้างชุดข้อมูลแบบสุ่มที่แสดงพฤติกรรมที่คล้ายกัน แต่ในวิธีที่ง่ายกว่า นี่คือรหัส R ของฉัน:

library(glmnet)
set.seed(0)
N <- 10
p <- 15
x1 <- rnorm(N)
X <- mat.or.vec(N, p)
X[, 1] <- x1
for (i in 2:p) {X[, i] <- x1 + rnorm(N, sd=0.2)}
beta <- rnorm(p, sd=10)
y <- X %*% beta + rnorm(N, sd=0.01)
model <- glmnet(X, y, family="gaussian", alpha=1, intercept=FALSE)

ฉันจงใจปล่อยให้ $X$ คอลัมน์มีความสัมพันธ์สูง (ห่างจากกรณี orthonormal) และคอลัมน์จริง $\beta$ มีทั้งรายการบวกและลบที่มีขนาดใหญ่ ที่นี่คือ $\beta^*$ โปรไฟล์ของ (ไม่เปิดใช้งานตัวแปรที่น่าแปลกใจเพียง 5 ตัวเท่านั้น):

ป้อนคำอธิบายรูปภาพที่นี่

และความสัมพันธ์ระหว่าง $\lambda$ และ $\|\beta^*\|_2$ :

ป้อนคำอธิบายรูปภาพที่นี่

ดังนั้นเราจะเห็นว่าในช่วงเวลาหนึ่งของ $\lambda$ , $\|\beta^*\|_2$ เพิ่มขึ้นเป็น $\lambda$ เพิ่มขึ้น

— ziyuang
แหล่งที่มา