ริดจ์ลงโทษ GLM โดยใช้การเพิ่มแถว?

ฉันได้อ่านว่าการถดถอยของสันสามารถทำได้โดยการเพิ่มแถวของข้อมูลลงในเมทริกซ์ข้อมูลดั้งเดิมซึ่งแต่ละแถวถูกสร้างขึ้นโดยใช้ 0 สำหรับตัวแปรตามและรากที่สองของหรือศูนย์สำหรับตัวแปรอิสระ เพิ่มแถวพิเศษหนึ่งแถวสำหรับแต่ละตัวแปรอิสระ$k$

ฉันสงสัยว่ามันเป็นไปได้ที่จะได้รับการพิสูจน์ในทุกกรณีรวมถึงการถดถอยโลจิสติกหรือ GLM อื่น ๆ

ริดจ์ถดถอยลดขนาด 2$\sum_{i=1}^n (y_i-x_i^T\beta)^2+\lambda\sum_{j=1}^p\beta_j^2$

(มักจำเป็นต้องมีค่าคงที่ แต่ไม่ย่อขนาดในกรณีนั้นจะรวมอยู่ในและตัวทำนาย - แต่ถ้าคุณไม่ต้องการลดขนาดมันคุณไม่มีแถวที่สอดคล้องกันสำหรับการสังเกตแบบหลอก ถ้าคุณไม่ต้องการที่จะหดตัวลงนั้นคุณจะมีแถวสำหรับมัน. ฉันจะเขียนมันราวกับว่ามันไม่ได้นับในและไม่หดตัวเป็นเป็นกรณีที่มีความซับซ้อนมากขึ้น. กรณีอื่น ๆ คือการเปลี่ยนแปลงเล็ก ๆ น้อย ๆ จากนี้ .)$\beta$$p$

เราสามารถเขียนเทอมที่สองเป็น pseudo-observations ถ้าเราสามารถเขียนแต่ละ "y" และแต่ละอันที่เกี่ยวข้อง -vector "x" เช่นนั้น$p$$(p+1)$

$(y_{n+j}-x_{n+j}^T\beta)^2=\lambda\beta_j^2\,,\quad j=1,\ldots,p$

แต่โดยการตรวจสอบเพียงแค่ให้ , ให้และปล่อยให้ (รวมถึงโดยทั่วไป)$y_{n+j}=0$$x_{n+j,j}=\sqrt{\lambda}$$x_{n+j,k}=0$$x_{n+j,0}=0$

แล้วก็

$(y_{n+j}-[x_{n+j,0}\beta_0+x_{n+j,1}\beta_1+x_{n+j,2}\beta_2+...+x_{n+j,p}\beta_p])^2=\lambda\beta_j^2$ 2

วิธีนี้ใช้สำหรับการถดถอยเชิงเส้น มันใช้ไม่ได้กับการถดถอยแบบโลจิสติกเพราะการถดถอยแบบโลจิสติกส์แบบธรรมดาไม่ได้ลดจำนวนผลรวมของเศษเหลือที่น้อยที่สุด

[การถดถอยของสันเขาไม่ใช่สิ่งเดียวที่สามารถทำได้ผ่านกลอุบายหลอกแบบสังเกตการณ์ - มันเกิดขึ้นในบริบทอื่น ๆ จำนวนมาก]

Generalizing สูตรนี้เพื่อ GLMs แน่นอนไม่ได้เป็นเรื่องยากที่ GLMs มักจะพอดีกับการใช้reweighted ซ้ำสองน้อยที่สุด ดังนั้นในการทำซ้ำแต่ละครั้งเราสามารถทำการลดขั้นตอนกำลังสองน้อยที่สุดตามปกติด้วยสันเขาลงโทษขั้นต่ำกำลังสองขั้นต่ำเพื่อรับการลงโทษ GLM ในความเป็นจริงเมื่อใช้ร่วมกับบทลงโทษปรับสันเขาสูตรนี้จะใช้เพื่อให้พอดีกับ L0 GLMs ลงโทษ (aka ส่วนย่อยที่ดีที่สุดคือ GLMs ที่จำนวนรวมของค่าสัมประสิทธิ์ที่ไม่ใช่ศูนย์จะถูกลงโทษ) สิ่งนี้ได้ถูกนำไปใช้เช่นในแพ็คเกจ l0araดูเอกสารนี้และเอกสารนี้สำหรับรายละเอียด

นอกจากนี้ยังเป็นที่น่าสังเกตว่าวิธีการแบบปิดที่เร็วที่สุดในการแก้ปัญหาการถดถอยของสันเขาเป็นประจำคือการใช้

lmridge_solve = function (X, y, lambda, intercept = TRUE) {
  if (intercept) {
    lambdas = c(0, rep(lambda, ncol(X)))
    X = cbind(1, X)
  } else { lambdas = rep(lambda, ncol(X)) }
  solve(crossprod(X) + diag(lambdas), crossprod(X, y))[, 1]
}

สำหรับกรณีที่n>=pหรือใช้

lmridge_solve_largep = function (X, Y, lambda) (t(X) %*% solve(tcrossprod(X)+lambda*diag(nrow(X)), Y))[,1]

เมื่อใดp>nและสำหรับโมเดลที่ไม่มีการสกัดกั้น

สิ่งนี้เร็วกว่าการใช้สูตรการเพิ่มแถวเช่นทำ

lmridge_rbind = function (X, y, lambda, intercept = TRUE) {
  if (intercept) {
    lambdas = c(0, rep(lambda, ncol(X)))
    X = cbind(1, X)
  } else { lambdas = rep(lambda, ncol(X)) }
  qr.solve(rbind(X, diag(sqrt(lambdas))), c(y, rep(0, ncol(X))))
}

หากคุณต้องการข้อ จำกัด ที่ไม่เป็นค่าลบในค่าสัมประสิทธิ์การติดตั้งของคุณคุณสามารถทำได้

library(nnls)

nnlmridge_solve = function (X, y, lambda, intercept = TRUE) {
  if (intercept) {
    lambdas = c(0, rep(lambda, ncol(X)))
    X = cbind(1, X)
  } else { lambdas = rep(lambda, ncol(X)) }
  nnls(A=crossprod(X)+diag(lambdas), b=crossprod(X,Y))$x
}

ซึ่งจะให้ผลลัพธ์ที่แม่นยำกว่าเล็กน้อยเล็กน้อย

nnlmridge_rbind = function (X, y, lambda, intercept = TRUE) {
  if (intercept) {
    lambdas = c(0, rep(lambda, ncol(X)))
    X = cbind(1, X)
  } else { lambdas = rep(lambda, ncol(X)) }
  nnls(A=rbind(X,diag(sqrt(lambdas))), b=c(Y,rep(0,ncol(X))))$x 
}

(และการพูดอย่างเคร่งครัดเพียงวิธีการแก้ปัญหาnnls(A=crossprod(X)+diag(lambdas), b=crossprod(X,Y))$x นั้นเป็นหนึ่งที่ถูกต้อง)

ฉันยังไม่ทราบว่ากรณีที่มีข้อ จำกัด แบบ nonnegativity สามารถปรับให้เหมาะสมสำหรับp > nกรณีได้อย่างไร - แจ้งให้เราทราบหากใครจะรู้วิธีการทำเช่นนี้ ... [ lmridge_nnls_largep = function (X, Y, lambda) t(X) %*% nnls(A=tcrossprod(X)+lambda*diag(nrow(X)), b=Y)$xไม่ทำงาน]