อัตราความผิดพลาดเป็นฟังก์ชันนูนของแลมบ์ดาของพารามิเตอร์การทำให้เป็นมาตรฐานหรือไม่?

ในการเลือก lambda พารามิเตอร์การทำให้เป็นมาตรฐานใน Ridge หรือ Lasso วิธีที่แนะนำคือลองค่า lambda ที่แตกต่างกัน, วัดข้อผิดพลาดใน Validation Set และสุดท้ายเลือกค่าของ lambda ที่ส่งกลับข้อผิดพลาดต่ำสุด

มันไม่ได้เป็นคลีตสำหรับฉันถ้าฟังก์ชั่น f (lambda) = error คือ Convex มันเป็นอย่างนี้ได้ไหม? นั่นคือเส้นโค้งนี้มีมากกว่าหนึ่ง minima ท้องถิ่น (ซึ่งจะบอกเป็นนัยว่าการหาข้อผิดพลาดขั้นต่ำในบางพื้นที่ของแลมบ์ดาไม่ได้จำกัดความเป็นไปได้ที่ในบางภูมิภาคอื่น ๆ จะมีแลมบ์ดาที่กลับมา

คำแนะนำของคุณจะได้รับการชื่นชม

— rf7
แหล่งที่มา

คำตอบ:

คำถามเดิมถามว่าฟังก์ชันข้อผิดพลาดจะต้องนูนหรือไม่ ไม่มันไม่ การวิเคราะห์ที่แสดงด้านล่างมีวัตถุประสงค์เพื่อให้ข้อมูลเชิงลึกและสัญชาตญาณเกี่ยวกับเรื่องนี้และคำถามที่ปรับเปลี่ยนซึ่งถามว่าฟังก์ชันข้อผิดพลาดอาจมีหลายท้องถิ่นน้อยที่สุด

อย่างสังหรณ์ใจไม่จำเป็นต้องมีความสัมพันธ์ที่จำเป็นทางคณิตศาสตร์ใด ๆ ระหว่างข้อมูลและชุดฝึกอบรม เราควรจะสามารถค้นหาข้อมูลการฝึกอบรมซึ่งโมเดลในตอนแรกไม่ดีได้ดีขึ้นด้วยการทำให้เป็นปกติและแย่ลงอีกครั้ง โค้งข้อผิดพลาดไม่สามารถนูนในกรณีนั้น - อย่างน้อยไม่ได้ถ้าเราทำให้กูพารามิเตอร์แตกต่างจากไป\ $0$ $\infty$

โปรดทราบว่านูนไม่เท่ากับการมีค่าต่ำสุดที่ไม่เหมือนใคร! อย่างไรก็ตามแนวคิดที่คล้ายคลึงกันแนะนำให้ใช้หลายท้องถิ่นน้อยที่สุดที่เป็นไปได้: ในระหว่างการทำให้เป็นปกติแบบจำลองที่ติดตั้งครั้งแรกอาจจะดีกว่าสำหรับข้อมูลการฝึกอบรมบางอย่างในขณะที่ไม่ได้เปลี่ยนข้อมูลการฝึกอบรมอื่น ๆ การผสมผสานของข้อมูลการฝึกอบรมดังกล่าวควรสร้างหลายท้องถิ่นขั้นต่ำ เพื่อให้การวิเคราะห์ง่ายขึ้นฉันจะไม่พยายามแสดงสิ่งนั้น

แก้ไข (เพื่อตอบคำถามที่เปลี่ยนแปลง)

ฉันมีความมั่นใจมากในการวิเคราะห์ที่นำเสนอด้านล่างและสัญชาตญาณด้านหลังที่ฉันตั้งไว้เกี่ยวกับการหาตัวอย่างในวิธีที่เป็นไปได้ crudest: ฉันสร้างชุดข้อมูลขนาดเล็กสุ่มวิ่ง Lasso พวกเขาคำนวณข้อผิดพลาดกำลังสองทั้งหมดสำหรับชุดฝึกอบรมขนาดเล็ก และพล็อตกราฟโค้งข้อผิดพลาด ความพยายามสองสามครั้งสร้างหนึ่งด้วยสองมินิมาซึ่งฉันจะอธิบาย เวกเตอร์ที่อยู่ในรูปแบบสำหรับคุณสมบัติและและการตอบสนองY $(x_1,x_2,y)$ $x_1$ $x_2$ $y$

ข้อมูลการฝึกอบรม

(1, 1, - 0.1), (2, 1, 0.8), (1, 2, 1.2), (2, 2, 0.9)

$(1,1,-0.1),\ (2,1,0.8),\ (1,2,1.2),\ (2,2,0.9)$

ทดสอบข้อมูล

(1, 1, 0.2), (1, 2, 0.4)

$(1,1,0.2),\ (1,2,0.4)$

เชือกถูกเรียกใช้glmnet::glmmetในRที่มีข้อโต้แย้งทั้งหมดทิ้งไว้ที่ค่าเริ่มต้นของพวกเขา ค่าของบนแกน x เป็นส่วนกลับของค่าที่รายงานโดยซอฟต์แวร์นั้น (เพราะมันเป็นพารามิเตอร์การลงโทษด้วย ) $\lambda$ $1/\lambda$

เส้นโค้งข้อผิดพลาดที่มีหลายท้องถิ่นน้อยที่สุด

การวิเคราะห์

ลองพิจารณาใดวิธี regularization ของพารามิเตอร์ที่เหมาะสมข้อมูลและสอดคล้องกับการตอบสนองที่มีเหล่านี้ร่วมกันคุณสมบัติสันถดถอยและเชือก: $\beta=(\beta_1, \ldots, \beta_p)$ $x_i$ $y_i$

(Parameterization) วิธีการแปรตามจำนวนจริงโดยมีรูปแบบที่ไม่สม่ำเสมอซึ่งสอดคล้องกับ $\lambda \in [0, \infty)$ $\lambda=0$
(ต่อเนื่อง) ประมาณการพารามิเตอร์ขึ้นอย่างต่อเนื่องในและค่าคาดการณ์ไว้สำหรับคุณสมบัติใด ๆ แตกต่างกันไปอย่างต่อเนื่องกับ\ $\hat\beta$ $\lambda$ $\hat\beta$
(หดตัว) ณ ,0 $\lambda\to\infty$ $\hat\beta\to 0$
(ฅ จำกัด ) สำหรับการใด ๆ คุณลักษณะเวกเตอร์เป็น , ทำนาย0 $x$ $\hat\beta\to 0$ $\hat y(x) = f(x, \hat\beta) \to 0$
(ข้อผิดพลาดแบบโมโนโทนิก) ฟังก์ชันข้อผิดพลาดเปรียบเทียบค่าใด ๆกับค่าที่คาดการณ์ ,เพิ่มขึ้นด้วยความคลาดเคลื่อนเพื่อให้มีการละเมิดของสัญกรณ์บางอย่างเราอาจแสดงว่ามันเป็น|) $y$ $\hat y$ $\mathcal{L}(y, \hat y)$ $|\hat y - y|$ $\mathcal{L}(|\hat y - y|)$

(ศูนย์ในสามารถถูกแทนที่ด้วยค่าคงที่ใด ๆ ) $(4)$

สมมติว่าข้อมูลดังกล่าวเป็นค่าเริ่มต้น (ไม่สม่ำเสมอ) การประมาณพารามิเตอร์ไม่ใช่ศูนย์ Let 's สร้างชุดข้อมูลการฝึกอบรมประกอบด้วยหนึ่งสังเกตซึ่ง0 (ถ้ามันเป็นไปไม่ได้ที่จะหาเช่นแล้วรูปแบบเริ่มต้นจะไม่เป็นที่น่าสนใจมาก!) ชุด 2 $\hat\beta(0)$ $(x_0, y_0)$ $f(x_0, \hat\beta(0))\ne 0$ $x_0$ $y_0=f(x_0, \hat\beta(0))/2$

สมมุติฐานบ่งบอกถึงเส้นโค้งข้อผิดพลาดมีคุณสมบัติเหล่านี้: $e: \lambda \to \mathcal{L}(y_0, f(x_0, \hat\beta(\lambda))$

$e(0) = \mathcal{L}(y_0, f(x_0, \hat\beta(0)) = \mathcal{L}(y_0, 2y_0) = \mathcal{L}(|y_0|)$ (เพราะ ตัวเลือกของ ) $y_0$
$\lim_{\lambda\to\infty}e(\lambda) = \mathcal{L}(y_0, 0) = \mathcal{L}(|y_0|)$ (เพราะ , , ) $\lambda\to\infty$ $\hat\beta(\lambda)\to 0$ $\hat{y}(x_0)\to 0$

ดังนั้นกราฟของมันจึงเชื่อมต่อจุดปลาย (และจุดสิ้นสุด) ที่สูงเท่ากันสองจุด

ในเชิงคุณภาพมีความเป็นไปได้สามประการ:

การทำนายสำหรับชุดฝึกอบรมไม่เคยเปลี่ยนแปลง สิ่งนี้ไม่น่าเป็นไปได้ - ตัวอย่างใด ๆ ที่คุณเลือกจะไม่มีคุณสมบัตินี้
บางคนคาดการณ์กลางสำหรับเป็นที่เลวร้ายยิ่งกว่าที่เริ่มต้นหรือในวงเงิน\ฟังก์ชั่นนี้ไม่สามารถนูนออกมาได้ $0\lt \lambda \lt \infty$ $\lambda=0$ $\lambda\to\infty$
การคาดการณ์ของกลางทั้งหมดอยู่ระหว่างและ2y_0ความต่อเนื่องบ่งบอกว่าจะมีอย่างน้อยหนึ่งของขั้นต่ำใกล้จะต้องนูน แต่เนื่องจากแนวทางจำกัดคง asymptotically ก็ไม่สามารถจะนูนสำหรับขนาดใหญ่พอ\ $0$ $2y_0$ $e$ $e$ $e(\lambda)$ $\lambda$

เส้นประแนวตั้งในภาพแสดงการเปลี่ยนแปลงของพล็อตจากนูน (ทางซ้าย) ไปเป็นแบบไม่นูน (ไปทางขวา) (นอกจากนี้ยังมีบริเวณที่ไม่มีความนูนใกล้ในรูปนี้ แต่นี่ไม่จำเป็นต้องเป็นกรณีทั่วไป) $\lambda\approx 0$

— whuber
แหล่งที่มา

ขอบคุณสำหรับคำตอบที่ซับซ้อน หากเป็นไปได้ให้ตรวจสอบคำถามตามที่ฉันแก้ไขและอัปเดตคำตอบของคุณ

— rf7

คำตอบที่ดี (+1) ในทางปฏิบัติฉันคิดว่ามีจุดฝึกอบรมและทดสอบข้อมูลอยู่น้อยมาก ข้อสรุปของคำตอบนี้เปลี่ยนไปหรือไม่เมื่อมีการฝึกอบรมและทดสอบจุดข้อมูลเพียงพอจากการแจกแจงเดียวกัน (คงที่และสม่ำเสมอเพียงพอ) หรือไม่? โดยเฉพาะอย่างยิ่งภายใต้สถานการณ์นี้มีความเป็นไปได้น้อยที่สุดในท้องถิ่นที่มีความน่าจะเป็นสูงหรือไม่

— user795305

@Ben ไม่ใช่จำนวนคะแนนทดสอบที่สำคัญ: ผลลัพธ์นี้ขึ้นอยู่กับการกระจายคะแนนทดสอบที่สัมพันธ์กับการกระจายคะแนนการฝึกอบรม ดังนั้นปัญหาของ "ที่มีความน่าจะเป็นสูง" จะไม่สามารถตอบได้หากไม่มีการตั้งสมมติฐานเฉพาะเกี่ยวกับการกระจายตัวแปรหลายตัวแปรของตัวแปรถดถอย นอกจากนี้ด้วยตัวแปรหลายอย่างในการเล่นปรากฏการณ์นี้ของมินิมาท้องถิ่นหลายรายการจะมีแนวโน้มมาก ผมสงสัยว่าการเลือกสุ่มของชุดทดสอบขนาดใหญ่ (มีหลายครั้งตามที่หลายข้อสังเกตเป็นตัวแปร) อาจมักจะมีนาทีทั่วโลกที่ไม่ซ้ำกัน

— whuber

@whuber ขอบคุณ! ฉันเห็นด้วย: การแจกแจง (จริง) ระหว่างคะแนนการฝึกอบรมและการทดสอบควรเท่ากันและจำเป็นต้องมีตัวอย่างเพียงพอที่การแจกแจงเชิงประจักษ์ของชุดการฝึกอบรมและการทดสอบจะมีข้อตกลงร่วมกัน (ดูเหมือนว่าฉันใช้ถ้อยคำที่ไม่ดีในความคิดเห็นก่อนหน้าของฉัน) ตัวอย่างเช่นหากมีการแจกแจงแบบปกติร่วมกัน (กับความแปรปรวนร่วมที่ไม่สิ้นสุด) ฉันสงสัยว่าความน่าจะเป็นของเส้นโค้งข้อผิดพลาด 1 (ถ้าบอกว่ามีตัวอย่างในการฝึกอบรมและชุดทดสอบที่มีกับคงที่ (หรือแม้กระทั่งเพิ่มขึ้นอย่างช้า ๆ เมื่อเทียบกับ ))

(x, y)

$(\mathbf x, y)$

n

$n$

n \to \infty

$n \to \infty$

p

$p$

n

$n$

— user795305

$\newcommand{\dbeta}{\frac{\partial}{\partial \lambda} \hat\beta_\lambda}$ $\newcommand{\ddbeta}{\frac{\partial^2}{{\partial \lambda}^2} \hat\beta_\lambda}$

คำตอบนี้เกี่ยวข้องกับเชือกโดยเฉพาะ (และไม่ถือสำหรับการถดถอยสัน)

ติดตั้ง

สมมติว่าเรามีตัวแปรที่เราใช้ในการจำลองการตอบสนอง สมมติว่าเราได้การฝึกอบรมจุดข้อมูลและจุดตรวจสอบข้อมูล $p$ $n$ $m$

ให้การป้อนข้อมูลการฝึกอบรมเป็นและการตอบสนองเป็น n เราจะใช้เชือกคล้องเชือกกับข้อมูลการฝึกอบรมนี้ นั่นคือใส่ตระกูลสัมประสิทธิ์ที่ประเมินจากข้อมูลการฝึกอบรม เราจะเลือกเพื่อใช้เป็นตัวประมาณของเราตามข้อผิดพลาดในชุดการตรวจสอบความถูกต้องด้วยอินพุตและการตอบสนองเมตร ด้วย $X_{(1)} \in \mathbb{R}^{n \times p}$ $y_{(1)} \in \mathbb{R}^n$

\begin{matrix} (1) & {\hat{β}}_{λ} = \arg min_{β \in R^{p}} ‖ y_{(1)} - X_{(1)} β ‖_{2}^{2} + λ ‖ β ‖_{1}, \end{matrix}

$\hat\beta_\lambda = \arg\min_{\beta \in \mathbb{R}^p} \|y_{(1)} - X_{(1)} \beta\|_2^2 + \lambda \|\beta\|_1, \tag{1}$

{\hat{β}}_{λ}

$\hat\beta_\lambda$

X_{(2)} \in R^{m \times p}

$X_{(2)} \in \mathbb{R}^{m \times p}$

y_{(2)} \in R^{m}

$y_{(2)} \in \mathbb{R}^m$

\begin{matrix} (2) & \hat{λ} = \arg min_{λ \in R_{+}} ‖ y_{(2)} - X_{(2)} {\hat{β}}_{λ} ‖_{2}^{2}, \end{matrix}

$\hat\lambda = \arg\min_{\lambda \in \mathbb{R}_+} \|y_{(2)} - X_{(2)} \hat\beta_\lambda\|_2^2, \tag{2}$ เรามีความสนใจในการศึกษาฟังก์ชั่นข้อผิดพลาดซึ่งทำให้เกิดการประมาณค่าข้อมูลของเราแลมบ์ดา}

e (λ) = ‖ y_{(2)} - X_{(2)} {\hat{β}}_{λ} ‖_{2}^{2}

$e(\lambda) = \|y_{(2)} - X_{(2)} \hat\beta_\lambda\|_2^2$

{\hat{β}}_{\hat{λ}}

$\hat\beta_{\hat\lambda}$

การคำนวณ

ตอนนี้เราจะคำนวณอนุพันธ์ที่สองของวัตถุประสงค์ในสมการโดยไม่มีการใด ๆสมมติฐานกระจายบน 'หรือ ' s การใช้ความแตกต่างและการปรับโครงสร้างองค์กรเรา (เป็นทางการ) คำนวณว่า $(2)$ $X$ $y$

\begin{aligned} \frac{\partial^{2}}{{\partial λ}^{2}} ‖ y_{(2)} - X_{(2)} {\hat{β}}_{λ} ‖_{2}^{2} & = \frac{\partial}{\partial λ} {- 2 y_{(2)}^{T} X_{(2)} \frac{\partial}{\partial λ} {\hat{β}}_{λ} + 2 {\hat{β}}_{λ}^{T} X_{(2)}^{T} X_{(2)} \frac{\partial}{\partial λ} {\hat{β}}_{λ}} \\ = - 2 y_{(2)}^{T} X_{(2)} \frac{\partial^{2}}{{\partial λ}^{2}} {\hat{β}}_{λ} + 2 {({\hat{β}}_{λ})}^{T} X_{(2)}^{T} X_{(2)} \frac{\partial^{2}}{{\partial λ}^{2}} {\hat{β}}_{λ} + 2 \frac{\partial}{\partial λ} {\hat{β}}_{λ}^{T} X_{(2)}^{T} X_{(2)}^{T} \frac{\partial}{\partial λ} {\hat{β}}_{λ} \\ = - 2 {{(y_{(2)} - X_{(2)} {\hat{β}}_{λ})}^{T} \frac{\partial^{2}}{{\partial λ}^{2}} {\hat{β}}_{λ} - ‖ X_{(2)} \frac{\partial}{\partial λ} {\hat{β}}_{λ} ‖_{2}^{2}} . \end{aligned}

$\begin{align*} \frac{\partial^2}{{\partial \lambda}^2} \|y_{(2)} - X_{(2)} \hat\beta_\lambda\|_2^2 & = \frac{\partial}{\partial \lambda} \left\{ -2 y_{(2)}^T X_{(2)} \dbeta + 2 \hat\beta_\lambda^T X_{(2)}^T X_{(2)} \dbeta \right\} \\ & = -2 y_{(2)}^T X_{(2)} \ddbeta + 2 \left( \hat\beta_\lambda \right)^T X_{(2)}^T X_{(2)} \ddbeta + 2 \dbeta^T X_{(2)}^T X_{(2)}^T \dbeta \\ & = -2 \left\{ \left( y_{(2)} - X_{(2)} \hat\beta_\lambda \right)^T \ddbeta - \|X_{(2)} \dbeta\|_2^2 \right\}. \end{align*}$ ตั้งแต่เป็นเส้นตรงสำหรับ (สำหรับเป็นชุด จำกัด ของปมในเส้นทางการแก้ปัญหา lasso) อนุพันธ์เป็นค่าคงที่และเป็นศูนย์สำหรับทั้งหมดK ดังนั้นฟังก์ชั่นที่ไม่ใช่เชิงลบของ\

{\hat{β}}_{λ}

$\hat\beta_\lambda$

λ \notin K

$\lambda \not\in K$

K

$K$

\frac{\partial}{\partial λ} {\hat{β}}_{λ}

$\dbeta$

\frac{\partial^{2}}{{\partial λ}^{2}} {\hat{β}}_{λ}

$\ddbeta$

λ \notin K

$\lambda \not\in K$

\frac{\partial^{2}}{{\partial λ}^{2}} ‖ y_{(2)} - X_{(2)} {\hat{β}}_{λ} ‖_{2}^{2} = 2 ‖ X_{(2)} \frac{\partial}{\partial λ} {\hat{β}}_{λ} ‖_{2}^{2},

$\frac{\partial^2}{{\partial \lambda}^2} \|y_{(2)} - X_{(2)} \hat\beta_\lambda\|_2^2 = 2 \|X_{(2)} \dbeta\|_2^2,$

λ

$\lambda$

ข้อสรุป

ถ้าเราสมมติต่อไปว่าถูกดึงมาจากการแจกแจงแบบต่อเนื่องที่เป็นอิสระจาก , เวกเตอร์เกือบจะแน่นอนสำหรับ<\ ดังนั้นฟังก์ชั่นข้อผิดพลาดจึงมีอนุพันธ์อันดับสองในซึ่งเป็นค่าบวกอย่างเคร่งครัด อย่างไรก็ตามการรู้ว่านั้นต่อเนื่องเรารู้ว่า error validationนั้นต่อเนื่อง $X_{(2)}$ $\{X_{(1)}, y_{(1)} \}$ $X_{(2)} \dbeta \neq 0$ $\lambda < \lambda_\max$ $e(\lambda)$ $\mathbb{R} \setminus K$ $\hat\beta_\lambda$ $e(\lambda)$

ในที่สุดจาก lasso dual เรารู้ว่าลดลงแบบโมโนโทนเมื่อเพิ่มขึ้น หากเราสามารถพิสูจน์ได้ว่านั้นเป็นแบบ monotonic ดังนั้นความนูนที่แข็งแกร่งของตามมา แต่นี้ถือมีความน่าจะเป็นบางส่วนใกล้หนึ่งถ้าขวา) (ฉันจะกรอกรายละเอียดที่นี่ในไม่ช้า) $\|X_{(1)} \hat\beta_\lambda\|_2^2$ $\lambda$ $\|X_{(2)} \hat\beta_\lambda\|_2^2$ $e(\lambda)$ $\mathcal{L} \left( X_{(1)} \right) = \mathcal{L} \left( X_{(2)} \right)$

— user795305
แหล่งที่มา

คุณพึ่งพาซึ่งเป็นฟังก์ชั่นเชิงเส้นแบบต่อเนื่องของเพื่อสรุปเป็นแบบนูนอย่างเคร่งครัด เรามาดูกันว่าการลดลงนั้นใช้ได้จริงหรือไม่ หนึ่งฟังก์ชันดังกล่าวคือ(โดยที่หมายถึงการปัดเศษให้เป็นจำนวนเต็มที่ใกล้เคียงที่สุด) สมมติว่าและเพื่อให้ 2 ฟังก์ชันข้อผิดพลาดนี้มีจำนวนท้องถิ่นน้อยมากอย่างไม่ จำกัด มันไม่นูน - มันแค่นูนทุกที่ยกเว้นที่จุดแยก! นั่นทำให้ฉันเชื่อว่าคุณกำลังตั้งสมมติฐานเพิ่มเติมโดยไม่ระบุ

\hat{β}

$\hat\beta$

λ

$\lambda$

\hat{e}

$\hat e$

\hat{β} (λ) = | λ - [λ] |

$\hat\beta(\lambda)=|\lambda-[\lambda]|$

[]

$[]$

y_{(2)} = 0

$y_{(2)}=0$

X_{(2)} = 1

$X_{(2)}=1$

\hat{e} (λ) = \hat{β} (λ)^{2}

$\hat {e}(\lambda)=\hat\beta(\lambda)^2$

— whuber

@whuber เป็นจุดที่ดี! ขอบคุณ! ฉันจะแก้ไขโพสต์นี้ต่อไปในไม่ช้า

— user795305