KKT สั้นแบบกราฟิก

วัตถุประสงค์

ยืนยันว่าการเข้าใจ KKT นั้นถูกต้องหรือไม่ ขอคำอธิบายและการยืนยันเพิ่มเติมเกี่ยวกับ KKT

พื้นหลัง

พยายามทำความเข้าใจกับเงื่อนไข KKT โดยเฉพาะอย่างยิ่งเงื่อนไขเสริมซึ่งจะปรากฏขึ้นสีน้ำเงินในบทความ SVM ฉันไม่ต้องการรายการสูตรนามธรรม แต่ต้องการคำอธิบายที่เป็นรูปธรรมใช้งานง่ายและแบบกราฟิก

คำถาม

หาก P ซึ่งลดฟังก์ชันต้นทุนให้น้อยที่สุด f (X) จะอยู่ภายในข้อ จำกัด (g (P)> = 0) นั่นคือทางออก ดูเหมือนว่า KKT จะไม่เกี่ยวข้องในกรณีนี้

ดูเหมือนว่า KKT จะบอกว่าถ้า P ไม่ได้อยู่ในข้อ จำกัด แล้วโซลูชัน X ควรตอบสนองด้านล่างในภาพ KKT เกี่ยวกับหรือฉันคิดถึงประเด็นสำคัญอื่น ๆ หรือไม่?

คำชี้แจงอื่น ๆ

ควรจะ f (x) ให้นูนเพื่อให้ KKT ใช้หรือไม่
ควรใช้ g (x) เป็นเส้นตรงเพื่อให้ KKT ใช้หรือไม่
ควรλจำเป็นในλ * g (X) = 0 หรือไม่ ทำไม g (X) = 0 หรือ g (Xi) = 0 ไม่เพียงพอ?

อ้างอิง

อัปเดต 1

ขอบคุณสำหรับคำตอบ แต่ยังคงพยายามเข้าใจ มุ่งเน้นไปที่ความจำเป็นเฉพาะที่นี่:

เงื่อนไข (2) ในคำตอบของ Matthew Gunn เกี่ยวกับจุดไม่เหมาะสม (ในวงกลมสีเขียว) และ KKT จะไม่พอใจหรือไม่? และประเด็นนั้นจะถูกระบุด้วยการมอง Hessian เหมือนกับคำตอบของ Mark L. Stone?

ฉันคิดว่าสถานการณ์อื่นเป็นจุดอาน แต่สิ่งที่ใช้?

user23658

svm optimization lagrange-multipliers

— จันทร์
แหล่งที่มา

คำถามนี้อาจทำให้ความสนใจมากขึ้นในเว็บไซต์คณิตศาสตร์; เงื่อนไข KKT ไม่จำเป็นต้องเป็น "เชิงสถิติ" นักสถิติยืมสิ่งเหล่านี้และผลลัพธ์อื่น ๆ จากการวิเคราะห์เชิงตัวเลขเพื่อแก้ปัญหาสถิติที่น่าสนใจ แต่นี่เป็นคำถามทางคณิตศาสตร์มากกว่า

— user23658

(1) หากข้อ จำกัด ไม่ได้ผูกไว้ปัญหาการปรับให้เหมาะสมกับข้อ จำกัด จะมีวิธีแก้ไขปัญหาเดียวกับปัญหาการปรับให้เหมาะสมโดยไม่มีข้อ จำกัด (2)ไม่จำเป็นต้องนูนหรือต้องเป็นเชิงเส้นสำหรับเงื่อนไข KKT ที่จำเป็น (3) คุณจำเป็นต้องมีเงื่อนไขพิเศษ (เช่นปัญหานูนที่มีเงื่อนไข Slater) สำหรับเงื่อนไข KKT ที่ถือเป็นเงื่อนไขที่เพียงพอสำหรับการที่เหมาะสม

f

$f$

g

$g$

— Matthew Gunn

แนวคิดพื้นฐานของเงื่อนไขความหย่อน (คือที่เป็นข้อ จำกัด ) คือถ้าข้อ จำกัด คือหย่อน (เช่น ) ที่ดีที่สุดจากนั้นการลงโทษสำหรับการกระชับข้อ จำกัด คือ 0 และหากมีการลงโทษในเชิงบวกสำหรับการกระชับข้อ จำกัด แล้วข้อ จำกัด จะต้องมีผลผูกพัน (เช่น ) หากการจราจรไหลได้อย่างราบรื่นสะพานโทรสำหรับรถคันอื่นเป็นศูนย์ และถ้าสะพานเก็บค่าผ่านทางดังนั้นสะพานจะต้องมีขีด จำกัด ของความจุ

λ g (x) = 0

$\lambda g(\mathbf{x}) = 0$

g (x) \leq 0

$g(\mathbf{x}) \leq 0$

g (x) < 0

$g(\mathbf{x}) < 0$

x

$\mathbf{x}$

λ

$\lambda$

λ

$\lambda$

g (x) = 0

$g(\mathbf{x}) = 0$

λ

$\lambda$

λ > 0

$\lambda > 0$

— Matthew Gunn

ทฤษฎีบท KKT พื้นฐานบอกว่าหากเงื่อนไขของ KKT ไม่เป็นที่น่าพอใจ ณ จุดดังนั้นจุดนั้นไม่เหมาะสม เงื่อนไขของ KKT นั้นจำเป็นสำหรับการที่เหมาะสม แต่ไม่เพียงพอ (ตัวอย่างเช่นหากฟังก์ชั่นมีจุดยึด, จุดต่ำสุดในท้องถิ่น ฯลฯ ... เงื่อนไข KKT อาจเป็นไปตามเงื่อนไข แต่ไม่เหมาะสมที่สุด!) สำหรับปัญหาบางประเภท (เช่นปัญหานูนที่ตำแหน่งของ Slater), KKT กลายเป็นเงื่อนไขที่เพียงพอเงื่อนไข

x

$\mathbf{x}$

x

$\mathbf{x}$

— Matthew Gunn

คำตอบ:

$\mathbf{x}$ $\boldsymbol{\delta}$ $f$ $\mathbf{x}$ $\mathbf{x}$

ลองนึกภาพคุณมีปัญหาการเพิ่มประสิทธิภาพ:

\begin{array}{llr} minimize (over x) & f (x) \\ subject to & \forall_{j \in {1 \dots k}} g_{j} (x) \leq 0 \end{array}

$\begin{equation} \begin{array}{*2{>{\displaystyle}r}} \mbox{minimize (over $\mathbf{x}$)} & f(\mathbf{x}) \\ \mbox{subject to} & \forall_{j \in \{1\ldots k\}}\; g_j(\mathbf{x}) \leq 0 \end{array} \end{equation}$

โดยที่และมีข้อ จำกัด $\mathbf{x} \in \mathbb{R}^n$ $k$

เงื่อนไข KKT และFarkas Lemma

Letเป็นเวกเตอร์คอลัมน์แสดงถึงการไล่ระดับสีของประเมิน{x} $\nabla f(\mathbf{x})$ $f$ $\mathbf{x}$

นำไปใช้กับสถานการณ์เช่นนี้Farkas แทรกระบุว่าสำหรับจุดใด ๆว่าหนึ่งของงบดังต่อไปนี้ถือ: $\mathbf{x} \in \mathbb{R}^n$

มีนั้นและ $\boldsymbol{\lambda} \in \mathbb{R}^k$ $\sum_{j=1}^k \lambda_j \nabla g_j(\mathbf{x}) = -\nabla f(\mathbf{x})$ $\boldsymbol{\lambda} \geq \mathbf{0}$
มีเช่นนั้นและ $\boldsymbol{\delta} \in \mathbb{R}^n$ $\forall_j \boldsymbol{\delta}' g_j(\mathbf{x}) \leq 0$ $\boldsymbol{\delta}'\nabla f(\mathbf{x}) < 0$

สิ่งนี้หมายความว่า? หมายความว่าสำหรับจุดที่เป็นไปได้อย่างใดอย่างหนึ่ง: $\mathbf{x}$

เงื่อนไข (1) ถือครองและเงื่อนไข KKT เป็นที่พอใจ
สภาพ (2) ถือหุ้นและมีอยู่ในทิศทางที่เป็นไปได้ที่ช่วยเพิ่มฟังก์ชั่นวัตถุประสงค์โดยไม่ต้องเพิ่มข้อ จำกัดg_j(เช่นคุณสามารถปรับปรุงโดยย้ายจากเป็น ) $\boldsymbol{\delta}$ $f$ $g_j$ $f$ $\mathbf{x}$ $\mathbf{x} + \epsilon \boldsymbol{\delta}$

เงื่อนไข (1) ระบุว่ามีตัวคูณที่ไม่ใช่เชิงลบเช่นว่าเงื่อนไข KKT มีความพึงพอใจที่จุด{x} (ทางเรขาคณิตมันบอกว่าอยู่ในกรวยนูนที่กำหนดโดยการไล่ระดับสีของข้อ จำกัด ) $\boldsymbol{\lambda}$ $\mathbf{x}$ $- \nabla f$

เงื่อนไข (2) ระบุว่า ณ จุดมีทิศทางเพื่อย้าย (ภายในเครื่อง) เช่นนั้น: $\mathbf{x}$ $\boldsymbol{\delta}$

การเคลื่อนที่ไปในทิศทางจะลดฟังก์ชั่นวัตถุประสงค์ (เพราะผลคูณของและน้อยกว่าศูนย์) $\boldsymbol{\delta}$ $\nabla f(\mathbf{x})$ $\boldsymbol{\delta}$
การเคลื่อนที่ไปในทิศทางไม่ได้เพิ่มมูลค่าของข้อ จำกัด (เพราะผลคูณของและน้อยกว่าหรือเท่ากับศูนย์สำหรับทั้งหมด ) ข้อ จำกัด $\boldsymbol{\delta}$ $\nabla g_j(\mathbf{x})$ $\boldsymbol{\delta}$ $j$

(ทางเรขาคณิตทิศทางที่เป็นไปได้กำหนดไฮเพอร์เพลนแบบแยกระหว่างเวกเตอร์และกรวยนูนที่กำหนดโดยเวกเตอร์ ) $\boldsymbol{\delta}$ $-\nabla f(\mathbf{x})$ $\nabla g_j(\mathbf{x})$

(หมายเหตุ: หากต้องการแมปลงในFarkas Lemmaให้นิยามเมทริกซ์ ) $A = \begin{bmatrix} \nabla g_1, \nabla g_2, \ldots, \nabla g_k \end{bmatrix}$

อาร์กิวเมนต์นี้ให้ความจำเป็น (แต่ไม่เพียงพอ) ของเงื่อนไข KKT ที่เหมาะสม หากเงื่อนไขของ KKT ไม่เป็นที่พอใจ (และคุณสมบัติของข้อ จำกัด นั้นเป็นที่พอใจ) ก็เป็นไปได้ที่จะปรับปรุงวัตถุประสงค์โดยไม่ละเมิดข้อ จำกัด

บทบาทของคุณสมบัติข้อ จำกัด

มีอะไรผิดพลาด? คุณสามารถรับสถานการณ์ที่เลวลงซึ่งการไล่ระดับสีของข้อ จำกัด ไม่ได้อธิบายทิศทางที่เป็นไปได้อย่างแม่นยำในการเคลื่อนย้าย

มีคุณสมบัติข้อ จำกัด ที่แตกต่างกันมากมายให้เลือกซึ่งจะทำให้อาร์กิวเมนต์ด้านบนทำงานได้

ขั้นต่ำการตีความสูงสุด (ที่ใช้งานง่ายที่สุด)

แบบฟอร์มลากรองจ์

L (x, λ) = f (x) + \sum_{j = 1}^{k} λ_{j} g_{j} (x)

$\mathcal{L}(\mathbf{x}, \boldsymbol{\lambda}) = f(\mathbf{x}) + \sum_{j=1}^k \lambda_jg_j(\mathbf{x})$

แทนที่จะย่อขนาดไปตามข้อ จำกัดลองจินตนาการว่าคุณกำลังพยายามลดในขณะที่ฝ่ายตรงข้ามบางคนพยายามที่จะขยายให้ใหญ่ที่สุด คุณสามารถตีความตัวคูณเป็นบทลงโทษ (เลือกโดยคู่ต่อสู้บางคน) สำหรับการละเมิดข้อ จำกัด $f$ $g_j$ $\mathcal{L}$ $\lambda_i$

วิธีการแก้ไขปัญหาการเพิ่มประสิทธิภาพดั้งเดิมเทียบเท่ากับ:

min_{x} max_{λ} L (x, λ)

$\min_x \max_\lambda \mathcal{L}(\mathbf{x}, \boldsymbol{\lambda})$

นั่นคือ:

คุณเลือกเพื่อย่อ Lagrangianให้น้อยที่สุดรับรู้ว่า ... $\mathbf{x}$ $\mathcal{L}$
จากนั้นฉันจะเลือกเพื่อเพิ่มลากรองจ์ (ให้คุณเลือก ) $\boldsymbol{\lambda}$ $\mathbf{x}$

ตัวอย่างเช่นหากคุณละเมิดข้อ จำกัดฉันสามารถลงโทษคุณได้โดยตั้งค่าเป็นอนันต์! $g_2$ $\lambda_2$

ความอ่อนแอเป็นคู่

สำหรับฟังก์ชันใด ๆสังเกตว่า: $f(x, y)$

\forall_{\hat{x}, \hat{y}} min_{x} f (x, \hat{y}) \leq f (\hat{x}, \hat{y}) \leq max_{y} f (\hat{x}, y)

$\forall_{\hat{x},\hat{y}} \quad \min_x f(x, \hat{y}) \leq f(\hat{x}, \hat{y}) \leq \max_y f(\hat{x}, y)$

ตั้งแต่นั้นมาสำหรับและมันก็ถือได้ว่า: $\hat{x}$ $\hat{y}$

max_{y} min_{x} f (x, y) \leq min_{x} max_{y} f (x, y)

$\max_y \min_x f(x, y) \leq \min_x \max_y f(x, y)$

ในการตั้งค่า Langrian ผลลัพธ์นี้ที่เป็นที่รู้จักกันในชื่อคู่อ่อนแอ $\max_\lambda \min_x \mathcal{L}(\mathbf{x}, \boldsymbol{\lambda}) \leq \min_x \max_\lambda \mathcal{L}(\mathbf{x}, \boldsymbol{\lambda})$

ปัญหาคู่ให้ขอบเขตที่ต่ำกว่าในการแก้ปัญหา $\max_\lambda \min_x \mathcal{L}(\mathbf{x}, \boldsymbol{\lambda})$

ความเป็นคู่ที่แข็งแกร่ง

ภายใต้เงื่อนไขพิเศษบางประการ (เช่นปัญหานูนที่ซึ่งเงื่อนไขสเลเตอร์เก็บไว้) คุณมีความเป็นสองด้านที่แข็งแกร่ง (เช่นคุณสมบัติจุดอาน)

max_{λ} min_{x} L (x, λ) = min_{x} max_{λ} L (x, λ)

$\max_\lambda \min_x \mathcal{L}(\mathbf{x}, \boldsymbol{\lambda}) = \min_x \max_\lambda \mathcal{L}(\mathbf{x}, \boldsymbol{\lambda})$

ผลลัพธ์ที่สวยงามนี้แสดงถึงคุณสามารถกลับลำดับของปัญหาได้

ฉันเลือกบทลงโทษครั้งแรกเพื่อเพิ่มลากรองจ์ $\boldsymbol{\lambda}$
จากนั้นคุณสามารถเลือกเพื่อลดการลากรองจ์{L} $\mathbf{x}$ $\mathcal{L}$

ตั้งอยู่ในขั้นตอนนี้เป็นราคาสำหรับการละเมิดข้อ จำกัด และราคามีการตั้งค่าดังกล่าวที่คุณจะไม่ละเมิดข้อ จำกัด $\lambda$

— Matthew Gunn
แหล่งที่มา

ขอบคุณข้อมูลและลิงค์เพื่อเติมช่องว่างของความเข้าใจ อนุญาตให้ฉันยืนยัน เงื่อนไข (1) หมายความว่า KKT บอกว่าสำหรับจุด X เป็นวิธีการแก้ปัญหานั้นจะต้องตอบสนองλ * g (X) = 0, λ> = 0 และความยาวของการไล่ระดับของ g (X) คือλเท่าของ นั้นของ f (X) มิฉะนั้นเราจะพบว่าการไล่ระดับสีของทิศทางของจุด (X) ชี้ไปที่เล็กกว่า f (X ')?

— จันทร์ที่

เงื่อนไข Slater คือ (เพียง) คุณสมบัติการ จำกัด ซึ่งสามารถนำไปใช้กับปัญหาการปรับให้เหมาะสมของนูนได้เช่นทำให้ KKT จำเป็น นูนทำให้ KKT เพียงพอแล้ว ดังนั้นเงื่อนไข Slater สำหรับปัญหาการหาค่าเหมาะที่สุดของนูนซึ่งฟังก์ชันวัตถุประสงค์และข้อ จำกัด มีความนูนและความแตกต่างอย่างต่อเนื่องทำให้ KKT จำเป็นและเพียงพอสำหรับค่าต่ำสุดทั่วโลก สภาพตำหนิคือว่ามีอย่างน้อยหนึ่งจุดที่เป็นไปได้ (กล่าวคือทำให้พอใจกับข้อ จำกัด ทั้งหมด) ซึ่งอยู่ในการควบคุมภายในที่เข้มงวดของข้อ จำกัด ที่ไม่เชิงเส้น (สิ่งใดก็ตามที่เกิดขึ้นกับข้อ จำกัด เชิงเส้นตราบเท่าที่เป็นไปได้)

— Mark L. Stone

f (x) การนูนเป็นสิ่งจำเป็นสำหรับ KKT ที่จะเพียงพอสำหรับ x ที่จะเป็นค่าต่ำสุดในท้องถิ่น หาก f (x) หรือ -g (x) ไม่นูน x ที่ทำให้ KKT น่าพึงพอใจอาจเป็นค่าต่ำสุดในท้องถิ่น, saddlepoint หรือค่าสูงสุดในท้องถิ่น

g (x) เป็นแบบเชิงเส้นพร้อมกับ f (x) ที่แตกต่างกันอย่างต่อเนื่องนั้นเพียงพอสำหรับเงื่อนไข KKT ที่จำเป็นสำหรับค่าต่ำสุดในท้องถิ่น g (x) เป็นแบบเส้นตรงหมายความว่าคุณสมบัติเชิงเส้นตรงของข้อ จำกัด สำหรับ KKT เป็นสิ่งจำเป็นสำหรับค่าต่ำสุดในท้องถิ่นเป็นที่พึงพอใจ อย่างไรก็ตามมีคุณสมบัติข้อ จำกัด อื่น ๆ ที่ จำกัด น้อยกว่าซึ่งเพียงพอสำหรับเงื่อนไข KKT ที่จำเป็นสำหรับขั้นต่ำในท้องถิ่น ดูส่วนเงื่อนไขปกติ (หรือคุณสมบัติข้อ จำกัด ) ของhttps://en.wikipedia.org/wiki/Karush%E2%80%93Kuhn%E2%80%93Tucker_conditions https://en.wikipedia.org/wiki/Karush%E2%80%93Kuhn%E2%80%93Tucker_conditions

หากค่าต่ำสุดในท้องถิ่นไม่มีข้อ จำกัด "ที่ใช้งานอยู่" (ดังนั้นในกรณีของข้อ จำกัด ที่ไม่เท่ากันข้อ จำกัด นั้นไม่พอใจกับความเสมอภาค) ตัวคูณ Lagrange ที่เกี่ยวข้องกับข้อ จำกัด ดังกล่าวต้องเป็นศูนย์ซึ่งในกรณีนี้ KKT จะลดเงื่อนไข การไล่ระดับสีของวัตถุประสงค์ = 0 ในกรณีเช่นนี้ไม่มี "ค่าใช้จ่าย" เป็นศูนย์สำหรับค่าวัตถุประสงค์ที่เหมาะสมที่สุดของ epsilon ที่ทำให้ข้อ จำกัด แน่น

ข้อมูลเพิ่มเติม :

ฟังก์ชั่นวัตถุประสงค์และข้อ จำกัด จะนูนและนัยที่แตกต่างกันอย่างต่อเนื่อง KKT เพียงพอสำหรับขั้นต่ำทั่วโลก

หากฟังก์ชันและข้อ จำกัด วัตถุประสงค์มีความแตกต่างกันอย่างต่อเนื่องและข้อ จำกัด นั้นเป็นไปตามคุณสมบัติข้อ จำกัด KKT จำเป็นสำหรับขั้นต่ำท้องถิ่น

ถ้าหน้าที่และข้อ จำกัด ของวัตถุประสงค์มีความแตกต่างกันอย่างต่อเนื่องนูนและข้อ จำกัด ตรงตามคุณสมบัติของข้อ จำกัด KKT จำเป็นและเพียงพอสำหรับระดับต่ำสุดของโลก

การสนทนาข้างต้นเกี่ยวข้องกับเงื่อนไข KKT ลำดับที่ 1 เท่านั้น นอกจากนี้ยังมีเงื่อนไข KKT อันดับที่ 2 ซึ่งสามารถระบุได้เป็น: จุดที่สอดคล้องกับเงื่อนไข KKT ลำดับที่ 1 และฟังก์ชันวัตถุประสงค์และข้อ จำกัด มีความแตกต่างอย่างต่อเนื่องเป็นสองเท่าคือ (เพียงพอสำหรับ) ขั้นต่ำของท้องถิ่นหาก Hessian ของ Lagrangian nullspace ของ Jacobian ของข้อ จำกัด ที่ใช้งานอยู่คือ semidefinite บวก (ฉันจะให้คุณดูคำศัพท์ที่ใช้ในประโยคก่อนหน้า) ให้เป็นพื้นฐานสำหรับ nullspace ของ Jacobian ของข้อ จำกัด ที่ใช้งานลำดับที่ 2 เงื่อนไข KKT คือ $Z$ $Z^T H Z$ เป็นกึ่งแน่นอนที่ $H$ คือ Hessian แห่งลากรองจ์ ข้อ จำกัด ที่ใช้งานอยู่ประกอบด้วยข้อ จำกัด ความเท่าเทียมกันทั้งหมดและข้อ จำกัด ความไม่เท่าเทียมทั้งหมดที่พอใจกับความเสมอภาค ณ จุดที่พิจารณา หากไม่มีข้อ จำกัด ที่จุด KKT ลำดับที่ 1 ภายใต้การพิจารณาเมทริกซ์เอกลักษณ์เป็นโมฆะสเปซพื้นฐานและตัวคูณลากรองจ์ทั้งหมดต้องเป็นศูนย์ดังนั้นเงื่อนไขที่จำเป็นลำดับที่ 2 สำหรับขั้นต่ำท้องถิ่นเพื่อลดเงื่อนไขที่คุ้นเคยจากการปรับให้เหมาะสมแบบไม่มีเงื่อนไข ว่า Hessian ของฟังก์ชั่นวัตถุประสงค์นั้นเป็นกึ่งบวกแน่นอน หากข้อ จำกัด ทั้งหมดเป็นแบบเส้นตรง Hessian of the Lagrangian = Hessian ของฟังก์ชันวัตถุประสงค์เพราะอนุพันธ์อันดับ 2 ของฟังก์ชันเชิงเส้น = 0 $Z$

— หินมาร์คแอล
แหล่งที่มา