หลักฐานที่เข้าใจง่าย / ไม่เป็นทางการสำหรับ LP Duality?

อะไรจะเป็นหลักฐานที่ไม่เป็นทางการ / ใช้งานง่ายสำหรับ 'กดปุ่มจุดบ้าน' เกี่ยวกับ LP duality? วิธีที่ดีที่สุดที่จะแสดงให้เห็นว่าฟังก์ชั่นวัตถุประสงค์ลดลงเป็นจริงขั้นต่ำด้วยวิธีที่เข้าใจง่ายขอบเขต?

วิธีที่ฉันได้รับการสอนเกี่ยวกับความเป็นคู่นำไปสู่ความเข้าใจเพียงอย่างเดียวซึ่งฉันแน่ใจว่ามีผู้คนมากมายที่ฉันรู้จัก: สำหรับทุกปัญหาการย่อเล็กสุดที่สอดคล้องกันนั้นมีปัญหาการขยายใหญ่สุดที่เทียบเท่า ระยะเวลา "บทสรุป" ของความเป็นคู่นี้เป็นสิ่งที่ดูเหมือนจะติดอยู่ แต่ไม่ใช่ "ทำไมจึงเป็นเช่นนั้น" (เช่นวิธี / ทำไมมีวิธีการแก้ปัญหาที่ดีที่สุด)

มีวิธีการเล่นกับ inequalities เพียงเพื่อ 'แสดง' ขอบเขตล่าง / บนที่เหมาะสมซึ่งอาจเป็นแรงจูงใจสำหรับการพิสูจน์หรือไม่

ฉันได้อ่านหนังสือของ Chvatal แล้วยังมีอีกสองสามคน แต่ไม่พบอะไรที่ noobs สัมบูรณ์ที่ LP สามารถเข้าใจได้ สิ่งที่ใกล้เคียงที่สุดที่ฉันได้รับมาจากหนังสือของ Vazirani เรื่องอัลกอริธึมที่เขาพูดถึง 'ทวีคูณอสมการด้วยตัวเลขเวทย์มนตร์บางอย่างที่แสดงขอบเขต' - ฉันไม่แน่ใจว่าจะสร้างเอฟเฟ็กต์ LP แบบสุ่มได้อย่างไร

linear-programming primal-dual

— ปริญญาเอก
แหล่งที่มา

ในคณิตศาสตร์นี้คำตอบฉันจะทำตัวอย่างทีละขั้นตอนว่าคู่มาจากไหนและทำไม - สำหรับปัญหาที่มีความเป็นไปได้ที่แตกต่างกันส่วนใหญ่ที่อาจเกิดขึ้นกับ LP บางทีนั่นอาจช่วยได้?

— Mike Spivey

ไม่แน่ใจว่าทำไมคุณคิดว่าการโต้แย้งของ Vazirani ใช้ไม่ได้กับ LP ทั่วไป โดยส่วนตัวแล้วฉันชอบคำอธิบายที่ดีที่สุดของทั้งหมด

— Suresh Venkat

คุณกำลังถามเกี่ยวกับความเป็นคู่ที่อ่อนแอหรือความเป็นคู่ที่แข็งแกร่ง?

— Tsuyoshi Ito

คุณสามารถได้รับสัญชาตญาณทางเรขาคณิตโดยการแสดงภาพ (ใน 2d พูด) ความหมายของการรวมกันของข้อ จำกัด เชิงเส้น ตัวอย่างเช่นวาดข้อ จำกัดและในระนาบ ผลรวมเชิงเส้นของข้อ จำกัด เหล่านี้ให้คุณสำหรับการใด ๆ0 วาดสิ่งนี้ออกเพื่อดู โดยทั่วไปแล้วการรวมกันเชิงเส้นของข้อ จำกัด จะช่วยให้คุณมีช่องว่างครึ่งหนึ่งของโพลีดราที่รองรับ ทีนี้ถามว่าทำไมจึงเป็นหนึ่งในพื้นที่ว่างครึ่งหนึ่งที่สนับสนุนเหล่านี้อยู่เสมอโดยตัวของมันเองเพื่อให้ได้ราคาที่ถูกลง? ถ้าคุณเห็นมันเป็นคู่ที่แข็งแกร่ง

x \leq 1

$x \le 1$

y \leq 1

$y \le 1$

a x + b y \leq a + b

$ax + by \le a + b$

a, b \geq 0

$a,b \ge 0$

— Neal Young

@MikeSpivey - ฉันหวังว่าความคิดเห็นของคุณเป็นคำตอบ :)

— ปริญญาเอก

คำตอบ:

ตามความปรารถนาของ OP ต่อไปนี้คือคำตอบทางคณิตศาสตร์คำตอบที่ฉันลิงค์ไปยังในความคิดเห็นของฉันด้านบน

บางทีมันก็คุ้มค่าที่จะคุยกันว่าคู่มาจากไหนในตัวอย่าง จะใช้เวลาสักครู่ แต่หวังว่าทั้งคู่จะดูไม่ลึกลับเมื่อเราทำเสร็จ

สมมติว่ามีปัญหาครั้งแรกดังนี้

P r i m a l = {\begin{matrix} max 5 x_{1} - 6 x_{2} \\ s . t . 2 x_{1} - x_{2} = 1 \\ x_{1} + 3 x_{2} \leq 9 \\ x_{1} \geq 0 \end{matrix}}

$Primal =\begin{Bmatrix} \max \ \ \ \ 5x_1 - 6x_2 \\ \ \ \ s.t. \ \ \ \ 2x_1 -x_2 = 1\\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ x_1 +3x_2 \leq9\\ \ \ \ \ x_1 \geq 0\\ \end{Bmatrix}$

ทีนี้สมมติว่าเราต้องการใช้ข้อ จำกัด ของ primal เพื่อหาขอบเขตบนค่าที่เหมาะสมของ primal หากเราคูณข้อ จำกัด แรกด้วยข้อ จำกัด ที่สองด้วยและเพิ่มเข้าด้วยกันเราจะได้สำหรับด้านซ้ายและสำหรับด้านขวา เนื่องจากข้อ จำกัด แรกคือความเสมอภาคและข้อที่สองคือความไม่เท่าเทียมกันนี่หมายถึง แต่ตั้งแต่มันก็เป็นความจริงที่และ ดังนั้นจึงเป็นขอบเขตบนของค่าที่เหมาะสมที่สุดของปัญหาเบื้องต้น

9

$9$

1

$1$

9 (2 x_{1} - x_{2}) + 1 (x_{1} + 3 x_{2})

$9(2x_1 - x_2) + 1(x_1 +3 x_2)$

9 (1) + 1 (9)

$9(1) + 1(9)$

19 x_{1} - 6 x_{2} \leq 18.

$19x_1 - 6x_2 \leq 18.$

x_{1} \geq 0

$x_1 \geq 0$

5 x_{1} \leq 19 x_{1}

$5x_1 \leq 19x_1$

5 x_{1} - 6 x_{2} \leq 19 x_{1} - 6 x_{2} \leq 18.

$5x_1 - 6x_2 \leq 19x_1 - 6x_2 \leq 18.$

18

$18$

แน่นอนว่าเราสามารถทำได้ดีกว่านั้น แทนที่จะแค่ทายกับเป็นตัวคูณลองปล่อยให้มันเป็นตัวแปร ดังนั้นเรากำลังค้นหาตัวคูณและเพื่อบังคับ $9$ $1$ $y_1$ $y_2$

5 x_{1} - 6 x_{2} \leq y_{1} (2 x_{1} - x_{2}) + y_{2} (x_{1} + 3 x_{2}) \leq y_{1} (1) + y_{2} (9) .

$5x_1 - 6x_2 \leq y_1(2x_1-x_2) + y_2(x_1 + 3x_2) \leq y_1(1) + y_2(9).$

ขณะนี้ในการสั่งซื้อสำหรับคู่ของความไม่เท่าเทียมกันระหว่างการระงับนี้สิ่งที่จะต้องมีความจริงเกี่ยวกับและ ? ลองหาอสมการสองตัวทีละอันกัน $y_1$ $y_2$

ความไม่เท่าเทียมกันครั้งแรก : $5x_1 - 6x_2 \leq y_1(2x_1-x_2) + y_2(x_1 + 3x_2)$

เราต้องติดตามค่าสัมประสิทธิ์ของตัวแปรและแยกกัน อันดับแรกเราต้องรวมค่าสัมประสิทธิ์ทางด้านขวามือเป็นอย่างน้อย5การเดินทางว่าจะดี แต่เนื่องจากสิ่งที่มีขนาดใหญ่กว่าก็จะตอบสนองความไม่เท่าเทียมกันสำหรับx_1ศาสตร์พูดนี้หมายถึงว่าเราต้อง5 $x_1$ $x_2$ $x_1$ $5$ $5$ $x_1 \geq 0$ $5$ $x_1$ $2y_1 + y_2 \geq 5$

บนมืออื่น ๆ เพื่อให้แน่ใจว่าความไม่เท่าเทียมกันสำหรับตัวแปรที่เราต้องรวมค่าสัมประสิทธิ์ทางด้านขวามือจะตรง-6เนื่องจากอาจเป็นบวกเราไม่สามารถไปต่ำกว่าและเนื่องจากอาจเป็นลบเราจึงไม่สามารถสูงกว่า (เนื่องจากค่าลบสำหรับจะพลิกทิศทางของความไม่เท่าเทียมกัน) ดังนั้นสำหรับความไม่เท่าเทียมกันเป็นครั้งแรกในการทำงานสำหรับตัวแปรที่เราได้มีการมี-6 $x_2$ $x_2$ $-6$ $x_2$ $-6$ $x_2$ $-6$ $x_2$ $x_2$ $-y_1 + 3y_2 = -6$

ความไม่เท่าเทียมกันครั้งที่สอง :

y_{1} (2 x_{1} - x_{2}) + y_{2} (x_{1} + 3 x_{2}) \leq y_{1} (1) + y_{2} (9)

$y_1(2x_1-x_2) + y_2(x_1 + 3x_2) \leq y_1(1) + y_2(9)$

ที่นี่เราต้องติดตามตัวแปรและแยกกัน ตัวแปรมาจากข้อ จำกัด ที่แรกซึ่งเป็นข้อ จำกัด ที่เท่าเทียมกัน ไม่สำคัญว่าจะเป็นบวกหรือลบข้อ จำกัด ด้านความเท่าเทียมยังคงมีอยู่ ดังนั้นจึงไม่ได้ลงชื่อเข้าใช้ อย่างไรก็ตามตัวแปรมาจากข้อ จำกัด ที่สองซึ่งน้อยกว่าหรือเท่ากับข้อ จำกัด ถ้าเราต้องคูณข้อ จำกัด ที่สองด้วยจำนวนลบที่จะเปลี่ยนทิศทางและเปลี่ยนเป็นข้อ จำกัด ที่มากกว่าหรือเท่ากับ เพื่อให้สอดคล้องกับเป้าหมายของเราในการกำหนดวัตถุประสงค์เบื้องต้นเราไม่สามารถปล่อยให้สิ่งนั้นเกิดขึ้นได้ ดังนั้น $y_1$ $y_2$ $y_1$ $y_1$ $y_1$ $y_2$ $y_2$ ตัวแปรต้องไม่เป็นค่าลบ ดังนั้นเราจึงต้องมี0 $y_2 \geq 0$

ในที่สุดเราต้องการทำให้ด้านขวาของความไม่เท่าเทียมกันที่สองมีขนาดเล็กที่สุดเท่าที่จะทำได้เพราะเราต้องการขอบเขตบนที่แคบที่สุดเท่าที่จะทำได้เพื่อวัตถุประสงค์เบื้องต้น ดังนั้นเราจึงต้องการลด9y_2 $y_1 + 9y_2$

การนำข้อ จำกัด เหล่านี้ทั้งหมดมาใช้กับและเราพบว่าปัญหาของการใช้ข้อ จำกัด ของ primal เพื่อค้นหาขอบเขตบนที่ดีที่สุดในวัตถุประสงค์เบื้องต้นที่ดีที่สุดจะเป็นการแก้ไขโปรแกรมเชิงเส้นต่อไปนี้: $y_1$ $y_2$

\begin{aligned} Minimize y_{1} + 9 y_{2} \\ subject to 2 y_{1} + y_{2} & \geq 5 \\ - y_{1} + 3 y_{2} & = - 6 \\ y_{2} & \geq 0. \end{aligned}

$\begin{align*} \text{Minimize }\:\:\:\:\: y_1 + 9y_2& \\ \text{subject to }\:\:\:\:\: 2y_1 + y_2& \geq 5 \\ -y_1 + 3y_2& = -6\\ y_2 & \geq 0. \end{align*}$

และนั่นคือคู่

มันอาจคุ้มค่าที่จะสรุปความหมายของการโต้แย้งนี้สำหรับรูปแบบที่เป็นไปได้ทั้งหมดของเจ้าแรกและคู่ ตารางต่อไปนี้นำมาจากหน้า 214 แห่งการวิจัยปฏิบัติการเบื้องต้นรุ่นที่ 8 โดย Hillier และ Lieberman พวกเขาอ้างถึงสิ่งนี้ว่าเป็นวิธี SOB โดยที่ SOB หมายถึง Sensible, Odd หรือ Bizarre ขึ้นอยู่กับว่ามีแนวโน้มว่าจะพบข้อ จำกัด หรือการ จำกัด ตัวแปรเฉพาะในปัญหาการขยายหรือย่อให้เล็กสุด

             Primal Problem                           Dual Problem
             (or Dual Problem)                        (or Primal Problem)

             Maximization                             Minimization

Sensible     <= constraint            paired with     nonnegative variable
Odd          =  constraint            paired with     unconstrained variable
Bizarre      >= constraint            paired with     nonpositive variable

Sensible     nonnegative variable     paired with     >= constraint
Odd          unconstrained variable   paired with     = constraint
Bizarre      nonpositive variable     paired with     <= constraint

— Mike Spivey
แหล่งที่มา

จากคำตอบของไมค์และความคิดเห็นของ Vazirani คุณจะได้รับความเป็นคู่โดยการพิจารณารูปแบบทั่วไปของการพิสูจน์การมองโลกในแง่ดีสำหรับวิธีการแก้ไขปัญหาเดิม สมมติว่าคุณมีปัญหาสูงสุดที่กำหนดบางเส้น inequalities และไม่มีการสูญเสียของทั่วไปเช่นสมมติว่าคุณกำลังพยายามที่จะเพิ่มตัวแปรxเมื่อได้คำตอบที่เราจะรู้ได้อย่างไรว่ามันเหมาะสมที่สุด วิธีหนึ่งคือพยายามหาขอบเขตบนโดยการรวมกันเชิงเส้นของความไม่เท่าเทียมกันเชิงเส้น ชุดค่าผสมเชิงเส้นบางแบบมีขอบเขตของรูปแบบและคุณกำลังพยายามทำให้ดีที่สุด (น้อยที่สุด)เป็นไปได้ ความเป็นคู่ที่อ่อนแอระบุว่า $x$ $x = B$ $x$ $x \leq C$ $C$ $B \leq \min C$ ซึ่งชัดเจนโดยคำจำกัดความ คู่รัฐที่แข็งแกร่งที่เมื่อมี จำกัด แล้วC ซึ่งหมายความว่าหากค่าสูงสุดคือจะมี "เหตุผล" ที่คุณไม่สามารถทำได้เกินซึ่งเป็นหลักฐานการเพิ่มประสิทธิภาพเป็นสองเท่า $B$ $B = \min C$ $B$ $B$

มุมมองนี้มีประโยชน์จริง ๆ บางครั้ง ปล่อยให้เป็นฟังก์ชั่น set (รับเซตแล้วเอาท์พุทเป็นจำนวนจริง) และเป็นสองชุด สมมติว่าคุณกำลังพยายามหาอสมการจากกลุ่มอสมการที่เกี่ยวกับฟังก์ชัน (ซึ่งเป็นตัวอย่างในชีวิตจริง) คุณเขียนโปรแกรมเชิงเส้นในการที่ค่าของมีตัวแปรเป็นข้อ จำกัด และมีวัตถุประสงค์คือเพื่อลด(S) คำตอบสำหรับโปรแกรมนี้คือ (สมมติว่านั้นดีที่สุดเท่าที่จะเป็นไปได้) และการแก้ปัญหาของโปรแกรมคู่จะให้หลักฐาน $f$ $f$ $S,O$ $f(S) \geq (1-1/e) f(O)$ $f$ $f$ $f(O) = 1$ $f(S)$ $\min f(S) = 1-1/e$ $1-1/e$ $f(S) \geq 1-1/e$ E

นี่เป็นคำถามที่ว่าทำไมคู่แท้ที่แข็งแกร่งจึงเปิดทิ้งไว้ มีข้อพิสูจน์ความจริงสองข้อนี้สำหรับการเขียนโปรแกรมเชิงเส้นหนึ่งที่เกี่ยวข้องกับอัลกอริธึมเริม, บทแทรกของ Farkas อื่น ๆ บทสรุปของ Farkas อาจเป็นวิธีที่ "ถูกต้อง" เพื่อทำความเข้าใจสถานการณ์ลดทุกอย่างให้เป็นจริงเชิงเรขาคณิต อย่างไรก็ตามฉันยอมรับว่าสัญชาตญาณนี้ไปเหนือหัวของฉัน

ในสถานการณ์ทั่วไป (สมมติว่าการเขียนโปรแกรม semidefinite) คุณจะต้องใช้เงื่อนไขทั่วไปของKarush-Kuhn-Tucker (รูปแบบของตัวคูณ Lagrange) เพื่อให้ได้คู่และเงื่อนไขสำหรับความเป็นคู่ที่แข็งแกร่ง สิ่งนี้ถูกปฏิบัติในข้อความเกี่ยวกับการปรับให้เหมาะสมแบบไม่เชิงเส้นหรือแบบนูน

— Yuval Filmus
แหล่งที่มา