ตัวอย่างของเล่นสำหรับตัวแก้ Plotkin-Shmoys-Tardos และ Arora-Kale

ฉันต้องการที่จะเข้าใจว่าตัวแก้ปัญหา SDP ของ Arora-Kale นั้นใกล้เคียงกับการผ่อนคลายของ Goemans-Williamson ในเวลาเกือบเป็นเส้นตรงอย่างไร Plotkin-Shmoys-Tardos Solver แก้ปัญหา "การบรรจุ" และ "ครอบคลุม" ในเวลาเชิงเส้นได้อย่างไร เป็นการยกตัวอย่างของกรอบนามธรรม "การเรียนรู้จากผู้เชี่ยวชาญ"

วิทยานิพนธ์ของ Kale มีการนำเสนอที่ยอดเยี่ยม แต่ฉันคิดว่ามันยากมากที่จะกระโดดเข้าไปในกรอบนามธรรมโดยตรงและฉันต้องการเริ่มต้นจากตัวอย่างของปัญหาง่าย ๆ ที่เห็นได้ชัดว่าควรทำอะไรแล้วย้ายไปที่ปัญหาทั่วไปมากขึ้น เพิ่ม "ฟีเจอร์" ให้กับอัลกอริธึมและการวิเคราะห์

ตัวอย่างเช่น:

Plotkin-Shmoys แก้ปัญหาการเขียนโปรแกรมเชิงเส้นของฝาครอบจุดสุดยอดที่ไม่ถ่วงได้อย่างไร จุดสุดยอดถ่วงน้ำหนักครอบคลุม? ตั้งฝาครอบหรือไม่ การจับคู่สองฝ่าย?

ตัวอย่างที่ง่ายที่สุดที่อัลกอริทึม Arora-Kale กำลังทำสิ่งที่น่าสนใจคืออะไร มันคำนวณค่าลักษณะเฉพาะที่ใหญ่ที่สุดของ Laplacian ของกราฟได้อย่างไร

(การคำนวณค่าลักษณะเฉพาะที่ใหญ่ที่สุดของ Laplacian เทียบเท่ากับปัญหาในการแก้การผ่อนคลายแบบย่อของ Goemans-Williamson SDP ของ Max Cut ซึ่งแทนที่จะต้องให้แต่ละเวกเตอร์มีความยาวหนึ่งคุณต้องการผลรวมของกำลังสอง ของบรรทัดฐานที่จะ | V |.)

Luca ตั้งแต่หนึ่งปีผ่านไปคุณอาจค้นคว้าคำตอบของคุณเอง ฉันตอบคำถามของคุณที่นี่เพียงเพื่อบันทึก ฉันทบทวนอัลกอริทึมการผ่อนคลายของลากรองจ์สำหรับปัญหาที่คุณพูดถึงและร่างการเชื่อมต่อกับการเรียนรู้ (โดยเฉพาะอย่างยิ่งตามคำแนะนำจากผู้เชี่ยวชาญ) ฉันไม่ได้แสดงความคิดเห็นที่นี่ในอัลกอริทึม SDP

โปรดทราบว่าอัลกอริทึมเฉพาะที่คุณพูดถึงไม่ทำงานในเวลาเกือบเป็นเชิงเส้น (มีขั้นตอนวิธีการเชิงเส้นเกือบไทม์สำหรับเป็น อย่างชัดเจนบรรจุที่กำหนดหรือครอบคลุมปัญหา. ดู ตี Simplex สำหรับบรรจุ Fractional และครอบคลุมโปรแกรมเชิงเส้น .) ขั้นตอนวิธีการที่คุณมีในใจมักจะมีสายพันธุ์วิ่งในจำนวนเกือบเชิงเส้นของที่ซ้ำแต่ในแต่ละ การวนซ้ำโดยทั่วไปต้องใช้เวลาเชิงเส้นอย่างน้อยเช่นกัน ฉันพูดถึงบางส่วนของอัลกอริทึมเหล่านี้ด้านล่าง

ฟังก์ชั่นที่มีประโยชน์บางอย่าง

ก่อนที่เราจะเริ่มนี่คือฟังก์ชั่นบางอย่างที่เราจะใช้ในภาพร่างหลักฐาน (ถ้าคุณมีความสนใจในขั้นตอนวิธีการ แต่ไม่ได้รายละเอียดหลักฐานคุณสามารถข้ามไปข้างหน้า.) สำหรับเวกเตอร์กำหนดจะเป็น(y_i) ฟังก์ชั่นนี้มีขอบเขตบนสำหรับ : analogously กำหนดจะเป็นเป็นขอบเขตล่างบนy_i$y$$\mbox{Lmax}(y)$$\ln \sum_i \exp(y_i)$$\max_i y_i$

$$\max_i y_i ~\le~ \mbox{Lmax}(y) ~\le~ \max_i y_i + \ln m.$$ $\mbox{Lmin}(y)$$-\mbox{Lmax}(-y)$$\min_i y_i$

เพื่อความสะดวกในสิ่งต่อไปนี้เราใช้เพื่อแสดงการไล่ระดับสีของ Lmin เราใช้เพื่อแสดงการไล่ระดับสีของ Lmax$g(y)$$\nabla \mbox{Lmin}(y)$$G(y)$$\nabla \mbox{Lmax}(y)$

อย่างชัดเจนคือ ในขณะที่คือ'})$g_i(y)$$\exp(-y_i)/\sum_{i'} \exp(-y_{i'})$$G_i(y)$$\exp(y_i)/\sum_{i'} \exp(y_{i'})$

Lmin และ Lmax ราบรื่นในแง่ต่อไปนี้: สำหรับเวกเตอร์ใด ๆและ , และ $d\in[0,\varepsilon]^n$$y\in R^n$

$$\mbox{Lmin}(y+d) ~\ge~ \mbox{Lmin}(y) ~+~ (1-O(\varepsilon))\, d \cdot g(y)$$ $$\mbox{Lmax}(y+d) ~\le~ \mbox{Lmax}(y) ~+~ (1+O(\varepsilon))\, d \cdot G(y).$$

โปรดทราบว่าการไล่ระดับสีทั้งสองมี 1-norm เท่ากับ 1: 1 (ตลอดเราใช้เพื่อแสดงถึง 1-norm)$|G(y)| = |g(y)| = 1$$|z|$

ยังทราบว่าสำหรับเมทริกซ์ลาดของฟังก์ชั่นด้วยความเคารพ เป็น (โดยกฎลูกโซ่) (gเพิ่มเติมอย่างชัดเจนอนุพันธ์บางส่วนของฟังก์ชั่นที่เกี่ยวกับ มีx) ในทำนองเดียวกันอนุพันธ์บางส่วนของ Lmax ด้วยความเคารพมีx)$A$$x\mapsto \mbox{Lmin}(Ax)$$x$$(g(Ax))^T A$$x_j$$\sum_i A_{ij} \exp(-A_i x) / \sum_i \exp(-A_i x)$$(Ax)$$x_j$$\sum_i A_{ij} \exp(A_i x)/\sum_i \exp(A_i x)$

Fractional Set Cover

แก้ไขอินสแตนซ์ Set-Cover Let แสดงองค์ประกอบ / ชุดเมทริกซ์อุบัติการณ์ ดังนั้นถ้าอื่น 0 และเป็นขอบเขตที่เศษส่วนปกครอบคลุมองค์ประกอบอี$A$อีs = 1 อี∈ s E x x อี$A_{es} = 1$$e\in s$$A_e x$$x$$e$

LP คือ\} รับอัลกอริทึมคือ$\min\{ |x| : A x \ge 1; x \ge 0\}$$\varepsilon\in (0,1)$

---

1. เริ่มต้นทั้งหมด0 ให้N $x_s = 0$$N=\log(n)/\varepsilon$

2. ทำซ้ำจนกระทั่ง : $\min_e A_e x \ge N$

   2.1 เลือกเพิ่มอนุพันธ์บางส่วนของ Lmin WRT x_s (อย่างชัดเจนเลือกการเพิ่มประสิทธิภาพ .) $s$$(Ax)$$x_s$ s ∑ e ∈ s exp ( - ∑ s ′ ∋ e x s ′ )
   $s$$\sum_{e\in s} \exp(-\sum_{s'\ni e} x_{s'})$

   2.2 เพิ่มโดย\ $x_s$$\varepsilon$

3. ย้อนกลับx$x/\min_{e} A_e x$

---

อัลกอริทึมส่งกลับค่าประมาณวิธีแก้ปัญหาโดยประมาณในการทำซ้ำโดยที่คือจำนวนองค์ประกอบและเป็นวิธีที่ดีที่สุด ฝาครอบชุดเศษส่วน (เล็กน้อย ) (อัลกอริทึมที่คล้ายกันปรากฏในกระดาษจันทราที่กล่าวถึง Vertex Cover นั้นเป็นกรณีพิเศษ)$(1+O(\varepsilon))$$O(|x^*|\log(n)/\varepsilon^2)$$n$$x^*$$|x^*|\le n$

( หมายเหตุ:โปรดทราบว่าขอบเขตการวนซ้ำไม่ได้ขึ้นอยู่กับจำนวนชุดเพียงจำนวนองค์ประกอบดังนั้นอัลกอริทึมสามารถใช้กับระบบชุดที่กำหนดโดยปริยายตราบใดที่ให้น้ำหนักกับองค์ประกอบ หาชุดน้ำหนักรวมสูงสุด (หรือใกล้เคียงกับค่าสูงสุด) oracle ชนิดนี้เหมือนกับ oracle แยกที่ต้องใช้อัลกอริทึมทรงรีกับปัญหาสองประการสำหรับปัญหาการบรรจุเช่น set packing คุณต้องมี oracle ที่, กำหนดน้ำหนักให้กับองค์ประกอบส่งคืนชุดการลดน้ำหนักรวมให้น้อยที่สุดสำหรับปัญหาเช่นการไหลของสินค้าหลายชุดคุณอาจจำเป็นต้องค้นหาเส้นทางที่จะลดผลรวมของน้ำหนักขอบบางส่วนที่กำหนด)

นี่คือภาพร่างหลักฐานการรับประกันประสิทธิภาพ ในแต่ละซ้ำที่ WRT อนุพันธ์บางส่วนได้รับการแต่งตั้ง อย่างน้อยโดยที่เป็นชุดฝาครอบเศษส่วนที่ดีที่สุด$s$$1/|x^*|$$x^*$

(เพื่อดูว่าทำไมจำได้ว่าการไล่ระดับสีของ Lminเทียบกับคือหากเราต้องเลือกเซตโดยการสุ่มจากการแจกแจง , ค่าคาดหวังของอนุพันธ์บางส่วนที่เกี่ยวกับ จึงเป็นตั้งแต่ , นี่คือ เป็นอย่างน้อยตั้งแต่นี่คืออย่างน้อยดังนั้นจึงต้องมีบางส่วนให้อนุพันธ์บางส่วนเป็นอย่างน้อยเนื่องจากอัลกอริทึมเลือก$(Ax)$$x$$(g(Ax))^T A$$s'$$x^*/|x^*|$$x_{s'}$$(g(Ax))^T \,A x^*/|x^*|$$Ax^* \ge 1$$|g(Ax)|/|x^*|$$|g(Ax)|=1$$1/|x^*|$$s$$1/|x^*|$$x_s$ในการทำซ้ำแต่ละครั้งเพื่อเพิ่ม อนุพันธ์บางส่วนให้ได้มากที่สุดจะได้รับอนุพันธ์บางส่วนอย่างน้อย.) 1 / | x ∗ |$1/|x^*|$

จากนั้นขั้นตอนขนาดถูกเลือกมากพอขนาดเล็กเพียงเพื่อให้ไม่มีการประสานงานของเพิ่มขึ้นมากกว่า\ดังนั้นเนื่องจากความราบรื่นของ Lmin การเพิ่ม ถึงเพิ่มอย่างน้อย .$\varepsilon$x ε x s x s + ε Lmin ( x ) ( 1 - O ( ε ) ) ε / | x ∗ |$A x$$\varepsilon$$x_s$$x_s+\varepsilon$$\mbox{Lmin}(Ax)$$(1-O(\varepsilon))\varepsilon/|x^*|$

ด้วยวิธีนี้อัลกอริทึมจะรักษาที่ไม่แปรเปลี่ยน (โปรดทราบว่า Lminเท่ากับ .)

$$\mbox{Lmin}(Ax) \ge (1-O(\varepsilon)) |x|/|x^*| - \ln n.$$ $(\overline 0)$$\ln n$

ณ การสิ้นสุดในค่าคงที่คำว่าคือคูณกับด้านซ้ายมือดังนั้นการคำนวณหนึ่งจะได้รับ. หลังจากการทำให้เป็นมาตรฐานในบรรทัดสุดท้ายของอัลกอริธึมแล้วนี่หมายถึง.$\ln n$$O(\varepsilon)$$\min_e A_e x \ge (1-O(\varepsilon)) |x|/|x^*|$$|x| \le (1+O(\varepsilon))|x^*|$

FWIW ความไม่เท่าเทียมกันที่เกี่ยวข้องในการพิสูจน์ค่าคงที่เป็นหลักเช่นเดียวกับที่เกี่ยวข้องกับการพิสูจน์ Chernoff ที่ถูกผูกไว้ (ในความเป็นจริงขั้นตอนวิธีนี้สามารถจะได้มาโดยการใช้วิธีการของความน่าจะเป็นเงื่อนไขที่จะเป็นโครงการที่สุ่ม-ปัดเศษที่ซ้ำ ๆ ชุดตัวอย่างจากการกระจาย (ด้วยการเปลี่ยน) เพิ่มขึ้นสำหรับแต่ละตัวอย่างชุดการทำให้กระจัดกระจายของสิ่งนี้ให้อัลกอริธึม: ค่าคงที่ที่แฝงอยู่เพียงว่าตัวประมาณในแง่ร้ายอยู่ต่ำกว่า 1 การลงโทษเชิงทวีคูณในตัวประมาณในแง่ร้ายนั้นมาจากการใช้เชอร์อฟในการวิเคราะห์แผนการปัดเศษ ในกระดาษจันทราที่กล่าวถึง )$x^*/|x^*|$$x_s$$s$

ฝาครอบชุดเศษส่วนถ่วงน้ำหนัก (และการครอบเศษส่วนทั่วไป)

เพื่อจัดการปัญหาต่าง ๆ เช่น Weighted Set Cover ได้อย่างมีประสิทธิภาพเราปรับเปลี่ยนอัลกอริทึมเพื่อใช้การเพิ่มขึ้นที่ไม่สม่ำเสมอ (แนวคิดเนื่องจากGarg และ Konemann )

แผ่นเสียงเป็นที่ช่วงกว่าองค์ประกอบช่วงกว่าชุดและตัวแปรทั้งหมดจะไม่ เชิงลบ เพื่อนำเสนออัลกอริทึมขั้นแรกให้เขียนปัญหาใหม่เป็นปัญหาที่ครอบคลุมทั่วไป ให้สำหรับและอย่างอื่น จากนั้น (ด้วยการเปลี่ยนแปลงของตัวแปรปรับขนาดโดย ) LP คือซึ่งเราสามารถดูเป็นแผ่นปิดทั่วไปได้ นี่คืออัลกอริทึม:$\min\{ c\cdot x : (\forall e) \sum_{s\ni e} x_s \ge 1\}$$e$$s$อีs = 1 / C sอี∈ s อีs = 0 x s คsนาที{ | x | : A x ≥ 1 ; x ≥ 0 }$A_{es} = 1/c_s$$e\in s$$A_{es} = 0$$x_s$$c_s$$\min\{ |x| : A x \ge 1; x \ge 0\}$

---

1. เริ่มต้นทั้งหมด0 ให้N$x_s = 0$$N=\log(n)/\varepsilon$

2. ทำซ้ำจนกว่าข้อ จำกัด ที่ครอบคลุมทั้งหมดจะถูกลบ:

   2.1 เลือกเพิ่มอนุพันธ์บางส่วนของ Lmin WRT x_s (อย่างชัดเจนเลือกการเพิ่มประสิทธิภาพ .)$s$$(Ax)$$x_s$ s ∑ e ∈ s exp ( - ∑ s ′ ∋ e x s ′ ) / c s
   $s$$\sum_{e\in s} \exp({-\sum_{s'\ni e} x_{s'}})/c_s$

   2.2 เพิ่มโดยที่ได้รับการแต่งตั้งดังกล่าวว่าที่สุดสำหรับทุกเหลือครอบคลุม จำกัดเพิ่มขึ้นในมีที่มากที่สุด\$x_s$$\delta$$\delta$$e$อี ⋅ x ε$A_e \cdot x$$\varepsilon$

   2.3 ลบทั้งหมด จำกัด ครอบคลุมดังกล่าวว่าN$e$$A_e\cdot x \ge N$

3. กลับx$x/\min_e A_e\cdot x$

---

อัลกอริทึมส่งกลับค่า - การแก้ปัญหาที่เหมาะสมในการทำซ้ำโดยที่คือจำนวนข้อ จำกัด ที่ครอบคลุม (การวนซ้ำแต่ละครั้งจะเพิ่มที่เหลือโดย ; สิ่งนี้สามารถเกิดขึ้นได้เพียงกับข้อ จำกัด ก่อนที่จะถูกลบ) การพิสูจน์ความถูกต้องนั้นผ่านค่าคงที่เดียวกับ Set Cover$(1+O(\varepsilon))$$O(n\log(n)/\varepsilon^2)$$n$$A_e x$$\varepsilon$$N/\varepsilon$

ฝาครอบน้ำหนัก Vertex เป็นกรณีพิเศษ

การจับคู่ Bipartite เศษส่วนสูงสุด

รับกราฟ LP ธรรมชาติสำหรับปัญหาคือ\}$G=(U,W,E)$$\max\{|x| : \forall v.\, \sum_{e\ni v} x_e \le 1\}$

ในการเป็นตัวแทนเมทริกซ์นี่คือการบรรจุ LP มีค่าสัมประสิทธิ์ 0-1 (ถ้า ) ปัญหาดังกล่าวไม่ต้องการการเพิ่มขึ้นที่ไม่สม่ำเสมอดังนั้นอัลกอริทึมแบบง่ายคล้ายกับอัลกอริธึม Set Cover ที่ไม่ถ่วงน้ำหนัก$\max\{|x| : Ax \le 1; x \ge 0\}$$A_{ve} = 1$$v\in e$

---

1. เริ่มต้นทั้งหมด0 ให้N$x_e = 0$$N=\log(n)/\varepsilon$

2. ในขณะที่ :$A x < N$

   2.1 เลือกลดอนุพันธ์บางส่วนของ Lmax WRT x_e (อย่างชัดเจนเลือกเพื่อย่อ )$e$$(Ax)$$x_e$ e ∑ v ∈ e exp ( ∑ e ′ ∋ v x e ′ )
   $e$$\sum_{v\in e} \exp(\sum_{e'\ni v} x_{e'})$

   2.2 เพิ่มโดย\ $x_e$$\varepsilon$

3. ย้อนกลับx$x/\max_{v} A_v x$

---

อัลกอริทึมส่งกลับค่า - การแก้ปัญหาที่เหมาะสมในการทำซ้ำ (นี่เป็นเพราะการทำซ้ำแต่ละครั้งเพิ่มโดยและในที่สุดก่อนการทำให้เป็นมาตรฐาน, )$(1-O(\varepsilon))$$O(n\log(n)/\varepsilon^2)$$|x|$$\varepsilon$$|x| = O(N n)$

เพื่อความสนุกนี่คืออัลกอริธึมทางเลือกที่น่าสนใจสำหรับการจับคู่ Bipartite ที่สมบูรณ์แบบ จำได้ว่าE) ให้.$G=(U,W,E)$$n=|U|=|W|$

---

1. เริ่มต้นทั้งหมด0 ให้N $x_e = 0$$N=4\ln(n)/\varepsilon$

2. ทำซ้ำครั้ง:$n\,N$

   2.1 เลือกสม่ำเสมอโดยการสุ่มจากU 2.2 เลือกดังกล่าวว่าลดx_e 2.3 เพิ่มโดย\ $u$$U$W ( U , W ) ∈ E Σ อี∋ W x จx U W ε
   $w$$(u,w)\in E$$\sum_{e\ni w} x_e$
   $x_{uw}$$\varepsilon$

3. ย้อนกลับ N$x/N$

---

ถ้ามีการจับคู่ที่สมบูรณ์แบบอัลกอริทึมจะคืนค่าซึ่งและมีความน่าจะเป็นสูงสำหรับทุกจุดยอด ,และสำหรับทุกจุด ,varepsilon) หากคุณสนใจในรายละเอียดของหลักฐานโปรดถาม ...$G$$x$$|x|=n$$u\in U$$1-O(\varepsilon) \le \sum_{e\ni u} x_e \le 1+O(\varepsilon)$$w\in W$$\sum_{e\ni w} x_e \le 1+O(\varepsilon)$

บรรจุผสมและครอบคลุม

คุณอาจถามเกี่ยวกับการจับคู่สองฝ่ายโดยหวังว่าจะเป็นตัวอย่างของการบรรจุแบบผสมและครอบคลุมปัญหานั่นคือหนึ่งในรูปแบบ นี่คืออัลกอริทึมหนึ่งสำหรับปัญหาดังกล่าว ครั้งแรกปกติเพื่อให้และ1

$$\exists x?~ Px \le p; Cx \ge c; x \ge 0.$$ $p=\overline 1$$c=\overline 1$

ให้เป็นจำนวนข้อ จำกัด (แถวในบวกแถวใน )$m$$P$$C$

---

1. เริ่มต้นทั้งหมด0 ให้N$x_j = 0$$N=2\ln(m)/\varepsilon$

2. ในขณะที่ :$P x < N$

   2.1 เลือกเพื่อให้อนุพันธ์บางส่วนของ Lmaxเกี่ยวกับนั้นเป็นอนุพันธ์ของบางส่วนของ Lminเกี่ยวกับมากที่สุด (อย่างชัดเจนให้เลือกเช่น$j$$(Px)$$x_j$$(Cx)$$x_j$$j$

   $$\frac{\sum_i P_{ij} \exp(P_i x)}{\sum_{i}\exp(P_i x)} \le \frac{\sum_i C_{ij} \exp(-C_i x)}{\sum_{i}\exp(-C_i x)}.)$$

   2.2 เพิ่มโดยที่ได้รับการแต่งตั้งที่สุดเช่นว่าไม่มีข้อ จำกัดหรือข้อ จำกัด ที่เหลือเพิ่มขึ้นมากกว่า\$x_j$$\delta$$\delta$$P_i x$$C_i x$$\varepsilon$

   2.3 ลบข้อ จำกัด ครอบคลุมทุกเช่นว่าN$i$$C_i x \ge N$

3. กลับx$x/\max_i P_i x$

---

สมมติว่าปัญหาได้รับเป็นไปได้อัลกอริทึมกลับดังกล่าวว่า และvarepsilon) จำนวนการวนซ้ำคือเนื่องจากการวนซ้ำแต่ละครั้งจะเพิ่มข้อ จำกัด บางอย่างโดยและสิ่งนี้สามารถเกิดขึ้นได้สำหรับข้อ จำกัด แต่ละครั้งที่ครั้งมากที่สุด$x$$Px\le 1$$Cx\ge 1-O(\varepsilon)$$O(m\ln(m)/\varepsilon^2)$$\varepsilon$$N$

การพิสูจน์ความถูกต้องคือผ่านค่าคงที่ ค่าคงที่หมายถึง ทางด้านซ้ายมือจะมีเพื่อพิสูจน์การรับประกันประสิทธิภาพ

$$\mbox{Lmax}(Px) \le 2\ln(m) + (1+O(\varepsilon)) \mbox{Lmin}(Cx).$$ $$\max Px \le 2\ln(m) + (1+O(\varepsilon)) \min Cx.$$ $\Omega(\log(m)/\varepsilon)$

ในขั้นตอนที่ 2.1 ต้องมีที่ต้องการตราบใดที่ปัญหาดั้งเดิมเป็นไปได้ (นี่เป็นเพราะสำหรับเป็นไปได้และใด ๆหากเราเลือกสุ่มจากการแจกแจงค่าคาดหวังของอนุพันธ์บางส่วนของ Lmaxด้วยความเคารพ จะมากที่สุด (ดูภาพร่างหลักฐานก่อนหน้าสำหรับ Set Cover) ในทำนองเดียวกันค่าคาดหวังของอนุพันธ์บางส่วนของ Lminเทียบกับ จะต้องมีอย่างน้อยดังนั้นจึงมี$j$ $x^*$$x$$j'$$x^*/|x^*|$$(Px)$$x_{j'}$$1/|x^*|$$(Cx)$$x_{j'}$$1/|x^*|$$j$เช่นนั้นอนุพันธ์บางส่วนของ Lmaxเกี่ยวกับ เป็นอนุพันธ์ของ Lminใหญ่$(Px)$$x_{j'}$$(Cx)$

จากนั้นคงที่จะยังคงอยู่ในแต่ละซ้ำเพราะโดยทางเลือกของและและเรียบเนียนของ Lmin และ Lmax เพิ่มเพื่อ เพิ่ม Lmax โดยที่มากที่สุด ครั้ง เพิ่มขึ้นใน Lmin (Cx)$x_j$$\delta$$x_j$$x_j+\delta$$(Px)$$1+O(\varepsilon)$$(Cx)$

การเรียนรู้ (ติดตามผู้เชี่ยวชาญ / การส่งเสริม)

อ้างอิงหนึ่งสำหรับการทำความเข้าใจการเชื่อมต่อนี้เป็น เกมการเล่นการปรับเปลี่ยนการใช้น้ำหนักคูณโดย Freund และ Schapire นี่คือการสรุปอย่างย่อเพื่อให้แนวคิดทางเทคนิค

พิจารณาเกมที่ซ้ำกันดังต่อไปนี้ ในแต่ละรอบ : $t$

1. คุณเลือกการแจกแจงความน่าจะเป็นบน ( ผู้เชี่ยวชาญที่เรียกว่า ) $p^t$$[n]$$n$
2. รู้ศัตรูแล้วเลือกผลตอบแทนเวกเตอร์{n} $p^t$$a^t\in [0,1]^{n}$
3. คุณได้รับผลตอบแทนสำหรับรอบ $p^t\cdot a^t$

เกมหยุดหลังจากผ่านไปหลายรอบ เป้าหมายของคุณคือการลดความเสียใจของคุณในการเปรียบเทียบกับผู้เชี่ยวชาญเดียวใด ๆ (เช่นกลยุทธ์บริสุทธิ์) ฉันนั่นคือเป้าหมายของคุณคือการลด T$i$$(\max_i \sum_t a^t_i) - \sum_t p^t\cdot a^t$

แก้ไขใด ๆ 0 ให้เวกเตอร์แสดงว่า , ที่อยู่, ครั้งรวมเวกเตอร์ของเวกเตอร์ผลตอบแทนถึงเวลาทีจำได้ว่าคือการไล่ระดับสีของ Lmax (y)$\varepsilon>0$$y^t$$\varepsilon \sum_{s \le t} a^s$$\varepsilon$$t$$G(y)$$(y)$

นี่คือกลยุทธ์พื้นฐานเราจะวิเคราะห์: ในรอบเลือกจะเป็น{t-1})$t$$p^t$$G(y^{t-1})$

โดยการตรวจสอบนี้จะช่วยให้คุณ payoffในรอบที$a^t \cdot G(y^{t-1})$$t$

เนื่องจากคุณสมบัติความนุ่มนวลของ , นั่นคือในแต่ละรอบไม่สามารถเพิ่มได้มากกว่าคูณผลตอบแทนของคุณ เนื่องจากสิ่งนี้จะรักษาค่าคงที่ที่ เป็นค่าตอบแทนรวมของคุณมากที่สุด , บวกบนมืออื่น ๆ , ความเสียใจของคุณในการเปรียบเทียบกับผู้เชี่ยวชาญที่ดีที่สุด. เป็นคือ$F$

$$\mbox{Lmax}(y^t) \le \mbox{Lmax}(y^{t-1}) + (1+O(\varepsilon)) \varepsilon a^t \cdot G(y^{t-1}).$$ $\mbox{Lmax}(y^t)$$\varepsilon(1+O(\varepsilon))$$\mbox{Lmax}(\overline 0) = \ln n$$\mbox{Lmax}(y^t)$$\varepsilon(1+O(\varepsilon)$$\ln(n)$$i$$\max_i \sum_t a^t_i$$\varepsilon^{-1} \max_i y^t_i$ซึ่งเป็นในทางกลับกันที่มากที่สุดT)$\varepsilon^{-1} \mbox{Lmax}(y^t)$

ดังนั้นความเสียใจของคุณคือมากที่สุด , บวกกับผลตอบแทนรวมของคุณ$\varepsilon^{-1} \ln(n)$$O(\varepsilon)$

หมายเหตุ:ฉันคิดว่าในขณะที่ Freund และ Schapire ชี้ให้เห็นว่าอัลกอริทึม "การส่งเสริม" (ในทฤษฎีการเรียนรู้) ก็มีส่วนในการวิเคราะห์นี้เช่นกัน ดูกระดาษสำหรับรายละเอียดเพิ่มเติม

ลดผลตอบแทนรวมให้น้อยที่สุด

คุณสามารถได้รับกลยุทธ์ที่คล้ายกันสำหรับการตั้งค่าที่เป้าหมายคือการย่อให้เล็กสุดแทนที่จะได้รับผลรวมสูงสุด ความเสียใจของคุณซึ่งคุณยังคงต้องการที่จะลดความเป็นa ในกรณีที่ว่ากลยุทธ์ที่สอดคล้องกันคือการเลือกที่จะไล่ระดับสีของT) ด้วยกลยุทธ์นี้คุณต้องเสียใจอย่างมาก บวกกับผลตอบแทนรวมของคุณ$\sum_t p^t\cdot a^t - \min_i a^t_i$$p^t$$\mbox{Lmin}(y^t)$$\varepsilon^{-1} \ln n$$O(\varepsilon)$

การเชื่อมต่อกับอัลกอริทึมการผ่อนคลายลากรองจ์

หากต้องการดูการเชื่อมต่อกับอัลกอริทึมการผ่อนคลายลากรองจ์ให้แก้ไขอินสแตนซ์ของชุดคลุม พิจารณาเกมประเภทหลัง (โดยมีเป้าหมายเพื่อลดการจ่ายผลตอบแทนให้น้อยที่สุด) ซึ่งผู้เชี่ยวชาญนั้นสอดคล้องกับองค์ประกอบของระบบที่คุณตั้งไว้ ในแต่ละรอบให้เลือกการแจกแจงความน่าจะเป็น เพื่อไล่ระดับสีของ Lminดังที่กล่าวมาแล้วและให้ฝ่ายตรงข้ามเลือกเวกเตอร์ผลตอบแทนเป็นฟังก์ชันของดังนี้: เลือกชุดการเพิ่มประสิทธิภาพแล้วให้ถ้าและมิฉะนั้น$e$$p^t$$(y^t)$$a^t$$p^t$$s^t$$\sum_{e\in s} p^t_e$$a^t_e = 1$$e\in s^t$$a^t_e = 0$

ด้วยเงื่อนไขการหยุดที่ถูกต้อง (อธิบายไว้ด้านล่าง) กระบวนการนี้จะให้อัลกอริทึม Set-Cover ตรงตามที่กล่าวไว้ในตอนเริ่มต้น

รับประกันประสิทธิภาพของอัลกอริทึมดังต่อไปนี้จากความเสียใจที่ถูกผูกไว้ดังต่อไปนี้ ให้เป็นจำนวนครั้งที่คู่ต่อสู้เลือกเซ็ตระหว่างการเล่น ให้เป็นฝาครอบชุดเศษส่วนที่ดีที่สุด ให้เป็นจำนวนรอบที่เล่น ความเสียใจที่ถูกหมายถึง $X_s$$s$$x^*$$T=|X_s|$

$$\textstyle \sum_t a^t\cdot p^t \le \varepsilon^{-1}\ln(m) + \min_e \sum_t a_e^t.$$

การใช้ความหมายของที่ TH ผลตอบแทน (คนระยะ TH ในผลรวมด้านซ้าย) เท่ากับP ฝ่ายตรงข้ามเลือกเพื่อลดการจ่ายเงินนี้ให้น้อยที่สุด หากฝ่ายตรงข้ามได้เลือกสุ่มจากการแจกแจงความคาดหวังของผลตอบแทนจะเป็น (ข้างต้นเราใช้สำหรับทั้งหมดและ ) เนื่องจากการจ่ายเงินแต่ละครั้งเป็นอย่างน้อย$a^t$$t$$t$$\sum_{e\in s^t} p^t_e$$s^t$$s^t$$x^*/|x^*|$

$$\sum_s \frac{x^*_s}{|x^*|} \sum_{e\in s} p^t_e ~=~ \frac{1}{|x^*|} \sum_e p^t_e \sum_{s\ni e} x^*_s ~\ge~ \frac{1}{|x^*|} \sum_e p^t_e ~=~ \frac{1}{|x^*|}.$$ $\sum_{s\ni e} x^*_s \ge 1$$e$$|p^t| = 1$$1/|x^*|$ความเสียใจที่แสดงนัย โดยนิยามของเรามี (แต่ละรอบเลือกหนึ่งชุด) และให้ เราทำให้กระบวนการหยุดทำงานเมื่อดังนั้น (จัดเรียงคำศัพท์ใหม่) นั่นคือ normalizingให้ขนาดชุดเศษส่วนที่ครอบคลุมมากที่สุดเวลาที่เหมาะสม $$\frac{T}{|x^*|} \le \varepsilon^{-1}\ln(m) + \min_e \sum_t a_e^t.$$ $X$$|X| = T$$\sum_t a_e^t = \sum_e [e\in s^t] = \sum_{s\ni e} X_s$ $$\frac{|X|}{|x^*|} \le \varepsilon^{-1}\ln(m) +\min_e \sum_{s\ni e} X_s.$$ $\min_e \sum_{s\ni e} X_s = \Omega(\varepsilon^{-2}\ln m)$ $$\frac{|X|}{\min_e \sum_{s\ni e} X_s}~ \le~ (1+O(\varepsilon)|x^*|.$$ $X$$(1+O(\varepsilon))$

ข้อสังเกต:ในแง่หนึ่งการตีความทฤษฎีการเรียนรู้นี้ทำให้การตีความแบบอัลกอริทึมเป็นเรื่องทั่วไป อย่างไรก็ตามเทคนิคอัลกอริทึมบางอย่างที่จำเป็นสำหรับประสิทธิภาพ (เช่นการเพิ่มขึ้นที่ไม่สม่ำเสมอและการลดความพึงพอใจที่ครอบคลุมข้อ จำกัด ) ดูเหมือนจะไม่นำไปสู่ทฤษฎีการเรียนรู้ตามธรรมชาติ อัลกอริธึมสำหรับ การบรรจุแบบผสมและครอบคลุม LP (เช่นนี้ ) ดูเหมือนจะไม่มีสัญญาณอะนาล็อกตามธรรมชาติในการตั้งค่าการเรียนรู้ทฤษฎี