การศึกษาเชิงทฤษฎีของวิธีการโคตรพิกัด

ฉันกำลังเตรียมเนื้อหาหลักสูตรเกี่ยวกับการวิเคราะห์พฤติกรรมเพื่อการเพิ่มประสิทธิภาพและได้รับการดูวิธีการประสานงานการสืบเชื้อสาย การตั้งค่าอยู่ที่นี่คือฟังก์ชันหลายตัวแปรที่คุณต้องการปรับให้เหมาะสม fมีคุณสมบัติที่ จำกัด ไว้ที่ตัวแปรเดี่ยวใด ๆ มันเป็นเรื่องง่ายที่จะเพิ่มประสิทธิภาพ ดังนั้นประสานงานโคตรรายได้โดยการขี่จักรยานผ่านพิกัดแก้ไขทั้งหมดยกเว้นหนึ่งที่เลือกและลดลงตามพิกัดนั้น ในที่สุดการปรับปรุงก็หยุดชะงักและคุณก็ยุติ$f$$f$

คำถามของฉันคือ: มีการศึกษาเชิงทฤษฎีเกี่ยวกับวิธีการสืบเชื้อสายมาจากพิกัดที่พูดถึงอัตราการลู่เข้าและคุณสมบัติของที่ทำให้วิธีนี้ทำงานได้ดีหรือไม่? เห็นได้ชัดว่าฉันไม่ได้คาดหวังคำตอบทั่วไปอย่างสมบูรณ์ แต่คำตอบที่ให้ความกระจ่างกรณีที่การแก้ปัญหาไม่ดีจะเป็นประโยชน์$f$

Aside: เทคนิคการปรับให้เหมาะสมแบบสลับใช้สำหรับ means สามารถถูกมองว่าเป็นตัวอย่างของการประสานงานที่สืบทอดกันมาและอัลกอริทึมของ Frank-Wolfeดูจะเกี่ยวข้องกัน (แต่ไม่ใช่ตัวอย่างโดยตรงของกรอบงาน)$k$

(แก้ไขหมายเหตุ: ฉันจัดระเบียบใหม่นี้หลังจากที่ปล่อยออกมาตามความยาว)

วรรณกรรมเกี่ยวกับการประสานงานอาจเป็นเรื่องยากที่จะติดตาม นี่คือเหตุผลบางอย่างสำหรับเรื่องนี้

1. คุณสมบัติที่รู้จักกันดีของวิธีการประสานงานจำนวนมากถูกจับในทฤษฎีบทร่มสำหรับวิธีการสืบเชื้อสายทั่วไป ตัวอย่างที่สองนี้ได้รับด้านล่างเป็นลู่อย่างรวดเร็วภายใต้นูนที่แข็งแกร่ง (ค้างสำหรับการใด ๆโคตรลาดชัน) และการบรรจบกันทั่วไปของวิธีการเหล่านี้ (มักจะนำมาประกอบกับ Zoutendijk)$l^p$

2. การตั้งชื่อไม่ได้มาตรฐาน แม้แต่คำว่า "เชื้อสายที่ลาดชัน" นั้นไม่ได้เป็นมาตรฐาน คุณอาจประสบความสำเร็จในการค้นหาคำว่า "การประสานงานแบบวนรอบ", "พิกัดโคตร", "Gauss-Seidel", "Gauss-Southwell" การใช้งานไม่สอดคล้องกัน

3. ตัวแปรวงจรได้รับการกล่าวถึงเป็นพิเศษ โดยปกติแล้วจะกล่าวถึงเพียงตัวเลือกเดียวที่ดีที่สุดของการประสานงาน แต่สิ่งนี้เกือบจะให้การรับประกันแบบวนซ้ำเสมอไปแม้ว่าจะมีปัจจัยพิเศษ (จำนวนตัวแปร): นี่เป็นเพราะการวิเคราะห์คอนเวอร์เจนซ์ส่วนใหญ่ดำเนินการโดยการ จำกัด ขอบเขตการปรับปรุงขั้นตอนเดียวให้ต่ำลงและคุณสามารถละเว้นพิกัดพิเศษได้ นอกจากนี้ยังดูเหมือนยากที่จะพูดอะไรทั่วไปเกี่ยวกับสิ่งที่คุณซื้อวงจรดังนั้นคนเพียงแค่ทำหน้าที่ประสานงานที่ดีที่สุดและมักจะตรวจสอบปัจจัย$n$$n$

$\mathcal O(\ln (1/\epsilon))$$l^p$

ข้อ จำกัด หากไม่มีความนูนสูงคุณต้องเริ่มระวังตัวเล็กน้อย คุณไม่ได้พูดอะไรเกี่ยวกับข้อ จำกัด ดังนั้นโดยทั่วไปแล้วคนจำนวนเล็กน้อยอาจไม่สามารถเข้าถึงได้ ฉันจะพูดสั้น ๆ ในหัวข้อของข้อ จำกัด ที่วิธีมาตรฐาน (ด้วยวิธีการสืบเชื้อสาย) คือการฉายลงบนข้อ จำกัด ของคุณตั้งค่าการวนซ้ำแต่ละครั้งเพื่อรักษาความเป็นไปได้หรือใช้อุปสรรคในการม้วนข้อ จำกัด ลงในหน้าที่วัตถุประสงค์ของคุณ ในกรณีของอดีตฉันไม่รู้ว่ามันเล่นอย่างไรกับโคตรประสานงาน ในกรณีหลังมันใช้ได้ดีกับพิกัดโคตรและอุปสรรคเหล่านี้สามารถนูนอย่างมาก

โดยเฉพาะอย่างยิ่งกับวิธีการพิกัดแทนที่จะฉายให้หลายคนเพียงแค่ทำการอัพเดทพิกัดรักษาความเป็นไปได้: ตัวอย่างนี้เป็นกรณีที่เกิดขึ้นกับอัลกอริทึมของ Frank-Wolfe และตัวแปรต่างๆ (เช่นใช้เพื่อแก้ไข SDP)

ฉันจะทราบสั้น ๆ ว่าอัลกอริทึม SMO สำหรับ SVM สามารถดูได้เป็นวิธีการประสานงานแบบโคตรซึ่งคุณกำลังปรับปรุงตัวแปรสองตัวพร้อมกันและรักษาข้อ จำกัด สิทธิ์ในขณะที่คุณทำเช่นนั้น ตัวเลือกของตัวแปรคือฮิวริสติกในวิธีนี้และดังนั้นการรับประกันจึงเป็นเพียงการรับประกันแบบวนรอบ ฉันไม่แน่ใจว่าการเชื่อมต่อนี้ปรากฏในวรรณกรรมมาตรฐานหรือไม่ ฉันเรียนรู้เกี่ยวกับวิธีการ SMO จากบันทึกหลักสูตรของ Andrew Ng และพบว่าพวกเขาสะอาดดี

$n$

$\mathcal O(\ln(1/\epsilon))$

มีผลลัพธ์ล่าสุดบางอย่างเกี่ยวกับการตกลงมาฉันได้เห็นเนื้อหาใน arXiv นอกจากนี้ luo & tseng ยังมีเอกสารใหม่ ๆ แต่นี่คือสิ่งที่สำคัญ

$\sum_{i=1}^m g(\langle a_i, \lambda\rangle)$$g$$(a_i)_1^m$$\lambda$$\exp(1/\epsilon^2)$$\mathcal O(1/\epsilon)$

ปัญหาเกี่ยวกับการอัพเดทที่แน่นอน นอกจากนี้มักเป็นกรณีที่คุณไม่มีการปรับปรุงพิกัดเดียวแบบปิด หรือวิธีการแก้ปัญหาที่แน่นอนอาจไม่มีอยู่จริง แต่โชคดีที่มีวิธีการค้นหาข้อมูลมากมายที่ได้รับการรับรองเช่นเดียวกับโซลูชันที่แน่นอน วัสดุนี้สามารถพบได้ในตำราการเขียนโปรแกรมแบบไม่เชิงเส้นมาตรฐานเช่นในหนังสือ Bertsekas หรือ Nocedal & Wright ที่กล่าวถึงข้างต้น

เยี่ยมชมย่อหน้าที่สองของคุณ: เมื่อทำงานได้ดี ประการแรกการวิเคราะห์ที่กล่าวมาข้างต้นสำหรับการไล่ระดับสีเพื่อการประสานงาน เหตุใดจึงไม่ใช้โคตรพิกัดเสมอ คำตอบก็คือสำหรับปัญหามากมายที่สามารถใช้การไล่ระดับสีได้คุณสามารถใช้วิธีการของนิวตันซึ่งสามารถพิสูจน์การบรรจบที่เหนือกว่าได้ ฉันไม่รู้วิธีที่จะได้รับประโยชน์จากนิวตันพร้อมโคตรประสานงาน นอกจากนี้วิธีการของ Newton ยังสามารถลดค่าใช้จ่ายได้ด้วยการอัปเดต Quasinewton (ดูตัวอย่าง LBFGS)

$l^0$$k$$k$$k$$k$$f$

ฉันแนะนำให้ดูที่นี่เราได้ทำงานในพื้นที่นี้แล้ว:

http://arxiv.org/abs/1107.2848

ไชโย

จางไป

เราเพิ่งวางกระดาษลงบน arXiv ( http://arxiv.org/abs/1201.1214 ) ซึ่งพิสูจน์ขอบเขตที่ต่ำกว่าทั่วไปสำหรับ "อัลกอริธึมเชิงสถิติ" สำหรับปัญหาการเพิ่มประสิทธิภาพโดยที่แต่ละ "ปัญหา" มีขอบเขตล่างของตัวเองขึ้นอยู่กับ คุณสมบัติต่าง ๆ

โคตรประสานงาน (และอื่น ๆ อีกมากมายที่เราคิดได้) สามารถถูกมองว่าเป็นอัลกอริทึมทางสถิติในกรอบการทำงานของเราดังนั้นหวังว่าบทความนี้จะมีผลลัพธ์ที่น่าสนใจสำหรับคุณ

โปรดทราบว่าในการเพิ่มประสิทธิภาพ "อัตราการบรรจบกัน" มักจะหมายถึงพฤติกรรมที่ไม่มีอาการ นั่นคืออัตราจะใช้กับการแก้ปัญหาที่ดีที่สุดเท่านั้น ในแง่นั้น Luo & Tseng ได้พิสูจน์อัตราการลู่เข้าเชิงเส้นสำหรับฟังก์ชั่นวัตถุประสงค์ที่ไม่นูนอย่างมากในกระดาษ

อัตราการบรรจบกันแบบไม่ใช้ซีกเรียกว่า "ความซับซ้อนของการวนซ้ำ" โดยทั่วไปจะมีประโยชน์มากกว่าในการ จำกัด จำนวนการวนซ้ำของอัลกอริทึมการลดขนาด สำหรับฟังก์ชั่นวัตถุประสงค์นูนอย่างรุนแรงความซับซ้อนในการวนซ้ำของวิธีการประสานงานแบบวนซ้ำจะแสดงอยู่ในขอบเขตข้อผิดพลาดของ Luo & Tseng และการวิเคราะห์การลู่เข้าของวิธีการสืบเชื้อสายที่เป็นไปได้: วิธีการทั่วไปหากใช้ข้อผิดพลาดทั่วโลก สำหรับปัญหาที่ไม่ได้เกิดจากการนูนอย่างรุนแรงเรามีผลลัพธ์ใหม่ในการทำซ้ำความซับซ้อนของวิธีการลดความเป็นไปได้สำหรับการเพิ่มประสิทธิภาพของนูนวิธีการทั่วไป โดยเฉพาะเราได้แสดงให้เห็นถึงความซับซ้อนในการวนซ้ำสำหรับวิธีการสืบหาพิกัดแบบวนซ้ำในปัญหาเช่นรูปแบบ SVM สองรูปแบบและวิธี Gauss-Seidel นอกจากนี้ผลลัพธ์ยังครอบคลุมถึงวิธีการสืบเชื้อสายที่เป็นไปได้อื่น ๆ เช่นการไล่ระดับสีแบบลาดชันและแบบเพื่อน