ทำไมต้องกังวลกับปัญหาสองอย่างเมื่อทำการปรับแต่ง SVM?

เมื่อกำหนดจุดข้อมูลและป้ายกำกับy 1 , … , y n ∈ { - 1 , 1 } , ปัญหาระยะขอบ SVM ที่ยากคือ$x_1, \ldots, x_n \in \mathbb{R}^d$$y_1, \ldots, y_n \in \left \{-1, 1 \right\}$

$$\text{minimize}_{w, w_0} \quad \frac{1}{2} w^T w$$ $$\text{s.t.} \quad \forall i: y_i (w^T x_i + w_0) \ge 1$$

ซึ่งเป็นโปรแกรมกำลังสองที่มีตัวแปรที่จะปรับให้เหมาะสมสำหรับและข้อ จำกัด ของฉัน ทั้งคู่$d+1$$i$

$$\text{maximize}_{\alpha} \quad \sum_{i=1}^{n}{\alpha_i} - \frac{1}{2}\sum_{i=1}^{n}{\sum_{j=1}^{n}{y_i y_j \alpha_i \alpha_j x_i^T x_j}}$$ เป็นโปรแกรมกำลังสองกับ n + 1ตัวแปรที่จะเพิ่มประสิทธิภาพและ nความไม่เท่าเทียมกันและ nความเสมอภาค จำกัด $$\text{s.t.} \quad \forall i: \alpha_i \ge 0 \land \sum_{i=1}^{n}{y_i \alpha_i} = 0$$ $n + 1$$n$$n$

เมื่อนำ SVM มาร์จิ้นแข็งมาใช้ทำไมฉันจะแก้ปัญหาสองปัญหาแทนที่จะเป็นปัญหาแรก ปัญหาแรกดูเป็น 'สัญชาตญาณ' สำหรับฉันมากขึ้นและฉันไม่จำเป็นต้องกังวลเกี่ยวกับตัวฉันเองกับช่องว่างแบบคู่สภาพ Kuhn-Tucker ฯลฯ

มันจะทำให้รู้สึกถึงฉันจะแก้ปัญหาที่เกิดขึ้นคู่ถ้าแต่ฉันสงสัยว่ามีเหตุผลที่ดีกว่า เป็นกรณีนี้หรือไม่?$d \gg n$

จากบันทึกการบรรยายที่อ้างอิงในคำตอบของ @ user765195 (ขอบคุณ!) เหตุผลที่ชัดเจนที่สุดดูเหมือนจะเป็น:

$w$$\alpha_i$$x$$w^Tx$$d$

$\alpha_i$$\alpha_i = 0$$x$

$$w^Tx + w_0 = \left(\sum_{i=1}^{n}{\alpha_i y_i x_i} \right)^T x + w_0 = \sum_{i=1}^{n}{\alpha_i y_i \langle x_i, x \rangle} + w_0$$

คำนี้คำนวณอย่างมีประสิทธิภาพหากมีเวกเตอร์สนับสนุนเพียงไม่กี่ตัว นอกจากนี้ตั้งแต่ตอนนี้เรามีผลิตภัณฑ์เกลาเฉพาะที่เกี่ยวข้องกับข้อมูลเวกเตอร์เราอาจใช้เคล็ดลับเคอร์เนล

อ่านย่อหน้าที่สองในหน้า 13 และการอภิปรายดำเนินการในหมายเหตุเหล่านี้:

http://cs229.stanford.edu/notes/cs229-notes3.pdf

นี่คือเหตุผลหนึ่งว่าทำไมการกำหนดสูตรคู่จึงมีความน่าสนใจจากมุมมองการเพิ่มประสิทธิภาพเชิงตัวเลข คุณสามารถค้นหารายละเอียดในเอกสารต่อไปนี้:

Hsieh, C.-J. , Chang, K.-W. , Lin, C.-J. , Keerthi, SS, และ Sundararajan, S. ,“ วิธีการประสานงานแบบโคตรคู่สำหรับขนาด SVM เชิงเส้นขนาดใหญ่”, การดำเนินการของ การประชุมนานาชาติเรื่องการเรียนรู้ของเครื่องจักรที่เฮลซิงกิครั้งที่ 25

สูตรคู่เกี่ยวข้องกับข้อ จำกัด ความเท่าเทียมกันเลียนแบบเดียวและข้อ จำกัด ที่ถูกผูกไว้ n

1. ข้อ จำกัด ความเท่าเทียมกันของเลียนแบบสามารถ "กำจัด" ออกจากสูตรคู่ได้

สิ่งนี้สามารถทำได้โดยเพียงแค่ดูข้อมูลของคุณใน R ^ (d + 1) ผ่านการฝัง R ^ d ใน R ^ (d + 1) resuling จากการเพิ่มพิกัด "1" เดียวไปยังแต่ละจุดข้อมูลเช่น R ^ d ----> R ^ (d + 1): (a1, ... , ad) | ---> (a1, ... , โฆษณา, 1)

การทำเช่นนี้กับทุกจุดในชุดการฝึกอบรมจะทำให้เกิดปัญหาการแยกเชิงเส้นใน R ^ (d + 1) และกำจัดคำคงที่ w0 จากตัวจําแนกของคุณซึ่งจะช่วยลดข้อจํากัดความเหมือนกันจากคู่

2. ตามจุดที่ 1 คู่สามารถถูกทำให้กลายเป็นปัญหาการหาค่าเหมาะที่สุดแบบสมการกำลังสองนูนได้อย่างง่ายดาย

3. ขณะนี้สามารถแก้ไขปัญหาสองอย่างได้อย่างมีประสิทธิภาพเช่นผ่านอัลกอริธึมแบบโคตรสองพิกัดที่ให้ผลการแก้ปัญหา epsilon ที่ดีที่สุดใน O (log (1 / epsilon))

สิ่งนี้ทำได้โดยการสังเกตว่าการซ่อมอัลฟ่าทั้งหมดยกเว้นตัวเดียวให้ผลเฉลยแบบปิด จากนั้นคุณสามารถหมุนเวียนไปตามตัวอักษรทั้งหมดทีละตัว (เช่นเลือกแบบสุ่มแก้ไขตัวอักษรอื่น ๆ ทั้งหมดคำนวณแบบฟอร์มปิด) หนึ่งสามารถแสดงให้เห็นว่าคุณจะได้รับทางออกที่ดีที่สุด "ค่อนข้างเร็ว" (ดูทฤษฎีบทที่ 1 ในกระดาษข้างต้น)

มีเหตุผลอื่น ๆ อีกมากมายที่ทำให้ปัญหาสองประการนั้นน่าสนใจจากมุมมองของการปรับให้เหมาะสมซึ่งบางข้อก็ใช้ประโยชน์จากข้อเท็จจริงที่ว่ามันมีข้อ จำกัด เลียนแบบความเท่าเทียมเพียงข้อเดียวเท่านั้น ของปัญหาสอง "บ่อยที่สุดส่วนใหญ่" เป็นศูนย์ (ไม่ใช่ศูนย์ที่สอดคล้องกับเวกเตอร์สนับสนุน)

คุณสามารถรับภาพรวมที่ดีของการพิจารณาการเพิ่มประสิทธิภาพเชิงตัวเลขสำหรับ SVM จากการนำเสนอของ Stephen Wright ที่การประชุมเชิงปฏิบัติการการเรียนรู้ (2009)

PS: ฉันใหม่ที่นี่ ขออภัยในความไม่สะดวกในการใช้สัญลักษณ์ทางคณิตศาสตร์ในเว็บไซต์นี้

ในความเห็นของฉันในบันทึกการบรรยายของ Andrew ng ได้รับการกล่าวถึงอย่างชัดเจนว่าปัญหาแรกของ 1 / | | w | | เป็นปัญหาที่ไม่ใช่นูน Dual เป็นปัญหานูนและง่ายต่อการค้นหาฟังก์ชันนูนที่เหมาะสมที่สุด