การศึกษาอย่างเป็นระบบของผลรวมของพหุนามกำลังสองกำลังสอง

ฉันสงสัยว่าถ้ามีการศึกษาอย่างเป็นระบบเกี่ยวกับผลรวมของรูปสี่เหลี่ยมกำลังสองกำลังสองคล้ายกับรูปสี่เหลี่ยมกำลังสองซึ่งสะท้อนให้เห็นในทางปฏิบัติในการสลายตัวของค่าลักษณะเฉพาะ ตัวอย่างที่เกี่ยวข้องกับความสำคัญของคำถาม

1. หลักวิเคราะห์องค์ประกอบ (PCA) รับชุดของคะแนนค้นหาชุดของแกน , ... , เขียนเป็นเมทริกซ์และการคาดการณ์ , ... ,ที่ลดความแปรปรวนที่ไม่ได้อธิบายให้น้อยที่สุดนั่นคือแก้ปัญหาการหาค่าเหมาะที่สุดของควอร์ติคต่อไปนี้$x_i \in \mathbb{R^n}, i=1..k$$u_1$$u_m$$U \in \mathbb{R^n x R^m}$$\xi_1$$\xi_k, \xi_{\circ} \in \mathbb{R^m}$

   $\mathop{argmin} \limits_{u_1,.., u_n,\ \xi_1, .., \xi_k} \sum \limits_{i} \left( U^T \xi_i - x_i \right)^2$

   ด้วยเวทย์มนตร์ของความสมมาตรมันมีทางออกโดยการสลายตัวของค่าเอกพจน์

2. ทั่วไป PCA เช่นเดียวกับ PCA แต่ตอนนี้มีความแม่นยำเมทริกซ์ที่เกี่ยวข้องกับแต่ละสังเกตx_iปัญหาซับซ้อนขึ้น$A_i \in \mathbb{R^n x R^n}$$x_i$

   $\mathop{argmin} \limits_{u_1,.., u_n,\ \xi_1, .., \xi_k} \sum \limits_{i} \left( A_i U^T \xi_i - x_i \right)^2$

   (เมื่อทั้งหมดเป็นเมทริกซ์เอกลักษณ์ปัญหานี้เทียบเท่ากับ PCA เมื่อและเส้นทแยงมุมมันเป็นน้ำหนัก PCA) ปัญหานี้สามารถแก้ไขได้ในเวลาพหุนามด้วยโปรแกรมกึ่งแน่นอน (SDP) - เนื่องจากวิธีการแก้ปัญหามีรูปแบบของผลรวมของสี่เหลี่ยมจัตุรัสโดย NZ Shor (1987) มันเป็นปัญหานูนและวิทยานิพนธ์ Parillo (2000) ให้การปฏิบัติ วิธีการคำนวณผ่าน SDP$A_i$$A_i = A_j, \forall i,j$$\square$

ในวิธี SDP นั้นพหุนามควอร์ติคถูกเขียนเป็นผลรวมของพหุนามกำลังสองกำลังสอง ดังนั้นจึงเป็นเรื่องสำคัญที่จะต้องรู้ว่าพหุนาม quartic ชนิดใดที่สามารถเขียนเป็นผลรวมของรูปแบบกำลังสองกำลังสอง (โดยการเปรียบเทียบกับฟังก์ชัน biquadratic พวกเขาสามารถเรียกว่ารูปแบบ biquadratic) วรรณกรรมส่วนใหญ่ที่ฉันได้พบหยุดที่จุดที่พวกเขาพบว่าขั้นต่ำของพหุนามควอร์ติคกำลังเข้ารหัสปัญหาพาร์ติชันและไม่มีข้อโต้แย้งว่าทำไมจึงไม่สามารถแสดงเป็นผลรวมของกำลังสองของพหุนามพหุนามกำลังสองได้มากกว่านั้น$p= \sum_k^n (x_k^2-1) + (a^T x)^2, a \in \mathbb{Z^n}$$p$

ฉันสงสัยว่าถ้าใครทำการศึกษาระบบชื่อพหุนามอย่างเป็นระบบโดยผลรวมของกำลังสองของพหุนามพหุนามกำลังสอง

ความรู้ของฉันที่ดีที่สุดไม่มีการศึกษาเช่นนี้ นอกจากนี้หากไม่มีความก้าวหน้าที่ไม่น่าสนใจเกี่ยวกับเทคโนโลยีของปัญหาผลรวมของสแควร์ส (SOS) ปัจจุบันยังไม่ชัดเจนว่าประโยชน์ที่ได้รับจากการศึกษาดังกล่าวจะเป็นเช่นไร (ฉันจะมุ่งเน้นไปที่การเชื่อมต่อ SOS ตั้งแต่นั้นเท่าที่ฉันรู้ว่าเป็นวิธีที่ดีที่สุดในการแก้ปัญหาควอร์ทิคทั่วไป) คำสั่งนี้ควรนำไปใช้ในแง่บวก: ฉันเชื่อว่ามีความลึกของการวิจัยจำนวนมาก ปัญหาเหล่านี้ ฉันจะยืนยันการเรียกร้องของฉันในบางวิธีหวังว่าผู้คนจะพบว่ามีประโยชน์

ประการแรกสำหรับปัญหาพื้นฐานที่สุดของประเภทที่คุณพูดคุยการเชื่อมต่อ SVD ให้การแก้ปัญหาที่ดีกว่ากล่องดำ SOS โดยเฉพาะอย่างยิ่งหลังสร้าง SDP ที่มีเงื่อนไขโดยที่คือจำนวนรวมของตัวแปรในปัญหาการหาค่าเหมาะที่สุดของแหล่งที่มา (ตัวอย่างเช่นจำนวนองค์ประกอบทั้งหมดในเมทริกซ์ที่ไม่รู้จักทั้งหมด ที่ฉันได้ตัวเลขเหล่านี้ดูการบรรยายที่ 10 จากหลักสูตรปี 2006 ของ Pablo Parrilo: http://ocw.mit.edu/courses/electrical-engineering-and-computer-science/6-972-algebraic-techniques-and-semidefinite-optimization -spring-2006 / lecture-notes / lecture_10.pdf ) นี่คือ SDP ที่คุณไม่ต้องการแก้ไข (เวลาทำงานขึ้นอยู่กับเป็น$\binom{n+2}{2}$$n$$n$$n^{6}$ใช้ตัวแก้จุดภายใน) โดยเฉพาะอย่างยิ่งเมื่อเปรียบเทียบกับความเร็วที่ไร้สาระของตัวแก้ SVD (ใช้สัญกรณ์ที่สอดคล้องกัน SVD จะเป็นอะไรที่เหมือนคุณสามารถลบล้างการคำนวณของฉันได้โดยการติดตาม จำนวนคอลัมน์แถวและอันดับเป้าหมาย แต่เป็นหายนะไม่ว่าคุณจะแก้ไขความประมาทของฉันอย่างไร) ในหลอดเลือดดำนี้หากคุณออกแบบอัลกอริทึมพิเศษเพื่อแก้ปัญหา SOS ซึ่งระดับสูงสุดภายในพหุนามใด ๆ เป็นสอง: มันจะน่าทึ่งแล้วแบบสำรวจที่คุณมองหาจะมีค่ามาก$\mathcal O(n^{1.5})$

ประการที่สองเนื่องจากสูตรพื้นฐานของปัญหาเหล่านี้อยู่นอกหน้าต่างเราอาจสงสัยว่าตัวแก้ไขปัญหาบางอย่างได้รับการจัดการอย่างดีจากนักแก้ปัญหา SOS เป็นตัวอย่างที่สำคัญให้พิจารณาปัญหา NMF (การแยกตัวประกอบเมทริกซ์ที่ไม่เป็นลบ) ซึ่งเมทริกซ์ไม่ทราบว่าคุณกำลังปรับให้เหมาะสม (ในสูตรด้านบน) ต้องมีรายการที่ไม่เป็นลบ น่าเสียดายที่ถ้าคุณใช้ SDP มาตรฐานที่ใช้ในการแก้ปัญหาเหล่านี้ (ดูตัวอย่างจาก Pablo Parrilo จากด้านบน) ไม่มีทางที่จะแนะนำข้อ จำกัด เหล่านั้นได้ (และเนื่องจากสูตรบางส่วนของปัญหาที่เกิดขึ้นคือ NP-hard ตอนนี้คุณจะต้องสร้างรูปแบบการประมาณเช่นที่น่ารังเกียจ) นอกจากนี้ยังมีงานล่าสุดที่ใช้ประโยชน์จากโครงสร้างพหุนามของปัญหานี้เพื่อสร้างนักแก้ปัญหาด้วย การค้ำประกัน: ดูhttp://arxiv.org/abs/1111.0952โดย Arora, Ge, Kannan และ Moitra พวกเขาสร้างอัลกอริธึมไม่กี่อย่างไรก็ตามเมื่อพวกเขาแก้ปัญหา NMF "แน่นอน" (ที่มีการแยกตัวประกอบที่แน่นอนคือหนึ่งให้ค่าวัตถุประสงค์ 0) พวกเขาไม่ใช้ตัวแก้ปัญหา SOS: พวกเขาใช้ตัวตรวจสอบความเป็นไปได้ของ "กึ่ง -algebraic sets "เป็นปัญหาการปรับให้เหมาะสมที่ยากขึ้นซึ่งอนุญาตให้มีข้อ จำกัด ชนิดต่างๆที่ NMF เพิ่ม แต่ตอนนี้มีเวลาทำงานแบบเอ็กซ์โปเนนเชียล

อย่างไรก็ตามเพื่อสรุปและให้มุมมองเพิ่มเติม; เนื่องจาก SOS เป็นผู้แก้ปัญหาควอร์ติกเพียงคนเดียวที่คุณพูดถึง (เช่นฉันไม่คิดว่าจะมีนักแก้ปัญหาควอร์ติกพิเศษ) ฉันได้พูดคุยกันว่านักแก้ปัญหาเหล่านี้มีทางเลือกที่ดีกว่าสำหรับปัญหาควอร์ติก ในการใช้เครื่องมือ SOS อย่างมีประสิทธิภาพที่นี่คุณจะต้องสร้างตัวแก้ปัญหาที่น่าทึ่งสำหรับกรณีควอร์ติค (พหุนามภายในขององศาไม่เกิน 2) หรือคุณต้องหาวิธีเพิ่มข้อ จำกัด ให้กับปัญหาเหล่านี้ มิฉะนั้นการเชื่อมต่อกับปัญหา SOS ในขณะที่น่าหลงใหลไม่ได้ให้อะไรมากมาย

คุณยังพูดถึงว่าคุณประหลาดใจที่วรรณคดีที่คุณพบไม่ได้ทำให้การเชื่อมต่อนี้ ฉันคิดว่าส่วนใหญ่เป็นเพราะความแปลกใหม่ของนักแก้ปัญหา SOS ในทางปฏิบัติ (แม้ว่าการพิจารณาเชิงนามธรรมเกี่ยวกับปัญหา SOS กลับไปไกลมาก) และสิ่งที่ฉันพูดไว้ข้างต้น ในความเป็นจริงเมื่อฉันพบนักแก้ปัญหา SOS เป็นครั้งแรกมันเป็นบันทึกและเอกสารของ Parrilo และฉันก็สงสัยเช่นเดียวกัน "ทำไมเขาไม่พูดถึงปัญหาประเภท PCA" จากนั้นฉันตรวจสอบข้อเท็จจริงข้างต้นและขมวดคิ้วมาก ฉันคิดว่ามันเป็นสัญญาณที่ไม่ดีที่ Parrilo ตัวเองยังไม่สามารถบอก / อ่านได้ถึงปัญหาเหล่านี้นอกเหนือจากการอ้างอิงที่คุณกล่าวถึงในวิทยานิพนธ์ของเขา (ในขณะเดียวกันเขามีเอกสารเกี่ยวกับนามสกุลต่าง ๆ และฉันเคารพอย่างมาก สำหรับงานของเขาในสาขาเหล่านี้: เขาต้องคิดเกี่ยวกับปัญหาควอร์ติกเฉพาะเหล่านี้หลายครั้ง ..http://arxiv.org/abs/1111.1498 )