เป็นที่ทราบกันดีหรือไม่ว่าปัญหาการเพิ่มประสิทธิภาพบางอย่างเทียบเท่ากับการเลื่อนเวลา?

ที่กำหนดให้รัฐที่ต้องการและพารามิเตอร์กูพิจารณาปัญหาในการหารัฐและควบคุมเพื่อลดการทำงาน ภายใต้ข้อ จำกัด \ start {equation} Ay = u \ end {} สมการ ที่เรียบง่ายสำหรับเราสามารถคิดของY, y_0 มึง \ in \ mathbb R ^ nและA \ ใน \ mathbb R ^ {n \ times n}$y_0$$\beta \in \mathbb R$$y$$u$Y=U y,y0,คุณ∈RnA∈Rn×

$$\begin{equation} \frac{1}{2} \| y - y_0 \|^2 + \frac{\beta}{2} \| u \|^2 \end{equation}$$ $$\begin{equation} Ay = u. \end{equation}$$ $y, y_0, u \in \mathbb R^n$$A \in \mathbb R^{n \times n}$

การสร้างลากรองจ์มองหาจุดที่อยู่นิ่งและกำจัดการควบคุม$u$จะได้รับเงื่อนไขการสั่งซื้อครั้งแรก

$$\begin{align*} A^T \lambda &= y_0 - y \\ Ay &= \frac{1}{\beta} \lambda \end{align*}$$ Premultiplying โดย$A$ในสมการแรกและ$A^T$ในครั้งที่สองเราสามารถเขียนสมการปกติ \ start {align} (I + \ beta AA ^ T) \ lambda & = \ beta A y_0 \\ (I + \ beta A ^ TA) y & = y_0 \ end {align} $$\begin{align} (I + \beta A A^T) \lambda &= \beta A y_0 \\ (I + \beta A^T A) y &= y_0 \end{align}$$ เราสามารถตีความสิ่งเหล่านี้เป็นขั้นตอนเดียวของการประมาณค่าออยเลอร์ย้อนหลังกับสมการเชิงอนุพันธ์ \ start $$\begin{align} \frac{\partial \lambda}{\partial b} &= -A A^T \lambda + A y_0, \quad \lambda(0) = 0 \\ \frac{\partial y}{\partial b} &= -A^T A y, \quad y(0) = y_0 \end{align}$$ กับ pseudotimestep \$\beta$

คำถามของฉัน: การเชื่อมต่อนี้เป็นที่รู้จักกันดีหรือไม่? มันเป็นเรื่องที่กล่าวถึงในการรักษามาตรฐานของการจับเวลาหรือการเพิ่มประสิทธิภาพ? (สำหรับฉันดูเหมือนว่าจะให้การเชื่อมต่อที่ใช้งานง่ายบางอย่างระหว่างพวกเขา)

ความคิดดูเหมือนง่ายพอที่จะต้องเป็นที่รู้จักกันดี แต่การค้นหาวรรณกรรมหรือพูดคุยกับผู้คนไม่ได้ให้แหล่งข้อมูลที่ดีแก่ฉันเมื่อมีการพูดคุยกัน ที่ใกล้เคียงที่สุดที่ฉันพบคือบทความโดย O. Scherzer และ J. Weichert (J. Math Imaging Vision 12 (2000) หน้า 43-63) ซึ่งระบุการเชื่อมต่อในประโยคแรกของนามธรรม (!) แต่ไม่ได้ ให้การอ้างอิงหรือสำรวจการเชื่อมต่อในทุกระดับ

เป็นการดีที่ฉันกำลังมองหาการอ้างอิงที่ไม่เพียง แต่ระบุการเชื่อมต่อ แต่ยังสำรวจผลที่ตามมาบางอย่าง (ตัวอย่างเช่นเราสามารถจินตนาการถึงการปรับสภาพปัญหาการปรับให้เหมาะสมด้วยขั้นตอนการส่งต่อออยเลอร์ราคาถูก)

ดังที่ Jed Brown ได้กล่าวถึงการเชื่อมต่อระหว่างการไล่ระดับสีในการปรับให้เหมาะสมแบบไม่เชิงเส้นและการลดเวลาของระบบพลวัตถูกค้นพบอีกครั้งด้วยความถี่บางส่วน (เข้าใจได้เนื่องจากมันเป็นการเชื่อมต่อที่น่าพอใจมากกับจิตใจคณิตศาสตร์ อย่างไรก็ตามมันกลับกลายเป็นการเชื่อมต่อที่มีประโยชน์โดยเฉพาะอย่างยิ่งในบริบทที่คุณอธิบาย

ในปัญหาผกผันคนมีความสนใจในการแก้ไข (ไม่ดีถูกวาง) สมการประกอบกับไม่ได้อยู่ในช่วงของF(ปัญหาการควบคุมที่ดีที่สุดของคุณสามารถมองเห็นได้เป็นหนึ่งอินสแตนซ์ของมันด้วยและ .) กลยุทธ์การทำให้เป็นมาตรฐานหลายอย่าง (เช่น Tikhonov หรือ Landweber) สามารถตีความได้ว่าเป็นเวลาหลอกเดียว ขั้นตอนของคลาสที่แน่นอน ความคิดคือการใช้การตีความของพารามิเตอร์ normalization เป็นความยาวขั้นตอนเพื่อให้ได้กฎทางเลือก (adaptive, posteriori) บางตัวสำหรับพารามิเตอร์ - ปัญหาพื้นฐานในปัญหาผกผัน - และอาจทำให้หลายขั้นตอนเวลาหลอกเพื่อ เข้าหาทางออกที่แท้จริงและไม่สม่ำเสมอ (คล้ายกับ$F(u)=y^\delta$$y^\delta$$F$$F=A^{-1}$$y^\delta = y_0$ความต่อเนื่องเชิงตัวเลข ) บางครั้งสิ่งนี้เรียกว่าการทำให้เป็นมาตรฐานอย่างต่อเนื่องและมักจะกล่าวถึงในบริบทของวิธีการตั้งค่าระดับ ตัวอย่างเช่นดูบทที่ 6.1 ของ Kaltenbacher, Scherzer, Neubauer: วิธีการทำให้เป็นมาตรฐานซ้ำสำหรับปัญหาไม่เชิงเส้น (de Gruyter, 2008)

บริบทที่สองแนวคิดนี้ซ้ำแล้วซ้ำอีกคือการปรับให้เหมาะสมแบบไม่เชิงเส้น: หากคุณดูขั้นตอนการไล่ระดับสีสำหรับ , จากนั้นคุณสามารถตีความสิ่งนี้เป็นขั้นตอนออยเลอร์ไปข้างหน้าสำหรับระบบพลวัต ในขณะที่เจดบราวน์ชี้ให้เห็นสิ่งนี้ในแวบแรกให้ผลเพียงสังเกตไม่น่าแปลกใจมากที่วิธีนี้มาบรรจบกันหากขั้นตอนหลอกเวลามีขนาดเล็กพอ ส่วนที่น่าสนใจเกิดขึ้นเมื่อคุณดูระบบพลวัตและถามตัวเองว่าคุณสมบัติการแก้ปัญหาต่อเนื่องของการไหลแบบไล่ระดับสีที่เรียกว่า$\min_x f(x)$

$$x^{k+1} = x^k - \gamma_k \nabla f(x^k),$$ $$\dot x(t) = -\nabla f(x(t)),\qquad x(0) = x^0.$$ $\gamma_k$$x(t)$มี (หรือควรมี) เป็นอิสระจากการสืบเชื้อสายการไล่ระดับสีและวิธีการที่อาจไม่นำไปสู่วิธีการที่เหมาะสมกว่าในการก้าวข้ามเวลา (และการเพิ่มประสิทธิภาพดังนั้น) กว่าวิธีมาตรฐานออยเลอร์ ตัวอย่างบางส่วนจากด้านบนของหัวของฉัน:

1. มีพื้นที่ฟังก์ชั่นตามธรรมชาติที่การไล่ระดับสีใช้หรือไม่ ถ้าเป็นเช่นนั้นขั้นตอนการไล่ระดับสีของคุณควรถูกนำมาจากพื้นที่เดียวกัน (เช่นการแยกส่วนควรจะสอดคล้อง) สิ่งนี้นำไปสู่เช่นการคำนวณ Riesz แทนการไล่ระดับสีด้วยความเคารพต่อผลิตภัณฑ์ภายในที่แตกต่างกัน (บางครั้งเรียกว่าการไล่ระดับสี Sobolev ) และในทางปฏิบัติเพื่อทำซ้ำเงื่อนไขที่รวมกันเร็วกว่ามาก

2. บางทีควรอยู่ไม่ปริภูมิเวกเตอร์ แต่นานา (เช่นสมมาตรเมทริกซ์ที่ชัดเจนในเชิงบวก) หรือการไหลของการไล่ระดับสีควรอนุรักษ์บรรทัดฐานหนึ่งของxในกรณีนี้คุณสามารถลองใช้แผนการประหยัดเวลาแบบอนุรักษ์โครงสร้าง (เช่นเกี่ยวข้องกับการดึงกลับในส่วนที่เกี่ยวกับกลุ่ม Lie ที่เหมาะสมหรือผู้รวบรวมทางเรขาคณิต)$x$$x$

3. ถ้าไม่สามารถหาอนุพันธ์ได้ แต่นูนขั้นตอนออยเลอร์ไปข้างหน้าสอดคล้องกับวิธีการสืบเชื้อสาย subgradient ซึ่งอาจช้ามากเนื่องจากข้อ จำกัด ขนาดขั้นตอน ในทางตรงกันข้ามขั้นตอนออยเลอร์โดยนัยสอดคล้องกับวิธีการจุดใกล้เคียงซึ่งไม่มีข้อ จำกัด ดังกล่าวใช้ (และซึ่งได้กลายเป็นที่นิยมมากในเช่นการประมวลผลภาพ)$f$

4. ในหลอดเลือดดำที่คล้ายกันวิธีการดังกล่าวสามารถเร่งได้อย่างมีนัยสำคัญโดยขั้นตอนการคาดการณ์ วิธีหนึ่งในการสร้างแรงจูงใจเหล่านี้คือการสังเกตว่าวิธีการสั่งซื้อแบบมาตรฐานอันดับแรกต้องประสบกับการทำขั้นตอนเล็ก ๆ น้อย ๆ ให้ใกล้กับ minimizers เพราะทิศทางการไล่ระดับสี "สั่น" (คิดว่าภาพประกอบมาตรฐานว่าทำไมคอนจูเกต เพื่อแก้ไขปัญหานี้เราสามารถ "ลด" การทำซ้ำโดยไม่แก้ไขระบบพลวัตลำดับที่หนึ่ง แต่ระบบลำดับที่สองที่ทำให้หมาด ๆ: สำหรับการได้รับการแต่งตั้งอย่างเหมาะสมa_1,ด้วยการแยกส่วนที่เหมาะสมสิ่งนี้นำไปสู่การวนซ้ำ (เรียกว่าวิธีการลูกบอลหนักของ Polyak ) ของแบบฟอร์ม

   $$a_1 \ddot x(t) + a_2 \dot x(t) = -\nabla f(x(t))$$ $a_1,a_2$ $$x^{k+1} = x^k - \gamma_k \nabla f(x^k) + \alpha_k (x^k - x^{k-1})$$ (พร้อมขึ้นอยู่กับ ) มีความคิดที่คล้ายกันสำหรับวิธีจุดใกล้เคียงดูเช่นกระดาษhttp://arxiv.org/pdf/1403.3522.pdfโดย Dirk Lorenz และ Thomas Pocka 1 , a $\gamma_k,\alpha_k$$a_1,a_2$

---

(ฉันควรจะเพิ่มความรู้ลงไปในความรู้ของฉันในกรณีส่วนใหญ่การตีความในฐานะระบบพลวัตไม่จำเป็นอย่างยิ่งสำหรับการได้มาหรือการพิสูจน์การลู่เข้าของอัลกอริทึม; เราสามารถโต้แย้งความคิดเช่น จริง ๆ แล้วเป็นพื้นฐานมากกว่าระบบพลวัตหรือวิธีการไล่ระดับความลาดชันอย่างไรก็ตามมันไม่เคยเจ็บที่จะมีมุมมองอื่นที่จะมองปัญหาจาก)

---

แก้ไข:ฉันเพิ่งเจอตัวอย่างที่ยอดเยี่ยมจากบริบทที่สองซึ่งมีการใช้การตีความ ODE เพื่ออนุมานคุณสมบัติของวิธี Extragradient ของ Nesterov และแนะนำการปรับปรุง: http://arxiv.org/pdf/1503.01243.pdf (โปรดทราบว่านี่เป็นเช่นเดียวกัน ตัวอย่างของประเด็นของเจดบราวน์ซึ่งผู้เขียนได้ค้นพบประเด็นที่ 4 ข้างต้นอีกครั้งโดยไม่ทราบถึงอัลกอริทึมของ Polyak)

แก้ไข 2:และเป็นตัวบ่งชี้วิธีไกลคุณสามารถใช้เวลานี้ดูหน้า 5 ของhttp://arxiv.org/pdf/1509.03616v1.pdf

ในขณะที่ฉันไม่ได้เห็นสูตรที่แน่นอนที่คุณเขียนไว้ที่นี่ฉันยังเห็นการพูดคุยเกี่ยวกับการที่คน "ค้นพบ" การเชื่อมต่อกับการรวมระบบชั่วคราวและดำเนินการเขียนอัลกอริทึมที่เท่าเทียมกันกับพีชคณิตหรือ อีกวิธีหนึ่งของการไล่ระดับสีที่มีอยู่หรือวิธีที่เหมือนนิวตันและไม่สามารถอ้างถึงคนอื่นได้ ฉันคิดว่ามันไม่ได้มีประโยชน์มากนักเพราะข้อสรุปนั้นโดยทั่วไปแล้วว่า "ตราบใดที่คุณทำตามขั้นตอนเล็ก ๆ น้อย ๆ พอในที่สุดวิธีการก็แปรเปลี่ยนไปสู่ระดับต่ำสุดในท้องถิ่น" ในปี 2014 เป็นวันครบรอบ 45 ปีของกระดาษของ Philip Wolfe แสดงให้เห็นว่าจะทำสิ่งนี้ได้อย่างไรในหลักการ นอกจากนี้ยังมีทฤษฏีที่ดีในการรับการลู่เข้าแบบ q-quadratic หรือ q-superlinear จากการสืบต่อจากปลอมและวิธีการที่เกี่ยวข้องเช่น Levenberg-Marquardt

หากคุณต้องการตัวอย่างของการค้นพบครั้งใหม่นี้โดยใช้สูตรคล้ายนิวตันสำหรับการแก้สมการพีชคณิต (เช่นความต่อเนื่องของการปลอมแปลงแบบคลาสสิก) จากนักคณิตศาสตร์ที่มีเอกสารมากกว่า 600 ฉบับ (บางทีเขาอาจจะพิสูจน์สิ่งที่คุณสนใจ) วิธีการของ Dynamical Systems "โดย AG Ramm [1]

หากสัญชาตญาณที่ได้รับจากการพิจารณาระบบชั่วคราวนำไปสู่อัลกอริธึมเชิงปฏิบัติที่เร็วกว่าหรือน่าเชื่อถือกว่าฉันคิดว่าเราจะเห็นบทความที่อ้างถึงอย่างสูงในเรื่องนั้น ฉันคิดว่ามันไม่มีความลึกลับที่ Nocedal และ Wright มีการอ้างอิงมากกว่า 13,000 รายการในขณะที่หนังสือของ Ramm มีประมาณ 80 รายการ (ส่วนใหญ่เป็นการอ้างอิงตนเอง)

[1] ฉันสามารถแนะนำคุณไม่ให้แจ้งศ. Ramm ว่า DSM ของเขานั้นเทียบเท่ากับพีชคณิตกับสิ่งที่อยู่ในแพ็คเกจทางวิศวกรรมที่นับไม่ถ้วนมานานหลายสิบปีหรือคุณอาจถูกตะโกนออกไปจากห้อง #gradstudentmemories

หากวิธีการ ODE สามารถช่วยเพิ่มประสิทธิภาพได้มีปัญหาตัวอย่างง่าย ๆ ที่จะแสดงสิ่งนี้หรือไม่?
คนฟาง: มี ODE แก้ปัญหาที่เหมาะสม หรือคริสเตียน Clason แสดงให้เห็น สำหรับบอกว่าฟังก์ชั่น Rosenbrock ใน 2d หรือ 10d? ถ้านั่นโง่ใครมีฟางผู้ชายที่ดีกว่านี้ไหม (หมายเหตุ "สมเหตุสมผล" ไม่ใช่ "แข่งขันกับเครื่องมือเพิ่มประสิทธิภาพที่ทันสมัย" ฉันคิดว่าเราต้องการลดขนาด / ความอดทนของขั้นตอนและอาจเป็นวิธีแก้ปัญหาที่แข็ง)
$\qquad \dot{ x } = - \nabla f( x )$
$\quad \ddot{ x } = \beta \dot{ x } - \alpha \nabla f( x ) \ \ $
$f$

ในทางปฏิบัติขั้นตอน "ใหญ่เกินไป" นั้นมีปัญหามากกว่า "เล็กเกินไป" - การแกว่งนั้นยุ่งเหยิง
ฉันคิดอย่างไร้เหตุผลว่าทฤษฎีการควบคุมสามารถช่วยได้ หน้าสูตรคำนวณ 915 อธิบาย
การควบคุม stepize stepize PI สำหรับ ODE แต่ฉันไม่รู้ว่าสิ่งนี้ถูกใช้ในทางปฏิบัติหรือไม่