ทำความเข้าใจกับ "อัตราการบรรจบกัน" สำหรับวิธีการวนซ้ำ

ตามวิกิพีเดียอัตราการบรรจบกันแสดงเป็นอัตราส่วนเฉพาะของเวกเตอร์บรรทัดฐาน ฉันพยายามที่จะเข้าใจความแตกต่างระหว่างอัตรา "เชิงเส้น" และ "กำลังสอง" ณ จุดต่าง ๆ ของเวลา (โดยทั่วไป "ตอนเริ่มต้น" ของการวนซ้ำและ "ท้าย") อาจกล่าวได้ว่า:

• $e_{k+1}$$x_{k+1}$$\|e_k\|$

• กับสมการกำลังสองบรรทัดฐานของข้อผิดพลาดของiteration x_ {k + 1}ล้อมรอบด้วย\ | e_k \ | ^ 2 x k + 1 ‖ e k ‖ $e_{k+1}$$x_{k+1}$$\|e_k\|^2$

การตีความดังกล่าวหมายถึงว่ามีจำนวนน้อย (จำนวนน้อย) วนซ้ำของอัลกอริธึมเชิงเส้นบรรจบเชิงเส้น A1 (การกำหนดค่าเริ่มต้นแบบสุ่มสันนิษฐาน) ข้อผิดพลาดขนาดเล็กจะเกิดขึ้นได้ อย่างไรก็ตามเนื่องจากข้อผิดพลาดลดลงและเนื่องจากการยกกำลังสองแล้วการวนซ้ำในภายหลังจะหมายถึงข้อผิดพลาดที่น้อยลงด้วย A2

การตีความข้างต้นถูกต้องหรือไม่ ทราบว่าสภาพแวดล้อมค่าสัมประสิทธิ์อัตรา\$\lambda$

ในทางปฏิบัติใช่ ในขณะที่ยังคงมีขนาดใหญ่ค่าสัมประสิทธิ์อัตราจะครองข้อผิดพลาดมากกว่าอัตรา q (หมายเหตุว่าเหล่านี้เป็นasymptoticอัตราดังนั้นงบที่คุณที่เชื่อมโยงกับการระงับวงเงินเป็น .) λ k → $e_k$$\lambda$$k\to\infty$

ตัวอย่างเช่นสำหรับวิธีการสั่งซื้อครั้งแรกในการเพิ่มประสิทธิภาพคุณมักจะสังเกตเห็นข้อผิดพลาดที่ลดลงอย่างรวดเร็วในขั้นต้นซึ่งจะเพิ่มระดับ สำหรับวิธีการของนิวตันในอีกทางหนึ่งอาจใช้เวลาสักครู่ก่อนที่จะบรรจบกันในแนว superlinear (หรือกำลังสอง) ที่กำลังบรรจบกัน ด้วยเหตุผลดังกล่าวจึงเป็นเรื่องธรรมดาที่จะเริ่มต้นด้วยการไล่ระดับสีสองสามขั้นตอนก่อนที่จะเปลี่ยนเป็นวิธีการของนิวตันหรือใช้วิธีการ homotopy หรือ quasi-Newton ซึ่งทำหน้าที่เป็นวิธีการสั่งซื้อครั้งแรกและเปลี่ยนเป็นวิธีการแบบนิวตัน เป้า

นอกจากคำตอบของคริสเตียนแล้วก็ควรที่จะสังเกตว่าสำหรับการลู่เข้าเชิงเส้นคุณต้องมีซึ่งคุณมีหากวิธีการลู่เข้าหากัน ในอีกทางหนึ่งสำหรับการลู่เข้าแบบสมการกำลังสองคุณมีและความจริงที่ว่าวิธีการมาบรรจบกันไม่จำเป็นต้องหมายความว่าต้องเล็กกว่าอย่างใดอย่างหนึ่ง แต่เงื่อนไขสำหรับการลู่เข้าคือλ 1 < 1 อีk + 1 ≤ λ 2 อี2 k λ 2 λ 2 อี1 < $e_{k+1} \le \lambda_1 e_k$$\lambda_1<1$$e_{k+1} \le \lambda_2 e_k^2$$\lambda_2$$\lambda_2 e_1<1$- นั่นคือเดาเริ่มต้นของคุณอยู่ใกล้พอ นี่เป็นพฤติกรรมที่สังเกตได้โดยทั่วไป: อัลกอริธึมที่มาบรรจบกันของสมการกำลังสองต้องเริ่ม "ใกล้พอ" จากวิธีแก้ปัญหาที่จะมาบรรจบกัน นี่คืออีกเหตุผลหนึ่งที่ทำไมเรามักเริ่มด้วยอัลกอริธึมการคอนเวอร์เจนซ์เชิงเส้น (เช่นวิธีการโคตรลาดชัน) ขั้นตอนก่อนที่จะเปลี่ยนไปใช้วิธีที่มีประสิทธิภาพมากขึ้น (เช่นวิธีของนิวตัน)

การตีความถูกต้องในเชิงคุณภาพ

โปรดทราบว่าการบรรจบเชิงเส้นและสมการกำลังสองเกี่ยวข้องกับกรณีที่เลวร้ายที่สุดสถานการณ์ในอัลกอริทึมเฉพาะอาจดีกว่าสิ่งที่คุณได้รับจากการวิเคราะห์กรณีที่เลวร้ายที่สุดที่กำหนดโดย Wolfgang Bangerth แม้ว่าสถานการณ์เชิงคุณภาพมักจะสอดคล้องกับการวิเคราะห์นี้

ในอัลกอริธึมที่เป็นรูปธรรม (เช่นในการปรับให้เหมาะสม) มันมักจะรู้สึกถึงวิธีแรกที่ทำซ้ำด้วยวิธีการบรรจบกันในราคาถูก แต่เป็นแบบเส้นตรงมาบรรจบกันจนกว่าความคืบหน้าจะช้าลงและจากนั้นจบด้วยวิธี ในทางปฏิบัติการบรรจบกันของ superlinear มีแนวโน้มที่จะดีเท่ากับการบรรจบของกำลังสองเนื่องจากส่วนแรกที่มาบรรจบกันอย่างช้าๆมีแนวโน้มที่จะครองงานโดยรวม