เมื่อมีการวิเคราะห์จาโคเบียนจะดีกว่าหรือไม่ที่จะประมาณชาวเฮสเซียนโดยหรือโดยความแตกต่างที่ จำกัด ของจาโคเบียน

สมมติว่าฉันกำลังคำนวณพารามิเตอร์ของแบบจำลองฉันลดจำนวนผลรวมส่วนที่เหลือกำลังสองลดลงและฉันสมมติว่าข้อผิดพลาดของฉันคือเกาส์เซียน แบบจำลองของฉันสร้างอนุพันธ์การวิเคราะห์ดังนั้นเครื่องมือเพิ่มประสิทธิภาพจึงไม่จำเป็นต้องใช้ความแตกต่างที่แน่นอน เมื่อพอดีแล้วฉันต้องการคำนวณข้อผิดพลาดมาตรฐานของพารามิเตอร์ที่ติดตั้ง

โดยทั่วไปในสถานการณ์นี้ Hessian ของฟังก์ชั่นข้อผิดพลาดจะต้องเกี่ยวข้องกับเมทริกซ์ความแปรปรวนร่วมโดย: โดยที่เป็นความแปรปรวนของเศษเหลือ

σ^{2} H^{- 1} = C

$\sigma^2 H^{-1} = C$

σ^{2}

$\sigma^2$

เมื่อไม่มีการวิเคราะห์อนุพันธ์ของข้อผิดพลาดก็มักจะไม่สามารถคำนวณ Hessian ดังนั้นจึงถูกนำมาใช้เป็นค่าประมาณที่ดี $J^TJ$

อย่างไรก็ตามในกรณีของฉันฉันมีการวิเคราะห์ J ดังนั้นมันค่อนข้างถูกสำหรับฉันที่จะคำนวณ H โดยการหาผลต่าง จำกัด

ดังนั้นคำถามของฉันคือ: มันจะแม่นยำกว่าถ้าประมาณ H โดยใช้ J ที่แน่นอนของฉันและใช้การประมาณข้างต้นหรือใช้ H ประมาณโดยการหาผลต่าง จำกัด J?

standard-error fitting

— โคลินเค
แหล่งที่มา

คำถามที่ดี. ก่อนอื่นให้จำว่าการประมาณนี้มาจากไหน ให้เป็นจุดข้อมูลของคุณ,เป็นแบบจำลองของคุณและเป็นพารามิเตอร์ของแบบจำลองของคุณ จากนั้นฟังก์ชันวัตถุประสงค์ของการไม่เชิงเส้นอย่างน้อยปัญหาสี่เหลี่ยมเป็นที่คือเวกเตอร์ของเหลือที่เบต้า) แคว้นเฮ็ซแน่นอนของฟังก์ชันวัตถุประสงค์คือr_i ดังนั้นข้อผิดพลาดในการประมาณนี้คือ $H \approx J^T J$ $(x_i, y_i)$ $f(\cdot)$ $\beta$ $\frac{1}{2} r^T r$ $r$ $r_i = y_i - f(x_i, \beta)$ $H = J^T J + \sum r_i \nabla^2 r_i$ $H - J^T J = \sum r_i \nabla^2 r_i$ . มันเป็นการประมาณที่ดีเมื่อตัวเองมีขนาดเล็ก หรือเมื่ออนุพันธ์อันดับ 2 ของเศษเหลือน้อย สี่เหลี่ยมจัตุรัสเชิงเส้นน้อยที่สุดสามารถพิจารณาได้ว่าเป็นกรณีพิเศษที่อนุพันธ์อันดับสองของส่วนที่เหลือเป็นศูนย์

สำหรับการประมาณความแตกต่างแน่นอนมันค่อนข้างถูก การคำนวณความแตกต่างกลางคุณจะต้องประเมินจาโคเบียนเพิ่มเติมครั้ง (ความแตกต่างไปข้างหน้าคุณจะใช้ประเมินผลเพิ่มเติมดังนั้นฉันจะไม่รำคาญ) ข้อผิดพลาดของการประมาณความแตกต่างส่วนกลางคือสัดส่วนกับและโดยที่คือขนาดขั้นตอน ขนาดขั้นตอนที่เหมาะสมคือโดยที่ $2n$ $n$ $\nabla^4 r$ $h^2$ $h$ $h \sim \epsilon^\frac{1}{3}$ $\epsilon$ คือความแม่นยำของเครื่องจักร ดังนั้นหากอนุพันธ์ของส่วนที่เหลือถูกระเบิดมันก็ค่อนข้างชัดเจนว่าการประมาณความแตกต่างอัน จำกัด ควรจะดีกว่ามาก ฉันควรชี้ให้เห็นว่าในขณะที่การคำนวณมีน้อยที่สุดการทำบัญชีเป็นเรื่องที่ไม่สำคัญ ความแตกต่างอัน จำกัด ของยาโคบเบียนแต่ละอันจะให้แถว Hessian หนึ่งแถวสำหรับแต่ละส่วนที่เหลือ จากนั้นคุณจะต้องรวบรวม Hessian อีกครั้งโดยใช้สูตรด้านบน

อย่างไรก็ตามมีตัวเลือกที่ 3 หากตัวแก้ปัญหาของคุณใช้วิธี Quasi-Newton (DFP, BFGS, Bryoden ฯลฯ ) มันก็ประมาณ Hessian แล้วในแต่ละรอบ การประมาณนั้นค่อนข้างดีเนื่องจากใช้ฟังก์ชันวัตถุประสงค์และค่าการไล่ระดับสีจากการวนซ้ำทุกครั้ง นักแก้ปัญหาส่วนใหญ่จะช่วยให้คุณเข้าถึงประมาณการ Hessian ขั้นสุดท้าย (หรือผกผัน) หากเป็นตัวเลือกสำหรับคุณฉันจะใช้มันเป็นค่าประมาณของ Hessian มันคำนวณไปแล้วและอาจจะเป็นการประมาณที่ดีทีเดียว

— Bill Woessner
แหล่งที่มา

การตอบสนองดีเลิศขอบคุณ การพิสูจน์ความผิดพลาดด้วยการเปรียบเทียบข้อผิดพลาดในการประเมินในแต่ละกรณีนั้นดีมาก ฉันขอถามได้อย่างไรว่าคุณรู้ว่าเป็นขั้นตอนที่เหมาะสมที่สุดสำหรับความแตกต่างอัน จำกัด ? ฉันไม่เคยเห็นแบบนั้นมาก่อน

ϵ^{1 / 3}

$\epsilon^{1/3}$

— โคลิน K

นั่นเป็นกลอุบายเก่า ๆ ในการปรับสมดุลของข้อผิดพลาดการตัดกับข้อผิดพลาดในการปัดเศษ เห็นได้ชัดว่าเพื่อลดข้อผิดพลาดในการตัดให้สั้นที่สุดคุณต้องการทำให้ขนาดเล็กที่สุดเท่าที่จะทำได้ แต่เมื่อมีขนาดเล็กเกินไปคุณจะเริ่มมีข้อผิดพลาดในการปัดเศษขึ้นอย่างมีนัยสำคัญ ต้นกำเนิดค่อนข้างตรงไปตรงมา สมมติว่าแตกต่างกันกลางข้อผิดพลาดการตัดเป็นสัดส่วนกับ'(x) ข้อผิดพลาดในการปัดเศษจะเป็นสัดส่วนกับเสมอ เพิ่มทั้งสองและลดกว่าชั่วโมงคุณจะได้รับ{3}

h

$h$

h

$h$

h^{2} f^{‴} (x)

$h^2 f'''(x)$

\frac{ϵ f (x)}{h}

$\frac{\epsilon f(x)}{h}$

h

$h$

h \sim ϵ^{\frac{1}{3}}

$h \sim \epsilon^\frac{1}{3}$

— Bill Woessner

นี่เป็นเพียงความแตกต่างที่สำคัญ สำหรับความแตกต่างไปข้างหน้าขนาดขั้นตอนที่ดีที่สุดคือ{2} มีเทคนิคอื่น ๆ เช่นกัน ตัวอย่างเช่นตรวจสอบให้แน่ใจว่าคุณรู้จริง ๆ ว่าคืออะไร ฉันรู้ว่ามันฟังดูงี่เง่า แต่สิ่งประหลาดสามารถเกิดขึ้นได้ในการคำนวณเลขทศนิยม นี่คือวิธีที่ง่ายที่จะทำให้แน่ใจว่าคุณมีค่าที่ถูกต้องของ : ศาสตร์ของหลักสูตร{} แต่ถ้าคุณใช้ค่าที่ไม่สามารถแสดงได้อย่างแน่นอนในจุดลอย (เช่น ) คุณจะเห็นว่าไม่ใช่กรณี

h \sim ϵ^{\frac{1}{2}}

$h \sim \epsilon^\frac{1}{2}$

h

$h$

h

$h$ h_actual = (x + h_desired) - x

h_{a c t u a l} = h_{d e s i r e d}

$h_{actual} = h_{desired}$

h = 0.0001

$h = 0.0001$

— Bill Woessner

บางทีเนื้อหานี้อาจถูกเพิ่มลงในคำตอบของคุณมากกว่าความคิดเห็น ด้วยวิธีนี้ผู้ใช้ในอนาคตไม่จำเป็นต้องลุยส่วนความคิดเห็นเพิ่มเติมเพื่อค้นหาเนื้อหาที่มีการอ้างสิทธิ์โดยตรงในคำตอบ

— Sycorax พูดว่า Reinstate Monica

คุณพระช่วย. การประมาณกึ่งนิวตันของ Hessian อาจเป็นการประเมิน Hessian ที่แย่มากและดังนั้นจึงส่งผลให้การประมาณค่าความแปรปรวนร่วมที่แย่มาก มันอาจทำหน้าที่ได้ดีเพื่ออำนวยความสะดวกในการพัฒนาอัลกอริธึมไปสู่สิ่งที่ดีที่สุด แต่ก็ค่อนข้างแย่ในฐานะของ Hessian

— Mark L. Stone