คำถามติดแท็ก optimization

ในหนังสือของ Nocedal & Wright เกี่ยวกับการเพิ่มประสิทธิภาพเชิงตัวเลขมีคำสั่งในหัวข้อ 2.2 (หน้า 27) "โดยทั่วไปการพูดง่ายกว่าที่จะรักษาระดับความไม่แปรเปลี่ยนของอัลกอริธึมการค้นหาบรรทัด ในส่วนเดียวกันพวกเขาพูดคุยเกี่ยวกับการมีตัวแปรใหม่ที่เป็นรุ่นดั้งเดิมของตัวแปรดั้งเดิมซึ่งสามารถช่วยในการค้นหาทั้งสองและภูมิภาคที่เชื่อถือได้ อีกวิธีคือการปรับสภาพล่วงหน้า สำหรับวิธีการภูมิภาคที่เชื่อถือได้นั้นการปรับสภาพล่วงหน้านั้นเทียบเท่ากับการมีภูมิภาคที่เชื่อถือได้รูปไข่และทำให้เกิดความแปรปรวนของสเกล อย่างไรก็ตามสัญชาตญาณที่คล้ายกันไม่ชัดเจนสำหรับการกำหนดเงื่อนไขสำหรับการค้นหาบรรทัด การค้นหาบรรทัดเหมาะกว่าสำหรับขนาด invariance อย่างไร มีข้อควรพิจารณาในทางปฏิบัติบ้างไหม? นอกจากนี้ฉันมีคำถามเกี่ยวกับเงื่อนไขเบื้องต้นสำหรับวิธีภูมิภาคที่เชื่อถือได้ สำหรับปัญหาที่มีเงื่อนไขไม่ดีนักเงื่อนไขที่ดีจะลดจำนวนการทำซ้ำรอบนอกของนิวตันและการทำซ้ำ CG ภายในหรือเฉพาะหลังเท่านั้น? เนื่องจากภูมิภาคที่ไว้วางใจนั้นเป็นรูปวงรีในพื้นที่ดั้งเดิมผู้มีเงื่อนไขเบื้องต้นที่ดีควรนำไปสู่รูปวงรีที่จะเข้ากับภูมิทัศน์ได้ดีขึ้น ฉันรู้สึกว่านี่อาจลดจำนวนการทำซ้ำรอบนอกของนิวตันโดยบังคับให้อัลกอริทึมไปยังทิศทางที่ดีขึ้น ถูกต้องหรือไม่

11 linear-algebra  optimization  numerical-analysis 

ฉันพยายามที่จะเข้าใจว่าวิธีการปรับให้เหมาะสมแบบ adjoint นั้นทำงานอย่างไรสำหรับการปรับให้เหมาะสมแบบ จำกัด PDE โดยเฉพาะฉันพยายามเข้าใจว่าทำไมวิธีการ adjoint มีประสิทธิภาพมากขึ้นสำหรับปัญหาที่จำนวนตัวแปรการออกแบบมีขนาดใหญ่ แต่ "จำนวนสมการมีขนาดเล็ก" สิ่งที่ฉันเข้าใจ: พิจารณาปัญหาการปรับให้เหมาะสมแบบ จำกัด PDE ต่อไปนี้: minβ I(β,u(β))s.t.R(u(β))=0minβ I(β,u(β))s.t.R(u(β))=0\min_\beta \text{ } I(\beta,u(\beta))\\ s.t. R(u(\beta))=0 ที่เป็น (ต่อเนื่องเพียงพอ) ฟังก์ชันวัตถุประสงค์ของเวกเตอร์ตัวแปรการออกแบบเบต้าและเวกเตอร์ของราชวงศ์ตัวแปรสนามยู( β )ซึ่งขึ้นอยู่กับตัวแปรการออกแบบและR ( U )เป็นรูปแบบการตกค้างของ PDEIIIββ\betau(β)u(β)u(\beta)R(u)R(u)R(u) เห็นได้ชัดว่าเราสามารถผันแปรแรกของ I และ R δI=∂I∂βδβ+∂I∂uδuδI=∂I∂βδβ+∂I∂uδu\delta I = \frac{\partial I}{\partial \beta}\delta\beta + \frac{\partial I}{\partial u}\delta u δR=∂R∂βδβ+∂R∂uδu=0δR=∂R∂βδβ+∂R∂uδu=0\delta R = …

11 optimization  pde 

รับฟังก์ชั่นที่ไม่รู้จักเราสามารถประเมินค่าของมัน ณ จุดใดก็ได้ในโดเมนของมัน แต่เราไม่มีการแสดงออก กล่าวอีกนัยหนึ่งเป็นเหมือนกล่องดำสำหรับเรา ff:Rd→Rf:Rd→Rf:\mathbb R^d \to \mathbb Rfff ปัญหาในการค้นหาตัวย่อของคืออะไร? มีวิธีการอะไรบ้าง?fff ปัญหาในการค้นหาวิธีแก้ปัญหาสำหรับสมการคืออะไร? มีวิธีการอะไรบ้าง?f(x)=0f(x)=0f(x)=0 ในสองปัญหาข้างต้นเป็นความคิดที่ดีที่จะทำการสอดแทรกหรือเหมาะสมกับการประเมินของ f:โดยใช้ฟังก์ชั่นมีรูปแบบและพารามิเตอร์ที่รู้จักจะถูกกำหนดแล้วลดหรือหารากของมัน?กรัมθ θ กรัมθ(xi,f(xi)),i=1,…,n(xi,f(xi)),i=1,…,n(x_i, f(x_i)), i=1, \dots, ngθgθg_\thetaθθ\thetagθgθg_\theta ขอบคุณและขอแสดงความนับถือ!

11 optimization 

ฉันกำลังแก้สำหรับขนาดใหญ่เบาบางบวกแน่นอนเมทริกซ์ใช้การไล่ระดับสีผัน (CG) วิธีการ มันเป็นไปได้ที่จะคำนวณหาดีเทอร์มีแนนต์ของโดยใช้ข้อมูลที่สร้างขึ้นในระหว่างการแก้ปัญหา?Ax=bAx=bAx=bAAAAAA

11 linear-algebra  optimization  krylov-method  conjugate-gradient 

เมื่อพิจารณาจากระบบที่ฉันได้อ่านว่าในกรณีที่การทำซ้ำ Jacobi ถูกใช้เป็นนักแก้ปัญหาวิธีนี้จะไม่มาบรรจบกันถ้าไม่มีศูนย์ องค์ประกอบใน null พื้นที่ของ ดังนั้นวิธีหนึ่งอย่างเป็นทางการสามารถระบุได้อย่างไรว่าหากมีองค์ประกอบที่ไม่เป็นศูนย์ซึ่งประกอบไปด้วยพื้นที่ว่างของ , วิธี Jacobi นั้นไม่เป็นการรวมกัน? ฉันสงสัยว่าจะทำอย่างไรให้เป็นทางการทางคณิตศาสตร์ได้เนื่องจากส่วนหนึ่งของฉากตั้งฉากกับพื้นที่ว่างนั้นมาบรรจบกันA ∈ R n × n b A b Ax = B ,Ax=b,Ax=b,A ∈ Rn × nA∈Rn×nA\in\mathbb{R}^{n\times n}ขbbAAAขbbAAA ดังนั้นโดยการฉายช่องว่างว่างของจากแต่ละการวนซ้ำมันจะมาบรรจบกัน (หรือ?)AAA ......... ฉันสนใจเป็นพิเศษในกรณีของ ที่เป็นเมทริกซ์ Laplacian แบบสมมาตรที่มีช่องว่างว่างที่เวกเตอร์และมีองค์ประกอบเป็นศูนย์ใน null-space ของ ,ที่เป็นเมทริกซ์กึ่งกลาง นั่นหมายความว่าย้ำ Jacobi แต่ละคนจะมีช่องว่างของคาดการณ์ไว้เช่น. แต่ละ iterate จะอยู่กึ่งกลาง ? ฉันถามสิ่งนี้ตั้งแต่นั้นมาก็ไม่จำเป็นต้องฉายว่างของจาก Jacobi iterates (หรือกล่าวอีกนัยหนึ่งถึงจุดศูนย์กลางL …

11 linear-algebra  optimization  matrix  iterative-method  linear-solver 

มีวิธีที่เร็วกว่าในการคำนวณข้อผิดพลาดมาตรฐานสำหรับปัญหาการถดถอยเชิงเส้นมากกว่าการสลับกลับหรือไม่? ที่นี่ฉันคิดว่าเรามีการถดถอย:X′XX′XX'X y=Xβ+ ε ,y=Xβ+ε,y=X\beta+\varepsilon, โดยที่คือn × k matrix และyคือn × 1เวกเตอร์XXXn × kn×kn\times kYYyn × 1n×1n\times 1 สำหรับการหาวิธีแก้ปัญหากำลังสองน้อยที่สุดนั้นไม่สามารถทำได้ด้วยคุณสามารถใช้การย่อยสลาย QR หรือ SVD บนเมทริกซ์Xโดยตรง หรืออีกวิธีหนึ่งคุณสามารถใช้วิธีการไล่ระดับสี แต่ข้อผิดพลาดมาตรฐานคืออะไร เราต้องการเพียงแค่เส้นทแยงมุมของ( X ′ X ) - 1 (และวิธีการแก้ปัญหา LS ตามธรรมชาติเพื่อคำนวณการประมาณการข้อผิดพลาดมาตรฐานของ ) มีวิธีการเฉพาะสำหรับการคำนวณข้อผิดพลาดมาตรฐานหรือไม่?X'XX'XX'XXXX(X′X)−1(X′X)−1(X'X)^{-1}εε\varepsilon

11 linear-algebra  optimization 

สำหรับโครงการฉันต้องใช้สองวิธีนี้และเปรียบเทียบวิธีที่พวกเขาทำงานกับฟังก์ชั่นที่แตกต่างกัน ดูเหมือนว่าวิธีการไล่ระดับสีแบบคอนจูเกตนั้นหมายถึงการแก้ระบบสมการเชิงเส้นของ Ax=bAx=b A\mathbf{x} = \mathbf{b} โดยที่AAAคือเมทริกซ์แบบ n - by - n ที่สมมาตร, บวกแน่นอนและเป็นจริง ในทางกลับกันเมื่อฉันอ่านเกี่ยวกับการไล่ระดับสีฉันเห็นตัวอย่างของฟังก์ชัน Rosenbrockซึ่งก็คือ f(x1,x2)=(1−x1)2+100(x2−x21)2f(x1,x2)=(1−x1)2+100(x2−x12)2 f(x_1,x_2) = (1-x_1)^2+100(x_2-x_1^2)^2 อย่างที่ฉันเห็นฉันไม่สามารถแก้ปัญหานี้ด้วยวิธีการไล่ระดับสีแบบคอนจูเกต หรือฉันจะพลาดบางสิ่งบางอย่าง?

11 optimization  conjugate-gradient 

ฉันมีชุดข้อมูลที่มีการเปลี่ยนแปลงอย่างช้าๆและฉันต้องติดตาม eigenvector / eigenvalues ​​ของเมทริกซ์ความแปรปรวนร่วม ฉันใช้scipy.linalg.eighแต่มันแพงเกินไปและไม่ได้ใช้ความจริงที่ว่าฉันมีการสลายตัวที่ไม่ถูกต้องเพียงเล็กน้อยเท่านั้น ใครช่วยแนะนำวิธีที่ดีกว่าในการจัดการกับปัญหานี้ได้หรือไม่?

10 linear-algebra  optimization  python  eigenvalues 

ฉันมักจะพบภาษิตทั่วไปว่าวิธีการจุดภายในเป็นเรื่องยากที่จะเริ่มอบอุ่น มีคำอธิบายที่เข้าใจง่ายตามคำแนะนำนี้หรือไม่? มีสถานการณ์ใดบ้างที่จะได้รับประโยชน์จากการเริ่มต้นอย่างอบอุ่นในวิธีการจุดภายใน? ใครช่วยแนะนำอ้างอิงที่เป็นประโยชน์ในหัวข้อ?

10 optimization  constrained-optimization 

ฉันมีปัญหาการเพิ่มประสิทธิภาพที่มีลักษณะดังต่อไปนี้ minJ,Bs.t.∑ij|Jij|MJ+BY=XminJ,B∑ij|Jij|s.t.MJ+BY=X \begin{array}{rl} \min_{J,B} & \sum_{ij} |J_{ij}|\\ \textrm{s.t.} & MJ + BY =X \end{array} ที่นี่ตัวแปรของฉันคือเมทริกซ์ และBแต่ปัญหาทั้งหมดยังคงเป็นโปรแกรมเชิงเส้น ตัวแปรที่เหลือถูกแก้ไขJJJBBB เมื่อฉันพยายามที่จะเข้าสู่โปรแกรมนี้ในเครื่องมือการเขียนโปรแกรมเชิงเส้นที่ชื่นชอบฉันพบปัญหาบางอย่าง คือถ้าฉันเขียนสิ่งนี้ในรูปแบบโปรแกรมเชิงเส้น "มาตรฐาน" เมทริกซ์พารามิเตอร์MMMและYYYท้ายสุดจะได้รับซ้ำหลายครั้ง (หนึ่งครั้งสำหรับแต่ละคอลัมน์ของXXX ) มีอัลกอริทึมและ / หรือแพ็คเกจที่สามารถจัดการกับการเพิ่มประสิทธิภาพของแบบฟอร์มด้านบนได้หรือไม่? ตอนนี้ฉันมีหน่วยความจำไม่เพียงพอเพราะMMMและYYYต้องถูกคัดลอกหลายครั้ง!

10 optimization  convex-optimization  linear-programming 

ปัญหาคือ maxf(x) subject to Ax=bmaxf(x) subject to Ax=b\max f(\mathbf{x}) \text{ subject to } \mathbf{Ax} = \mathbf{b} โดยที่f(x)=∑Ni=11+x4i(∑Ni=1x2i)2−−−−−−−−−−√f(x)=∑i=1N1+xi4(∑i=1Nxi2)2f(\mathbf{x}) = \sum_{i=1}^N\sqrt{1+\frac{x_i^4}{(\sum_{i=1}^{N}x_i^2)^2}} , x=[x1,x2,...,xN]T∈RN×1x=[x1,x2,...,xN]T∈RN×1\mathbf{x} = [x_1,x_2,...,x_N]^T \in \mathbb{R}^{N\times 1}และ A∈RM×NA∈RM×N\mathbf{A} \in \mathbb{R}^{M\times N} เราจะเห็นว่าf(.)f(.)f(.)อยู่ในรูปของ1+y2−−−−−√1+y2\sqrt{1+y^2}และเป็นฟังก์ชันนูน ก็สามารถที่จะแสดงให้เห็นว่า f (.) เป็นที่สิ้นสุดใน[2–√,2][2,2][\sqrt{2}, 2]2] นี่เป็นปัญหาการย่อขนาดเล็กที่สุดด้วยข้อ จำกัด เชิงเส้น อัลกอริธึมมาตรฐานใดที่ใช้เพื่อแก้ไขปัญหาเหล่านี้ การใช้ลักษณะเฉพาะของปัญหาเป็นไปได้หรือไม่ที่จะแก้ปัญหาโดยใช้ซอฟต์แวร์ / แพ็คเกจเพิ่มประสิทธิภาพมาตรฐาน?

10 optimization 

ฉันสนใจในการเพิ่มฟังก์ชั่นที่ Pθ ∈ R Pฉ( θ )f(θ)f(\mathbf \theta)θ ∈ Rพีθ∈Rp\theta \in \mathbb R^p ปัญหาคือฉันไม่รู้รูปแบบการวิเคราะห์ของฟังก์ชันหรืออนุพันธ์ของมัน สิ่งเดียวที่ฉันทำได้คือการประเมินฟังก์ชั่นจุดฉลาดโดยการเสียบค่าและรับการประมาณค่า NOISYณ จุดนั้น ถ้าฉันต้องการฉันสามารถลดความแปรปรวนของประมาณการเหล่านี้ได้ แต่ฉันต้องจ่ายค่าใช้จ่ายในการคำนวณที่เพิ่มขึ้น * F ( θ * )θ* * * *θ∗\theta_*ฉ^( θ* * * *)f^(θ∗)\hat{f}(\theta_*) นี่คือสิ่งที่ฉันได้ลองไปแล้ว: โคตร Stochastic ที่มีความแตกต่างอัน จำกัด : มันสามารถใช้งานได้ แต่ต้องใช้การปรับแต่งมากมาย (เช่นลำดับการได้รับ, ตัวประกอบสเกล) และบ่อยครั้งที่มันไม่เสถียร การอบแบบจำลอง: มันใช้งานได้และมีความน่าเชื่อถือ แต่ก็ต้องใช้การประเมินฟังก์ชั่นมากมายดังนั้นฉันจึงพบว่ามันค่อนข้างช้า ดังนั้นฉันขอคำแนะนำ / ความคิดเกี่ยวกับวิธีการเพิ่มประสิทธิภาพทางเลือกที่เป็นไปได้ที่สามารถทำงานภายใต้เงื่อนไขเหล่านี้ ฉันกำลังทำให้ปัญหาเป็นเรื่องปกติที่สุดเท่าที่จะทำได้เพื่อกระตุ้นข้อเสนอแนะจากงานวิจัยที่แตกต่างจากของฉัน …

10 optimization  monte-carlo  simulation 

สำหรับการปรับให้เหมาะสมจากWikipedia : ในวิทยาการคอมพิวเตอร์metaheuristicกำหนดวิธีการคำนวณที่ปรับแก้ปัญหาโดยพยายามปรับปรุงวิธีแก้ปัญหาผู้สมัครโดยคำนึงถึงการวัดคุณภาพที่กำหนด Metaheuristics มีสมมติฐานน้อยหรือไม่มีเลยเกี่ยวกับปัญหาที่ได้รับการปรับให้เหมาะสมและสามารถค้นหาช่องว่างขนาดใหญ่ของการแก้ปัญหาผู้สมัคร อย่างไรก็ตาม metaheuristic ไม่รับประกันว่าจะพบทางออกที่ดีที่สุด อภิปัญญาหลายคนใช้การเพิ่มประสิทธิภาพสุ่มบางรูปแบบ คำอื่น ๆ ที่มีความหมายคล้ายกันกับ metaheuristic คือ: ปราศจากอนุพันธ์การค้นหาโดยตรงกล่องดำหรือเครื่องมือเพิ่มประสิทธิภาพการแก้ปัญหาเพียงอย่างเดียว มีการตีพิมพ์หนังสือและแบบสำรวจหลายเล่มเกี่ยวกับเรื่องนี้ ฉันสงสัยว่าจะบอกได้อย่างไรว่าวิธีการปรับให้เหมาะสมนั้นมีการเปลี่ยนแปลงหรือไม่? ตัวอย่างเช่น, (1) วิธีการซิมเพล็กซ์สำหรับการเขียนโปรแกรมเชิงเส้นเชิงคณิตศาสตร์? (2) ส่วนใหญ่ของวิธีการเขียนโปรแกรมที่ไม่เชิงเส้นเช่นการไล่ระดับสีวิธีการคูณลากรองจ์วิธีการลงโทษวิธีการจุดมหาดไทย (วิธีการอุปสรรค), เกี่ยวกับการเปลี่ยนแปลง (3) วิธีการไล่ระดับสีฟรีทั้งหมดเช่นวิธี Nelder – Mead หรือวิธีดาวน์ฮิลล์เริมซ์, metaheuristic หรือไม่? วิธีการเพิ่มประสิทธิภาพบางอย่างที่ไม่เกี่ยวกับการเปลี่ยนแปลงคืออะไร? โดยทั่วไป (เกินกว่าการเพิ่มประสิทธิภาพ) สำหรับเทคนิคการแก้ปัญหาจากWikipedia : Heuristicหมายถึงประสบการณ์ที่ใช้เทคนิคในการแก้ปัญหาการเรียนรู้และการค้นพบ ในกรณีที่การค้นหาไม่ได้ผลจะใช้วิธีการแก้ปัญหาเพื่อเร่งกระบวนการค้นหาวิธีแก้ไขปัญหาที่น่าพอใจ ตัวอย่างของวิธีการนี้รวมถึงการใช้กฎง่ายๆการเดาที่มีการศึกษาการตัดสินใจแบบหยั่งรู้หรือสามัญสำนึก ในแง่ที่แม่นยำยิ่งขึ้นฮิวริสติกเป็นกลยุทธ์ที่ใช้เข้าถึงได้ง่ายแม้ว่าจะใช้งานได้อย่างหลวม ๆ ข้อมูลในการควบคุมการแก้ปัญหาในมนุษย์และเครื่องจักร ฉันสงสัยว่าจะเข้าใจความหมายของ "ฮิวริสติก" ได้อย่างไร? ฉันจะบอกได้อย่างไรว่า "การแก้ปัญหาการเรียนรู้และการค้นพบ" เป็นวิธีแก้ปัญหาหรือไม่? เทคนิค …

10 optimization  heuristics 

ฉันกำลังพยายามเขียนการใช้งานSVMแบบเต็มใน Python และฉันมีปัญหาเล็กน้อยในการคำนวณสัมประสิทธิ์ลากรองจ์ ก่อนอื่นให้ฉันใช้ถ้อยคำใหม่สิ่งที่ฉันเข้าใจจากอัลกอริทึมเพื่อให้แน่ใจว่าฉันอยู่บนเส้นทางที่ถูกต้อง ถ้าx1, x2, . . . , xnx1,x2,...,xnx_1, x_2, ..., x_nเป็นชุดข้อมูลและYผม∈ { - 1 , 1 }yi∈{−1,1}y_i \in \{-1, 1\}เป็นคลาสป้ายกำกับของxผมxix_iจากนั้น∀ i , yผม( ด้วยTxผม+ b ) ≥ 1∀i,yi(wTxi+b)≥1\forall i, y_i(w^Tx_i + b) \geq 1 ดังนั้นเราเพียงแค่ต้องแก้ปัญหาการเพิ่มประสิทธิภาพให้ ∥ w ∥2‖w‖2\|w\|^2 ขึ้นอยู่กับYผม( ด้วยTxผม+ b ) ≥ 1yi(wTxi+b)≥1y_i(w^Tx_i + b) \geq …

10 optimization  machine-learning  support-vector-machines  quadratic-programming 

อะไรคือวิธีที่แนะนำในการทำสแควร์สไม่เชิงเส้นอย่างน้อย minโดยมีข้อ จำกัด ของกล่อง ? ดูเหมือนว่าฉัน (คนเขลา ) ว่าใครจะทำให้ข้อ จำกัด กล่องกำลังสองและลด ที่คือ "อ่างฟังก์ชั่น" มีรูปร่างเหมือน \ _ _ _ / HI) ทฤษฎีนี้ใช้งานได้จริงหรือไม่? (ดูเหมือนว่าจะมีบทความเชิงทฤษฎีมากมายเกี่ยวกับ NLS + แต่ความสนใจของฉันเป็นจริง - กรณีทดสอบจริงหรือจริงจะช่วยให้ฉันเลือกระหว่างวิธีการ)∑erri(p)2∑erri(p)2\sum err_i(p)^2loj&lt;=pj&lt;=hijloj&lt;=pj&lt;=hijlo_j <= p_j <= hi_j∑ierri(p)2+C∗∑jtub(pj,loj,hij)2∑ierri(p)2+C∗∑jtub(pj,loj,hij)2 \sum_i err_i(p)^2 + C * \sum_j tub( p_j, lo_j, hi_j )^2 m a x ( ltub(x,lo,hi)tub(x,lo,hi)tub( x, lo, …

10 optimization  constraints