การเพิ่มประสิทธิภาพทางคณิตศาสตร์ในฟังก์ชั่นที่มีเสียงดัง

ปล่อยให้เป็นฟังก์ชั่นที่ค่อนข้างดี (เช่นต่อเนื่องสร้างความแตกต่างไม่ได้มีค่าสูงสุดในท้องถิ่นมากเกินไปอาจเป็นเว้า ฯลฯ ) ฉันต้องการหาค่าสูงสุดของ : ค่าที่ทำให้ $f:\mathbb{R}^d \to \mathbb{R}$ $f$ $x \in \mathbb{R}^d$ $f(x)$ มีขนาดใหญ่ที่สุดเท่าที่จะเป็นไปได้

หากฉันมีขั้นตอนการประเมินแม่นยำเกี่ยวกับอินพุตที่ฉันเลือกฉันสามารถใช้เทคนิคการเพิ่มประสิทธิภาพทางคณิตศาสตร์แบบมาตรฐาน: การปีนเขา, การไล่ระดับสี (เช่น, การไล่ระดับสีขึ้น), ฯลฯ อย่างไรก็ตามในแอปพลิเคชันของฉัน วิธีประเมินอย่างแน่นอน ฉันมีวิธีประเมินค่าของ $f$ $f(x)$ $f(x)$ )

โดยเฉพาะอย่างยิ่งใดก็ตามและใด ๆฉันมีพยากรณ์ว่าออกจะประมาณการของและมีข้อผิดพลาดคาดว่าจะอยู่ที่ประมาณεเวลาทำงานของภาวนา oracle นี้เป็นสัดส่วน 2(มันถูกนำมาใช้โดยการจำลองชนิด; ความแม่นยำของการจำลองเพิ่มขึ้นด้วยสแควร์รูทของจำนวนการทดลองและฉันสามารถเลือกจำนวนการทดลองที่จะเรียกใช้ดังนั้นฉันสามารถเลือกความแม่นยำที่ต้องการ) ดังนั้นนี่จึงทำให้ฉัน วิธีที่จะได้รับการประมาณการความแม่นยำใด ๆ ที่ฉันต้องการ แต่ยิ่งแม่นยำฉันต้องการประมาณการเป็นอีกต่อไปมันจะพาฉัน $x$ $\varepsilon$ $f(x)$ $\varepsilon$ $1/\varepsilon^2$

จาก oracle ที่มีเสียงดังนี้สำหรับมีเทคนิคใดในการคำนวณค่าสูงสุดของอย่างมีประสิทธิภาพมากที่สุดหรือไม่? (หรือแม่นยำยิ่งขึ้นโดยการหาค่าสูงสุดโดยประมาณ) มีตัวแปรของการปีนเขา, การไล่ระดับสี ฯลฯ ซึ่งทำงานภายในรุ่นนี้หรือไม่? $f$ $f$

แน่นอนฉันอาจจะแก้ไขค่าที่น้อยมากของและใช้เนินเขาปีนเขาหรือเชื้อสายลาดกับ Oracle นี้ทำให้เดียวกันตลอด อย่างไรก็ตามสิ่งนี้อาจไม่มีประสิทธิภาพโดยไม่จำเป็น: เราอาจไม่ต้องการการประมาณที่แม่นยำใกล้กับจุดเริ่มต้นในขณะที่ความแม่นยำใกล้ถึงจุดสิ้นสุดเมื่อคุณมีค่าศูนย์ในโซลูชันมีความสำคัญมากขึ้น ดังนั้นมีวิธีใดที่จะใช้ประโยชน์จากความสามารถของฉันในการควบคุมความถูกต้องของการประมาณแบบไดนามิกเพื่อให้กระบวนการเพิ่มประสิทธิภาพมีประสิทธิภาพมากขึ้น เคยศึกษาปัญหาแบบนี้มาก่อนหรือไม่? $\varepsilon$ $\varepsilon$

optimization approximation

— DW
แหล่งที่มา

ดูเหมือนว่าปัญหาการปรับให้เหมาะสมอัตรามากเพื่อรับประกันสาขาการศึกษาของตัวเอง แล้วการอบแบบจำลอง คุณสามารถปรับความคิดจากที่นั่นความน่าจะเป็นในการเปลี่ยนแปลงและตารางอุณหภูมิได้หรือไม่ มีการเชื่อมต่อที่นั่น - ในขณะที่คุณดำเนินการลดอุณหภูมิและในกรณีของคุณคุณต้องการ

จะลดลง

ϵ

$\epsilon$

— randomsurfer_123

cybersynchronicity พบว่ากรณีนี้เมื่อเร็ว ๆ นี้ในโปรแกรม GA เห็นด้วยกับอาร์เอสดังกล่าวข้างต้นที่จำลองการอบอ่อนที่ความแม่นยำของการประเมินฟังก์ชั่นประมาณตรงกับการลดลงของอุณหภูมิควรทำงาน อีกแนวคิดหนึ่งคือทำตัวอย่าง # จำนวนคงที่ในแต่ละจุดและใช้ค่าเฉลี่ยเป็นค่าประมาณ ทฤษฎีขั้นสูงเพิ่มเติมอาจบอกคุณว่าคุณไม่สามารถหาอะไรได้เลยและไม่มีทางลัดในการประเมินที่ปรับปรุงการเพิ่มประสิทธิภาพ

— vzn

ใครสามารถแทนที่ฟังก์ชั่นที่แน่นอนโดยฟังก์ชั่นที่มีเสียงดังโดยที่เป็นพารามิเตอร์ประดิษฐ์ที่ใช้เพื่ออธิบายการพึ่งพาเสียงดังกล่าวที่และมี สัญญาณรบกวน $f(x,p)$ $f(x+\Delta x, p + \Delta p)$ $p$ $\Delta x$ $\Delta p$

เทคนิคบางอย่างที่ใช้ในการเพิ่มประสิทธิภาพแบบสุ่มและการปรับให้เหมาะสมอาจมีผลบังคับใช้
เพราะใกล้สูงสุดที่เป็นอันตรายน้อยกว่าพี $\frac{\partial f}{\partial x}\approx 0$ $\Delta x$ $\Delta p$
บางครั้งจะสามารถประมาณการได้อย่างถูกต้องขณะที่การประเมิน )บ่อยครั้งสิ่งนี้เป็นความจริงในทางทฤษฎีเท่านั้นเพราะมันไม่ได้ถูกนำไปใช้และบางส่วนก็ต้องการการดูแลเป็นพิเศษ $\frac{\partial f}{\partial x}(\tilde{x}, \tilde{p})$ $f(\tilde{x}, \tilde{p})$
"smallness" ที่ต้องการของ (และ ) คือการตัดสินใจ "ผู้ใช้ปลายทาง" หนึ่งสามารถนำเสนอการวิเคราะห์พฤติกรรมที่จะควบคุมมัน แต่สัดส่วนรันไทม์เพื่อช้าเกินไปสำหรับการจัดการความถูกต้องโดยอัตโนมัติอย่างเต็มที่ $\Delta p$ $\Delta x$ $1/\epsilon^2$
เสียงที่ได้รับเทียบกับการแลกเปลี่ยนแบบรันไทม์คือสิ่งที่ทำให้ปัญหานี้แตกต่างจากปัญหาที่ศึกษามาดีกว่า ปัญหาที่เกิดขึ้นคือเสียงไม่สามารถหลีกเลี่ยงได้เป็นเรื่องธรรมดามากกว่าและศึกษาได้ดีกว่า

— โทมัสคลิมเพล
แหล่งที่มา

ขอบคุณสำหรับความคิด. ฉันกำลังดิ้นรนเล็กน้อยที่จะเข้าใจว่าการเปลี่ยนนี้จะหมายถึงอะไรและช่วยได้อย่างไร นี่เทียบเท่ากับการแทนที่

ด้วย

หรือไม่ ผมไม่แน่ใจว่าวิธีการที่จะทำให้ความรู้สึกของ

: ถ้าผมเข้าใจข้อเสนอของคุณอย่างถูกต้องก็จะได้รับการแก้ไขและมันจะไม่เป็นสิ่งที่ฉันสามารถเลือก (โดยไม่ต้องสูญเสียของทั่วไปเราอาจจะเป็นชุดเดียวกับ

และ ดูดซับการพึ่งพาใด ๆ ลงในนิยามของ

f (x, p)

$f(x,p)$

f^{*} (x + Δ x, Δ p)

$f^*(x+\Delta x,\Delta p)$

p

$p$

p = 0

$p=0$

f^{*}

$f^*$ ) การเพิ่มประสิทธิภาพแบบสุ่มและการเพิ่มประสิทธิภาพที่มีประสิทธิภาพนั้นฟังดูคล้ายกับสิ่งที่ฉันกำลังมองหามากหรือน้อยดังนั้นมันจึงมีประโยชน์มาก ขอบคุณ.

— DW

@DW ใช่คุณสามารถตั้งค่า

แล้วรุ่นที่มีเสียงดังของ

คือ

)

ตามที่กล่าวไว้

และ

มีสัญญาณรบกวน แม่นยำกว่าพวกเขาไม่เพียง แต่บรรจุเสียงเท่านั้น แต่เป็นเสียงรบกวน

p = 0

$p=0$

f (x, 0)

$f(x,0)$

f (x + Δ x, Δ p)

$f(x+\Delta x, \Delta p)$

Δ x

$\Delta x$

Δ p

$\Delta p$

— Thomas Klimpel