ข้อดีของการเข้าถึงปัญหาโดยกำหนดฟังก์ชันต้นทุนที่ปรับให้เหมาะสมทั่วโลก

นี่เป็นคำถามที่ค่อนข้างทั่วไป (นั่นคือไม่เฉพาะเจาะจงกับสถิติ) แต่ฉันได้สังเกตเห็นแนวโน้มในการเรียนรู้ของเครื่องและวรรณกรรมทางสถิติที่ผู้เขียนต้องการทำตามวิธีการต่อไปนี้:

วิธีที่ 1 : หาวิธีแก้ไขปัญหาที่เกิดขึ้นจริงโดยกำหนดฟังก์ชันต้นทุนที่เป็นไปได้ (เช่นจากจุดยืนการคำนวณ) เพื่อค้นหาโซลูชันที่เหมาะสมที่สุดทั่วโลก (เช่นโดยกำหนดฟังก์ชันต้นทุนนูน)

ค่อนข้างมากกว่า:

วิธีที่ 2 : หาวิธีแก้ไขปัญหาเดียวกันโดยกำหนดฟังก์ชั่นต้นทุนที่เราอาจไม่สามารถหาทางออกที่ดีที่สุดทั่วโลก (เช่นเราจะได้รับทางออกที่ดีที่สุดในท้องถิ่นเท่านั้น)

โปรดทราบว่าการพูดอย่างจริงจังถึงปัญหาทั้งสองนั้นแตกต่างกัน สมมติฐานคือเราสามารถหาทางออกที่ดีที่สุดทั่วโลกสำหรับคนแรก แต่ไม่ใช่สำหรับคนที่สอง

ข้อควรพิจารณาอื่น ๆ นอกเหนือจาก (เช่นความเร็วความง่ายในการใช้งาน ฯลฯ ) ฉันกำลังมองหา:

คำอธิบายของแนวโน้มนี้ (เช่นข้อโต้แย้งทางคณิตศาสตร์หรือประวัติศาสตร์)
ประโยชน์ที่ได้รับ (ในทางปฏิบัติและ / หรือเชิงทฤษฎี) สำหรับการปฏิบัติตามแนวทางที่ 1 แทน 2 เมื่อแก้ปัญหาในทางปฏิบัติ

optimization function

— Amelio Vazquez-Reina
แหล่งที่มา

คำตอบ:

ฉันเชื่อว่าเป้าหมายควรเพิ่มประสิทธิภาพฟังก์ชั่นที่คุณสนใจหากนั่นเป็นจำนวนการจำแนกประเภท - และไม่ใช่ความน่าจะเป็นทวินามพูด - คุณควรลองลดจำนวนการจำแนกประเภท อย่างไรก็ตามสำหรับจำนวนเหตุผลเชิงปฏิบัติที่กล่าวถึง (ความเร็วการนำไปปฏิบัติความไม่แน่นอน ฯลฯ ) สิ่งนี้อาจไม่ง่ายนักและอาจเป็นไปไม่ได้ ในกรณีนี้เราเลือกที่จะประมาณวิธีแก้ปัญหา

ฉันรู้เกี่ยวกับกลยุทธ์การประมาณสองอย่างโดยทั่วไป ไม่ว่าเราจะเกิดอัลกอริธึมที่พยายามประมาณวิธีแก้ปัญหาโดยตรงหรือเราปรับแก้ปัญหาเดิมเป็นปัญหาที่แก้ไขได้โดยตรง (เช่นการผ่อนคลายแบบนูน)

คณิตศาสตร์อาร์กิวเมนต์สำหรับการเลือกวิธีการหนึ่งในช่วงอื่น ๆ คือไม่ว่าเราจะสามารถเข้าใจ) คุณสมบัติของการแก้ปัญหาการคำนวณจริงและ b) วิธีการที่ดีวิธีการใกล้เคียงกับทางออกของปัญหาที่เรามีความสนใจจริงใน

ฉันรู้ผลลัพธ์ในสถิติจำนวนมากซึ่งเราสามารถพิสูจน์คุณสมบัติของโซลูชันสำหรับปัญหาการเพิ่มประสิทธิภาพได้ สำหรับฉันดูเหมือนว่าจะยากกว่าในการวิเคราะห์วิธีแก้ปัญหาของอัลกอริทึมที่คุณไม่มีสูตรทางคณิตศาสตร์ของสิ่งที่คำนวณ (เช่นแก้ปัญหาการปรับให้เหมาะสม) แน่นอนฉันจะไม่อ้างว่าคุณทำไม่ได้ แต่ดูเหมือนว่าจะเป็นประโยชน์ทางทฤษฎีถ้าคุณสามารถกำหนดสูตรทางคณิตศาสตร์ที่ชัดเจนของสิ่งที่คุณคำนวณ

มันยังไม่ชัดเจนกับผมถ้าข้อโต้แย้งทางคณิตศาสตร์เช่นให้ใด ๆประโยชน์ในทางปฏิบัติที่จะเข้าหา 1 มากกว่าวิธีการ 2. มีแน่นอนใครสักคนออกมีที่ไม่กลัวของฟังก์ชั่นการสูญเสียที่ไม่นูน

— NRH
แหล่งที่มา

ขอบคุณสำหรับการอ้างอิงถึงคำปราศรัยของ Yann LeCun ฉันหวังว่าจะได้ดูมัน

— Amelio Vazquez-Reina

@NRH ให้คำตอบสำหรับคำถามนี้ (มากกว่า 5 ปีที่แล้ว) ดังนั้นฉันจะเสนอวิธีที่ 3 ซึ่งรวมวิธีที่ 1 และ 2

วิธีที่ 3 :

กำหนดและแก้ปัญหาการมองโลกในแง่ดีที่สุดหรือในทุก ๆ กรณีการปรับให้เหมาะสมทั่วโลก (ไม่จำเป็นต้องมีการนูน) ปัญหาที่ "ใกล้" กับปัญหาที่คุณต้องการแก้ไข
ใช้โซลูชันที่เหมาะสมที่สุดทั่วโลกตั้งแต่ขั้นตอนที่ 1 เป็นวิธีการเริ่มต้น (เริ่มต้น) ไปจนถึงปัญหาการปรับให้เหมาะสมแบบไม่นูนที่คุณต้องการแก้ (หรือต้องการแก้มากกว่าการแก้ปัญหาในขั้นตอนที่ 1) หวังว่าโซลูชันเริ่มต้นของคุณจะอยู่ใน "ภูมิภาคของแหล่งท่องเที่ยว" กับระดับโลกที่เหมาะสมที่สุดเมื่อเทียบกับวิธีการแก้ปัญหาที่ใช้ในการแก้ปัญหาการเพิ่มประสิทธิภาพแบบไม่นูนที่คุณต้องการแก้ไข

— หินมาร์คแอล
แหล่งที่มา

โปรดระบุตัวอย่างที่ชัดเจน

— horaceT

มันไม่ใช่กรณีของ Mark แต่วิธีการทั่วไปในปัญหาการมองเห็นคอมพิวเตอร์หลายอย่างก็คือการใช้non-convexity ที่สำเร็จการศึกษาเพื่อให้ได้ลำดับของ optima ท้องถิ่นที่ "ดี" กับปัญหาที่เกี่ยวข้อง ตัวอย่างที่เป็นรูปธรรมคือหยาบเพื่อปรับการไหลของแสงที่สำหรับคู่ของภาพ, จัดหยาบขนาดจะใช้ในการค้นหาเมล็ดพันธุ์ในระดับปลีกย่อยที่เคลื่อนผ่านคู่ของปิรามิดภาพ

— GeoMatt22

@horaceT สมมติว่าคุณต้องการแก้ปัญหากำลังสองน้อยที่สุดแบบไม่เชิงเส้น ~ซึ่งไม่นูน ในขั้นตอนที่ 1 คุณสามารถแก้ปัญหากำลังสองน้อยที่สุดเชิงเส้น ~ซึ่งเป็นรูปนูนและสามารถแก้ไขได้เพื่อให้เกิดประโยชน์สูงสุดในระดับโลก จากนั้นในขั้นตอนที่ 2 ให้ใช้เป็นค่าเริ่มต้นสำหรับกำลังสองที่ไม่เชิงเส้น ปัญหาคล้ายกัน แต่ข้อผิดพลาดนั้นแตกต่างกัน มีปัญหามากมายที่ต้องการบทลงโทษที่ไม่ใช่นูน (สำหรับขั้นตอนที่ 2) แต่อาจถูกแทนที่ด้วยบทลงโทษนูนสำหรับขั้นตอนที่ 1 ซ้ำหลาย ๆ ก็ได้เช่นกัน

y

$y$

a e^{b x}

$ae^{bx}$

y

$y$

a a + b b x

$aa + bb x$

a = e^{a a_{o p t i m a l}}, b = b b_{o p t i m a l}

$a = e^{aa_{optimal}}, b = bb_{optimal}$

— Mark L. Stone

@ GeoMatt22 สิ่งที่คุณอธิบายมีความคล้ายคลึงกันในจิตวิญญาณและทับซ้อนกับสิ่งที่เรียกว่าวิธีการ homotopy ซึ่งเส้นทางไปสู่การแก้ไขปัญหาที่คุณต้องการแก้ไขนั้นถูกติดตามโดยการแก้ปัญหาที่พารามิเตอร์เช่น ข้อ จำกัด ถูกผูกไว้จะค่อย ๆ เปลี่ยนและแก้ไขปัญหาต่อเนื่องซึ่งปัญหาแรกนั้นง่ายต่อการแก้ไขตั้งแต่เริ่มต้น อาจเป็นกรณีที่ปัญหาแรกนูนหรือแก้ไขปัญหาได้ แต่ปัญหาในภายหลังอาจไม่ได้แม้ว่าทางออกที่ดีที่สุดของพวกเขาอาจต่อเนื่องในพารามิเตอร์

— Mark L. Stone