ฟังก์ชั่นวัตถุประสงค์ฟังก์ชั่นค่าใช้จ่ายฟังก์ชั่นการสูญเสีย: พวกเขาเหมือนกันหรือไม่?

ในการเรียนรู้ของเครื่องจักรผู้คนพูดถึงฟังก์ชั่นวัตถุประสงค์ฟังก์ชั่นค่าใช้จ่ายฟังก์ชั่นการสูญเสีย พวกเขาต่างชื่อกันในสิ่งเดียวกันหรือไม่? ควรใช้เมื่อใด หากพวกเขาไม่ได้อ้างถึงสิ่งเดียวกันเสมอไปความแตกต่างคืออะไร?

เงื่อนไขเหล่านี้ไม่เข้มงวดมากและเกี่ยวข้องกันมาก อย่างไรก็ตาม:

• ฟังก์ชั่นการสูญเสียมักจะเป็นฟังก์ชั่นที่กำหนดไว้ในจุดข้อมูลการทำนายและฉลากและมาตรการลงโทษ ตัวอย่างเช่น:
  • ตารางการสูญเสียใช้ในการถดถอยเชิงเส้น$l(f(x_i|\theta),y_i) = \left (f(x_i|\theta)-y_i \right )^2$
  • บานพับสูญเสีย , ใช้ใน SVM$l(f(x_i|\theta), y_i) = \max(0, 1-f(x_i|\theta)y_i)$
  • 0/1 การสูญเสียใช้ในการวิเคราะห์เชิงทฤษฎีและคำจำกัดความของความถูกต้อง$l(f(x_i|\theta), y_i) = 1 \iff f(x_i|\theta) \neq y_i$
• ฟังก์ชั่นค่าใช้จ่ายมักจะกว้างขึ้น อาจเป็นผลรวมของฟังก์ชั่นการสูญเสียในชุดการฝึกอบรมของคุณบวกกับการปรับความซับซ้อนของโมเดล (การทำให้เป็นปกติ) ตัวอย่างเช่น:
  • Mean Squared Error$MSE(\theta) = \frac{1}{N} \sum_{i=1}^N \left (f(x_i|\theta)-y_i \right )^2$
  • ฟังก์ชันต้นทุน (มีข้อ จำกัด เพิ่มเติมในการเชื่อมต่อกับและชุดฝึกอบรม)$SVM(\theta) = \|\theta\|^2 + C \sum_{i=1}^N \xi_i$$\xi_i$$C$
• ฟังก์ชันวัตถุประสงค์เป็นคำทั่วไปที่สุดสำหรับฟังก์ชันใด ๆ ที่คุณปรับให้เหมาะสมในระหว่างการฝึกอบรม ตัวอย่างเช่นความน่าจะเป็นของการสร้างชุดการฝึกอบรมด้วยวิธีความน่าจะเป็นสูงสุดคือฟังก์ชันวัตถุประสงค์ที่กำหนดไว้อย่างดี แต่ไม่ใช่ฟังก์ชันการสูญเสียหรือฟังก์ชันต้นทุน (แต่คุณสามารถกำหนดฟังก์ชันต้นทุนที่เทียบเท่าได้) ตัวอย่างเช่น:
  • MLE เป็นฟังก์ชันวัตถุประสงค์ประเภทหนึ่ง (ซึ่งคุณจะได้ประโยชน์สูงสุด)
  • ความแตกต่างระหว่างคลาสสามารถเป็นฟังก์ชันที่มีวัตถุประสงค์ แต่มันแทบจะเป็นฟังก์ชั่นค่าใช้จ่ายยกเว้นว่าคุณจะกำหนดสิ่งที่ประดิษฐ์ขึ้นเช่น 1-Divergence และตั้งชื่อค่าใช้จ่าย

เรื่องสั้นสั้นฉันจะบอกว่า:

ฟังก์ชั่นการสูญเสียเป็นส่วนหนึ่งของฟังก์ชันต้นทุนซึ่งเป็นฟังก์ชันวัตถุประสงค์ประเภทหนึ่ง

ตามที่ศาสตราจารย์แอนดรูว์อึ้ง (ดูสไลด์ในหน้า 11)

ฟังก์ชัน h (X) แสดงถึงสมมติฐานของคุณ สำหรับพารามิเตอร์การติดตั้งคงที่ theta มันเป็นฟังก์ชั่นของคุณสมบัติ X ผมว่านี่อาจเรียกว่า Objective Function

ฟังก์ชันต้นทุน J เป็นฟังก์ชันของพารามิเตอร์การปรับที J = J (theta)

อ้างอิงจากหนังสือ"องค์ประกอบของการเรียนรู้ทางสถิติ"ของ Hastie et al. , โดย p.37:

"เราค้นหาฟังก์ชัน f (X) สำหรับทำนายค่า Y ที่ได้รับจากอินพุต X" [... ] ฟังก์ชั่นการสูญเสีย L (Y, f (X)) คือ "ฟังก์ชั่นสำหรับลงโทษข้อผิดพลาดในการทำนาย"

ดังนั้นดูเหมือนว่า "ฟังก์ชั่นการสูญเสีย" เป็นคำทั่วไปที่กว้างกว่า "ฟังก์ชั่นค่าใช้จ่าย" เล็กน้อย หากคุณค้นหา "การสูญเสีย" ใน PDF นั้นฉันคิดว่าพวกเขาใช้ "ฟังก์ชั่นต้นทุน" และ "ฟังก์ชั่นการสูญเสีย" ค่อนข้างตรงกัน

แท้จริงแล้ว 502

"สถานการณ์ [ในการจัดกลุ่ม] ค่อนข้างคล้ายกับข้อกำหนดของฟังก์ชันการสูญเสียหรือต้นทุนในการทำนายปัญหา (การเรียนรู้แบบมีผู้สอน)"

อาจมีคำศัพท์เหล่านี้อยู่เพราะพวกเขาพัฒนาขึ้นมาอย่างอิสระในชุมชนวิชาการที่แตกต่างกัน "Objective Function" เป็นคำศัพท์เก่าที่ใช้ในการวิจัยปฏิบัติการและคณิตศาสตร์วิศวกรรม "ฟังก์ชั่นการสูญเสีย" อาจมีการใช้งานมากขึ้นในหมู่นักสถิติ แต่ฉันคาดเดาที่นี่

ในคำพูดของ Andrew NG -

"ในที่สุดฟังก์ชั่นการสูญเสียถูกกำหนดด้วยความเคารพในตัวอย่างการฝึกอบรมเดียวมันวัดว่าคุณทำได้ดีแค่ไหนในการฝึกตัวอย่างเดียวตอนนี้ฉันกำลังจะนิยามสิ่งที่เรียกว่าฟังก์ชั่นต้นทุน ทำชุดฝึกอบรมทั้งหมดดังนั้นฟังก์ชั่นค่าใช้จ่าย J ซึ่งใช้กับพารามิเตอร์ของคุณคือ W และ B จะเป็นค่าเฉลี่ยโดยหนึ่งใน m ของผลรวมของฟังก์ชั่นการสูญเสียที่ใช้กับตัวอย่างการฝึกอบรมแต่ละรอบแล้ว "

จากหัวข้อ 4.3 ใน "การเรียนรู้ลึก" - Ian Goodfellow, Yoshua Bengio, Aaron Courville http://www.deeplearningbook.org/

"ฟังก์ชันที่เราต้องการย่อหรือขยายให้ใหญ่ที่สุดเรียกว่าฟังก์ชันวัตถุประสงค์หรือเกณฑ์เมื่อเราย่อเล็กสุดเราอาจเรียกว่าฟังก์ชันต้นทุนฟังก์ชันสูญเสียหรือฟังก์ชันข้อผิดพลาดในหนังสือเล่มนี้เราใช้คำเหล่านี้แทนกันได้ แม้ว่าสิ่งพิมพ์การเรียนรู้ด้วยเครื่องบางเครื่องจะกำหนดความหมายพิเศษให้กับข้อกำหนดเหล่านี้บางส่วน "

ในหนังสือเล่มนี้อย่างน้อยการสูญเสียและค่าใช้จ่ายเหมือนกัน

เพื่อให้คำตอบสั้น ๆ ตามพวกเขาพวกเขามีความหมายเหมือนกัน อย่างไรก็ตามฟังก์ชั่นราคาถูกใช้มากขึ้นในปัญหาการเพิ่มประสิทธิภาพและฟังก์ชั่นการสูญเสียจะใช้ในการประมาณค่าพารามิเตอร์

ฟังก์ชันต้นทุนและการสูญเสียข้อกำหนดมีความหมายเหมือนกันบางคนเรียกว่าฟังก์ชันข้อผิดพลาด สถานการณ์ทั่วไปมากขึ้นคือการกำหนดฟังก์ชั่นวัตถุประสงค์ก่อนซึ่งเราต้องการที่จะเพิ่มประสิทธิภาพ ฟังก์ชั่นวัตถุประสงค์นี้สามารถที่จะ

1. เพิ่มความน่าจะเป็นหลัง (เช่นซื่อๆเบย์)
2. เพิ่มฟังก์ชั่นการออกกำลังกายให้มากที่สุด (การโปรแกรมเชิงพันธุกรรม)
3. เพิ่มฟังก์ชั่นรางวัล / มูลค่ารวมสูงสุด (การเรียนรู้เสริม)
4. เพิ่มข้อมูลที่ได้รับ / ลดความผิดพลาดของโหนดลูก (การจัดหมวดหมู่แผนภูมิการตัดสินใจของ CART) 5. ลดฟังก์ชั่นค่าใช้จ่ายข้อผิดพลาดกำลังสอง (หรือการสูญเสีย) (CART, การถดถอยของต้นไม้การตัดสินใจ, การถดถอยเชิงเส้น
5. เพิ่มโอกาสในการบันทึกหรือลดฟังก์ชั่นการสูญเสียข้ามหรือเอนโทรปี (หรือค่าใช้จ่าย) ลดการสูญเสียบานพับ (สนับสนุนเครื่องเวกเตอร์)

จริง ๆ แล้วง่ายถ้าคุณมีข้อมูลการฝึกอบรมเช่นนี้ (x (1), y (1)), (x (2), y (2)), . . (x (m), y (m)) เราใช้ฟังก์ชั่นการสูญเสีย L (ycap, y) เพื่อค้นหาการสูญเสียระหว่าง ycap และ y ของชุดการฝึกอบรมเดี่ยวหากเราต้องการหาการสูญเสียระหว่าง ycap และ y ของชุดการฝึกอบรมทั้งหมดที่เราใช้ ฟังก์ชั่นค่าใช้จ่าย

หมายเหตุ: - ycap หมายถึงเอาต์พุตจากรุ่นของเราและ y หมายถึงเอาต์พุตที่คาดหวัง

หมายเหตุ: - เครดิตไปที่ทรัพยากรของ Andrew: เครือข่ายประสาทของหลักสูตรและการเรียนรู้อย่างลึกซึ้ง

ฟังก์ชั่นการสูญเสียคำนวณข้อผิดพลาดสำหรับตัวอย่างการฝึกอบรมเดียวในขณะที่ฟังก์ชั่นค่าใช้จ่ายเป็นค่าเฉลี่ยของฟังก์ชั่นการสูญเสียของชุดการฝึกอบรมทั้งหมด