อะไรคือความแตกต่างระหว่างฟังก์ชั่นการสูญเสียและฟังก์ชั่นการตัดสินใจ?

ฉันเห็นว่าทั้งสองฟังก์ชั่นเป็นส่วนหนึ่งของวิธีการขุดข้อมูลเช่นตัวเร่งการเลื่อนสีไล่ระดับสี ฉันเห็นว่ามันเป็นวัตถุแยกกันเช่นกัน

ความสัมพันธ์ระหว่างทั้งสองเป็นอย่างไร

ฟังก์ชั่นการตัดสินใจเป็นฟังก์ชั่นซึ่งจะมีชุดข้อมูลเป็น input และให้การตัดสินใจเป็นเอาท์พุท การตัดสินใจขึ้นอยู่กับปัญหาที่เกิดขึ้น ตัวอย่างรวมถึง:

• ปัญหาการประมาณค่า: "การตัดสินใจ" คือค่าประมาณ
• ปัญหาการทดสอบสมมติฐาน:การตัดสินใจคือปฏิเสธหรือไม่ปฏิเสธสมมติฐานว่าง
• ปัญหาการจำแนก:การตัดสินใจคือการจำแนกการสังเกตใหม่ (หรือการสังเกต) เป็นหมวดหมู่
• ปัญหาการเลือกรูปแบบ:การตัดสินใจคือการเลือกหนึ่งในรูปแบบของผู้สมัคร

โดยทั่วไปจะมีฟังก์ชั่นการตัดสินใจจำนวนไม่ จำกัด สำหรับปัญหา หากเรามีความสนใจในการประเมินความสูงของชายชาวสวีเดนจากการสังเกตสิบครั้งเราสามารถใช้ฟังก์ชันการตัดสินใจใด ๆ ต่อไปนี้d ( x ) :$\mathbf{x}=(x_1,x_2,\ldots,x_{10})$$d(\mathbf{x})$

• ค่าเฉลี่ยตัวอย่าง: ฉัน$d(\mathbf{x})=\frac{1}{10}\sum_{i=1}^{10}x_i$
• ค่ามัธยฐานของตัวอย่าง: $d(\mathbf{x})=\mbox{median}(\mathbf{x})$
• ค่าเฉลี่ยเรขาคณิตของตัวอย่าง: $d(\mathbf{x})=\sqrt[10]{x_1\cdots x_{10}}$
• ฟังก์ชั่นที่เสมอกลับ 1: โดยไม่คำนึงถึงความคุ้มค่าของx โง่ใช่ แต่มันก็เป็นฟังก์ชั่นการตัดสินใจที่ถูกต้อง$d(\mathbf{x})=1$$\mathbf{x}$

เราจะตัดสินใจได้อย่างไรว่าจะใช้ฟังก์ชันการตัดสินใจใด วิธีหนึ่งคือการใช้ฟังก์ชั่นการสูญเสียซึ่งอธิบายถึงการสูญเสีย (หรือค่าใช้จ่าย) ที่เกี่ยวข้องกับการตัดสินใจที่เป็นไปได้ทั้งหมด ฟังก์ชันการตัดสินใจที่แตกต่างกันมีแนวโน้มที่จะนำไปสู่ข้อผิดพลาดประเภทต่าง ๆ ฟังก์ชั่นการสูญเสียบอกเราว่าเราควรจะกังวลเกี่ยวกับข้อผิดพลาดประเภทใด ฟังก์ชั่นการตัดสินใจที่ดีที่สุดคือฟังก์ชั่นที่มีอัตราผลตอบแทนต่ำสุดขาดทุนที่คาดว่า สิ่งที่เกิดขึ้นจากการสูญเสียที่คาดหวังขึ้นอยู่กับการตั้งค่า (โดยเฉพาะอย่างยิ่งไม่ว่าเราจะพูดถึงสถิติที่ใช้บ่อยหรือแบบเบย์ )

สรุป:

• ฟังก์ชั่นการตัดสินใจจะใช้ในการตัดสินใจตามข้อมูล
• ฟังก์ชั่นการสูญเสียถูกใช้เพื่อกำหนดฟังก์ชั่นการตัดสินใจที่จะใช้

ฟังก์ชั่นการสูญเสียคือสิ่งที่ถูกย่อให้เล็กสุดเพื่อให้ได้แบบซึ่งเหมาะสมที่สุดในบางแง่มุม ตัวแบบมีฟังก์ชั่นการตัดสินใจที่ใช้ในการทำนาย

ตัวอย่างเช่นในตัวแยกประเภท SVM:

• $\mathcal{L}(\mathbf{w}, \xi) =\frac{1}{2}\|\mathbf{w}\|^2 + C\sum_i \xi_i$
• $f(\mathbf{x}) = \mathbf{w}^T\mathbf{x} + b$