คำอธิบายฟังก์ชั่นการสูญเสีย 0-1

19

ฉันพยายามเข้าใจว่าจุดประสงค์ของฟังก์ชั่นการสูญเสียคืออะไรและฉันก็ไม่เข้าใจ

ดังนั้นเท่าที่ฉันเข้าใจฟังก์ชันการสูญเสียมีไว้สำหรับแนะนำตัวชี้วัดบางอย่างที่เราสามารถวัด "ต้นทุน" ของการตัดสินใจที่ไม่ถูกต้องด้วย

สมมุติว่าฉันมีชุดข้อมูล 30 ชิ้นฉันแบ่งพวกมันเป็นชุดฝึกอบรม / ทดสอบเช่น 20/10 ฉันจะใช้ฟังก์ชันสูญเสีย 0-1 ดังนั้นสมมติว่าชุดฉลากระดับของฉันคือMและฟังก์ชั่นมีลักษณะเช่นนี้ :

L (ผม, J) = {\begin{cases} 0 ผม = J \\ 1 ผม \neq J \end{cases} ผม, J \in M

$L(i, j) = \begin{cases} 0 \qquad i = j \\ 1 \qquad i \ne j \end{cases} \qquad i,j \in M$

ดังนั้นฉันจึงสร้างแบบจำลองบางอย่างบนข้อมูลการฝึกอบรมของฉันสมมติว่าฉันใช้ตัวจําแนก Naive Bayes และโมเดลนี้จัดประเภทวัตถุ 7 อย่างถูกต้อง (มอบหมายให้พวกเขามีป้ายชื่อคลาสที่ถูกต้อง) และ 3 วัตถุถูกจัดประเภทอย่างไม่ถูกต้อง

ดังนั้นฟังก์ชั่นการสูญเสียของฉันจะกลับมาเป็น "0" 7 ครั้งและ "1" 3 ครั้ง - ข้อมูลประเภทใดที่ฉันจะได้รับจากสิ่งนั้น แบบจำลองของฉันจำแนก 30% ของวัตถุไม่ถูกต้องหรือไม่? หรือมีมากไปไหม

หากมีข้อผิดพลาดใด ๆ ในทางของฉันคิดว่าฉันเสียใจมากฉันแค่พยายามที่จะเรียนรู้ หากตัวอย่างที่ฉันให้ไว้เป็น "นามธรรมเกินไป" ให้ฉันรู้ว่าฉันจะพยายามเจาะจงมากขึ้น หากคุณจะลองอธิบายแนวคิดโดยใช้ตัวอย่างที่แตกต่างกันโปรดใช้ฟังก์ชันการสูญเสีย 0-1

machine-learning loss-functions

— Johnny Johansson
แหล่งที่มา

14

คุณได้สรุปฟังก์ชั่นการสูญเสีย 0-1 อย่างถูกต้องว่าดูความแม่นยำ 1 ของคุณกลายเป็นตัวบ่งชี้สำหรับรายการที่ไม่ได้จัดประเภทไม่ว่าพวกเขาจะถูกจัดประเภทไว้อย่างไร เนื่องจากคุณมี 1 ใน 3 ของ 10 รายการความแม่นยำในการจัดหมวดหมู่ของคุณคือ 70%

หากคุณเปลี่ยนน้ำหนักในฟังก์ชั่นลดน้ำหนักการตีความนี้จะไม่ใช้อีกต่อไป ตัวอย่างเช่นในการจำแนกประเภทของโรคอาจมีค่าใช้จ่ายมากกว่าที่จะพลาดกรณีที่เป็นบวกของโรค (ลบลบ) กว่าที่จะวินิจฉัยโรคเท็จ (บวกเท็จ) ในกรณีนี้ฟังก์ชั่นการสูญเสียของคุณจะมีน้ำหนักการลบการจัดประเภทเชิงลบที่ผิดพลาดมากขึ้น ผลรวมของการสูญเสียของคุณจะไม่แสดงถึงความถูกต้องอีกต่อไปในกรณีนี้ แต่จะรวมถึง "ต้นทุน" ทั้งหมดของการจำแนกประเภท ฟังก์ชั่นการสูญเสีย 0-1 นั้นไม่เหมือนใครในความเทียบเท่ากับความถูกต้องเนื่องจากสิ่งที่คุณใส่ใจคือคุณได้ถูกต้องหรือไม่และไม่ใช่ข้อผิดพลาดที่เกิดขึ้น

— วังนิวเคลียร์
แหล่งที่มา

@JohnnyJohansson นั่นคือคำจำกัดความของความเที่ยงตรงในสถิติดูen.wikipedia.org/wiki/Sensitivity_and_specificity

— ทิม

@Tim - ฉันยังสับสนกับฟังก์ชั่นการสูญเสีย 0-1 - เมทริกซ์ที่ได้อาจมีค่ามากกว่า 1 กล่าวคือถ้ามีการจำแนกประเภท 3 miss เราจะเห็นค่า 3 ในรายการที่สอดคล้องกันหรือไม่ ดูที่นี่math.stackexchange.com/questions/2623072/ …

— Xavier Bourret Sicotte

2

$L_1$ $L_2$

— ทิม
แหล่งที่มา

0

ฉันคิดว่าความสับสนของคุณจะไม่แตกต่างจากการสูญเสียสำหรับจุดข้อมูลเดียวกับการสูญเสียสำหรับชุดข้อมูลทั้งหมด

$L(y,\hat y)$

\underset{ผม}{Σ} L (Y_{ผม}, {\hat{Y}}_{ผม})

$\sum_i L(y_i,\hat y_i)$

— ไห่เทาดู
แหล่งที่มา

จริง ๆ แล้วฉันได้รับความแตกต่าง แต่มันยากสำหรับฉันที่จะเข้าใจสิ่งที่ฉันต้องการการสูญเสียนี้สำหรับจุดข้อมูลหนึ่งนอกเหนือจากการคำนวณการสูญเสียสำหรับชุดข้อมูลทั้งหมด? และฉันควรพิจารณาอะไรเมื่อเลือกฟังก์ชั่นการสูญเสียอย่างเพียงพอสำหรับปัญหาเฉพาะบางอย่าง

— Johnny Johansson