ฟังก์ชั่นการสูญเสียค่าสัมประสิทธิ์ลูกเต๋าเทียบกับเอนโทรปี

เมื่อทำการฝึกอบรมการแบ่งส่วนพิกเซลของโครงข่ายประสาทเทียมเช่นเครือข่าย convolutional ทั้งหมดคุณจะตัดสินใจใช้ฟังก์ชั่นการสูญเสียข้ามเอนโทรปีกับฟังก์ชันการสูญเสียค่าสัมประสิทธิ์ Dice ได้อย่างไร?

ฉันรู้ว่านี่เป็นคำถามสั้น ๆ แต่ไม่แน่ใจว่าจะให้ข้อมูลอื่นใดอีก ฉันดูเอกสารจำนวนมากเกี่ยวกับฟังก์ชั่นการสูญเสียสองอย่าง แต่ไม่สามารถเข้าใจได้ง่ายว่าจะใช้ฟังก์ชันใดฟังก์ชันหนึ่ง

เหตุผลหนึ่งที่น่าสนใจสำหรับการใช้ข้ามเอนโทรปีมากกว่าค่าสัมประสิทธิ์ลูกเต๋าหรือตัวชี้วัด IoU ที่คล้ายกันคือการไล่ระดับสีนั้นดีกว่า

การไล่ระดับสีของการข้ามเอนโทรปี wrt logits เป็นบางสิ่งเช่นโดยที่คือเอาต์พุต softmax และคือเป้าหมาย ในขณะเดียวกันถ้าเราพยายามเขียนค่าสัมประสิทธิ์ลูกเต๋าในรูปแบบ differentiable:หรือผลการไล่ระดับสีของ wrtนั้นน่าเกลียดมาก :และ2} เป็นเรื่องง่ายที่จะจินตนาการถึงกรณีที่ทั้งและมีขนาดเล็กและการไล่ระดับสีทำให้เกิดมูลค่ามหาศาล โดยทั่วไปดูเหมือนว่าการฝึกอบรมจะไม่แน่นอนมากขึ้น$p - t$$p$$t$$\frac{2pt}{p^2+t^2}$$\frac{2pt}{p+t}$$p$$\frac{2t^2}{(p+t)^2}$$\frac{2t(t^2-p^2)}{(p^2+t^2)^2}$$p$$t$

เหตุผลหลักที่ผู้คนพยายามใช้สัมประสิทธิ์ลูกเต๋าหรือ IoU โดยตรงก็คือเป้าหมายที่แท้จริงคือการเพิ่มประสิทธิภาพของตัวชี้วัดเหล่านั้นและการข้ามเอนโทรปีเป็นเพียงพร็อกซีที่ง่ายต่อการเพิ่มการใช้แบ็คแพ็ค นอกจากนี้ค่าสัมประสิทธิ์ลูกเต๋าจะทำงานได้ดีขึ้นในปัญหาความไม่สมดุลของคลาสโดยการออกแบบ:

อย่างไรก็ตามความไม่สมดุลของคลาสมักจะได้รับการดูแลอย่างง่าย ๆ โดยการกำหนดตัวคูณการสูญเสียให้กับแต่ละชั้นเรียนเช่นเครือข่ายนั้นมีความสับสนอย่างมากที่จะเพิกเฉยต่อชั้นเรียนที่ปรากฏขึ้นไม่บ่อยนักดังนั้นจึงไม่มีความชัดเจนว่า

ฉันจะเริ่มต้นด้วยการสูญเสียข้ามเอนโทรปีซึ่งดูเหมือนว่าจะเป็นการสูญเสียมาตรฐานสำหรับเครือข่ายการแบ่งส่วนการฝึกอบรมเว้นแต่จะมีเหตุผลที่น่าสนใจจริงๆที่จะใช้สัมประสิทธิ์ Dice

ดังที่สรุปโดย @shimao และ @cherub เราไม่สามารถพูด apriori ได้ว่าชุดข้อมูลใดจะทำงานได้ดีขึ้น วิธีที่ถูกต้องคือลองทั้งสองอย่างและเปรียบเทียบผลลัพธ์ นอกจากนี้โปรดทราบว่าเมื่อพูดถึงการแบ่งส่วนมันไม่ง่ายเลยที่จะ"เปรียบเทียบผลลัพธ์" : การวัดตาม IoU เช่นค่าสัมประสิทธิ์ลูกเต๋าครอบคลุมเฉพาะบางแง่มุมของคุณภาพการแบ่งส่วน; ในบางแอปพลิเคชันจำเป็นต้องใช้มาตรการที่แตกต่างกันเช่นระยะห่างเฉลี่ยของพื้นผิวหรือระยะห่างของพื้นผิว Hausdorff อย่างที่คุณเห็นไม่ใช่แม้แต่ตัวเลือกของตัวชี้วัดคุณภาพที่ถูกต้องเท่านั้น แต่ยังเป็นตัวเลือกที่ดีที่สุดสำหรับฟังก์ชั่นต้นทุน

โดยส่วนตัวฉันมีประสบการณ์ที่ดีมากกับสัมประสิทธิ์ลูกเต๋า มันมหัศจรรย์จริงๆเมื่อพูดถึงความไม่สมดุลของคลาส ในขณะที่เส้นโค้งข้อผิดพลาดการฝึกอบรมกลายเป็นความยุ่งเหยิงทั้งหมด: มันทำให้ฉันไม่มีข้อมูลเกี่ยวกับการบรรจบกันดังนั้นฉันจึงชนะการแข่งขันข้ามเอนโทรปี แน่นอนสิ่งนี้สามารถ / ควรข้ามโดยการตรวจสอบข้อผิดพลาดการตรวจสอบต่อไป