ฟังก์ชั่นการสูญเสียสำหรับงานการจำแนกประเภทหลายคลาสและหลายฉลากในเครือข่ายประสาทเทียมคืออะไร?

ฉันกำลังฝึกโครงข่ายประสาทเทียมเพื่อจัดกลุ่มวัตถุเป็นคลาส n แต่ละวัตถุสามารถเป็นของหลายคลาสในเวลาเดียวกัน (หลายคลาสหลายป้าย)

ฉันอ่านว่าสำหรับปัญหาหลายคลาสแนะนำโดยทั่วไปให้ใช้ softmax และหมวดหมู่ข้ามเอนโทรปีเป็นฟังก์ชั่นการสูญเสียแทน mse และฉันเข้าใจมากขึ้นหรือน้อยลงว่าทำไม

สำหรับปัญหาของฉันเกี่ยวกับมัลติ - เลเบลมันไม่สมเหตุสมผลที่จะใช้ซอฟต์แม็กซ์แน่นอนเพราะความน่าจะเป็นในแต่ละชั้นควรเป็นอิสระจากที่อื่น ดังนั้นชั้นสุดท้ายของฉันคือหน่วย sigmoid ที่สควอชใส่ลงในช่วงความน่าจะเป็น 0..1 สำหรับทุกชั้น

ตอนนี้ฉันไม่แน่ใจว่าฟังก์ชั่นการสูญเสียที่ฉันควรใช้สำหรับสิ่งนี้ เมื่อพิจารณาถึงคำจำกัดความของ crossentropy ที่เป็นหมวดหมู่ฉันเชื่อว่ามันจะใช้ไม่ได้กับปัญหานี้เพราะมันจะคำนึงถึงผลลัพธ์ของเซลล์ประสาทที่ควรจะเป็น 1 เท่านั้นและไม่สนใจสิ่งอื่น

เอนโทรปีของ Binary cross ดูเหมือนว่าจะเหมาะกว่า แต่ฉันเห็นเพียงว่ามันเคยถูกกล่าวถึงสำหรับปัญหาการจำแนกเลขฐานสองด้วยเซลล์ประสาทเอาท์พุทเดี่ยว

ฉันใช้ python และ keras เพื่อฝึกฝนในกรณีที่มันสำคัญ

หากคุณใช้ keras เพียงแค่ใส่ sigmoids ในเลเยอร์เอาท์พุทของคุณและ binary_crossentropy ในฟังก์ชันต้นทุนของคุณ

หากคุณกำลังใช้ tensorflow แล้วสามารถใช้sigmoid_cross_entropy_with_logits แต่สำหรับกรณีของฉันฟังก์ชันการสูญเสียโดยตรงนี้ไม่ได้มาบรรจบกัน ดังนั้นฉันจึงสิ้นสุดการใช้ sigmoid cross entropy losslogits))) คุณสามารถสร้างของคุณเองในตัวอย่างนี้$(y \cdot \ln(\text{sigmoid}(\text{logits})) + (1-y) \cdot \ln(1-\text{sigmoid}(\text{logits})))$

Sigmoid ซึ่งแตกต่างจาก softmax ไม่ให้การกระจายความน่าจะเป็นรอบ ๆเป็นเอาต์พุต แต่เป็นความน่าจะเป็นอิสระ$n_{classes}$

หากโดยเฉลี่ยแล้วแถวใดก็ได้ที่มีการกำหนดป้ายกำกับให้น้อยลงคุณสามารถใช้softmax_cross_entropy_with_logits ได้เนื่องจากการสูญเสียนี้ในขณะที่ชั้นเรียนมีความเป็นเอกสิทธิ์เฉพาะบุคคลร่วมกันความน่าจะเป็นของพวกเขาไม่จำเป็นต้องเป็น สิ่งที่จำเป็นต้องมีก็คือป้ายแต่ละแถวคือการแจกแจงความน่าจะเป็นที่ถูกต้อง หากพวกเขาไม่ได้การคำนวณของการไล่ระดับสีจะไม่ถูกต้อง

อัปเดต (18/04/18): คำตอบเก่าที่พิสูจน์แล้วว่ายังมีประโยชน์กับแบบจำลองของฉัน เคล็ดลับคือการสร้างแบบจำลองฟังก์ชั่นพาร์ทิชันและการกระจายแยกต่างหากจึงใช้ประโยชน์จากพลังของ softmax

พิจารณาสังเกตเวกเตอร์ของคุณจะมีป้าย (1 ถ้าตัวอย่างฉันมีป้ายกำกับ m มิฉะนั้นเป็น 0) ดังนั้นวัตถุประสงค์ก็คือเพื่อสร้างแบบจำลองเมทริกซ์ในลักษณะต่อตัวอย่าง ดังนั้นรูปแบบการประเมินx_i) พิจารณาการขยายเพื่อให้ได้สองคุณสมบัติ:$y$$m$$y_{im}=\delta_{im}$$F(y_i,x_i)=-\log P(y_i|x_i)$$y_{im}=Z\cdot P(y_m)$

1. ฟังก์ชั่นการกระจาย:$\sum_m P(y_m) = 1$
2. ฟังก์ชันการแบ่งพาร์ติชัน:ประมาณจำนวนฉลาก$Z$

จากนั้นมันเป็นเรื่องของการสร้างแบบจำลองทั้งสองแยกจากกัน ฟังก์ชั่นการกระจายเป็นแบบจำลองที่ดีที่สุดกับเลเยอร์softmaxและฟังก์ชันพาร์ติชันสามารถสร้างแบบจำลองด้วยหน่วยเชิงเส้น (ในทางปฏิบัติฉันตัดมันเป็นการสร้างแบบจำลองที่ซับซ้อนมากขึ้นเช่นหน่วยปัวซงอาจทำงานได้ดีขึ้น) จากนั้นคุณสามารถเลือกที่จะใช้การสูญเสียแบบกระจาย (KL ในการกระจายและ MSE บนพาร์ติชัน) หรือคุณสามารถลองการสูญเสียต่อไปนี้บนผลิตภัณฑ์ของพวกเขา$max(0.01,output)$

ในทางปฏิบัติตัวเลือกของเครื่องมือเพิ่มประสิทธิภาพยังสร้างความแตกต่างอย่างมาก ประสบการณ์ของฉันกับวิธีการแยกตัวประกอบเป็นวิธีที่ดีที่สุดภายใต้Adadelta (Adagrad ไม่ได้ผลสำหรับฉันไม่ได้ลอง RMSprop เลยการแสดงของ SGD ขึ้นอยู่กับพารามิเตอร์)

ความคิดเห็นด้านข้างของ sigmoid : ฉันได้ลอง sigmoid + crossentropy แล้วและมันก็ไม่ได้ผล แบบจำลองมีแนวโน้มที่จะทำนายเท่านั้นและไม่สามารถจับการเปลี่ยนแปลงในฟังก์ชันการแจกแจง (หรือที่รู้จักว่ามันค่อนข้างมีประโยชน์สำหรับการสร้างแบบจำลองพาร์ติชันและอาจมีเหตุผลทางคณิตศาสตร์อยู่เบื้องหลัง)$Z$

UPDATE : (ความคิดแบบสุ่ม) ดูเหมือนว่าการใช้กระบวนการ Dirichlet จะอนุญาตให้มีการรวมกลุ่มของก่อนหน้านี้กับจำนวนของป้ายกำกับหรือไม่

อัปเดต : โดยการทดสอบ KL-divergence ที่แก้ไขแล้วยังคงมีแนวโน้มที่จะให้เอาต์พุตหลายระดับมากกว่าเอาท์พุทฉลากหลายรายการ

---

(คำตอบเก่า)

ประสบการณ์ของฉันกับ sigmoid cross-entropy นั้นไม่น่าพอใจมาก ในขณะนี้ฉันใช้ KL-divergence ที่แก้ไขแล้ว ใช้รูปแบบ

$$\begin{aligned} Loss(P,Q)&=\sum_x{|P(x)-Q(x)| \cdot \left|\log\frac{P(x)}{Q(x)}\right| } \\ &= \sum_x{\left| (P(x)-Q(x)) \cdot \log\frac{P(x)}{Q(x)}\right| } \end{aligned}$$ โดยที่คือการกระจายหลอกเป้าหมายและคือการกระจายหลอกที่ทำนายไว้ (แต่ฟังก์ชั่นนั้นสมมาตรจริงดังนั้นจึงไม่สำคัญ)$P(x)$$Q(x)$

พวกเขาถูกเรียกว่าการกระจายหลอกที่ไม่ได้เป็นปกติ ดังนั้นคุณสามารถมีหากคุณมี 2 ป้ายกำกับสำหรับตัวอย่างเฉพาะ$\sum_x{P(x)}=2$

Keras impelmentation

def abs_KL_div(y_true, y_pred):
    y_true = K.clip(y_true, K.epsilon(), None)
    y_pred = K.clip(y_pred, K.epsilon(), None)
    return K.sum( K.abs( (y_true- y_pred) * (K.log(y_true / y_pred))), axis=-1)

ฉันยังไม่ได้ใช้ keras ยกตัวอย่างคาเฟอีนคุณสามารถใช้SigmoidCrossEntropyLossLayerสำหรับปัญหาหลาย ๆ ฉลากได้

ที่จริงแล้วใน tensorsflow คุณยังคงสามารถใช้sigmoid_cross_entropy_meanเป็นฟังก์ชั่นการคำนวณการสูญเสียในหลายฉลากได้ฉันยืนยันอย่างมาก

ฉันเป็นมือใหม่ที่นี่ แต่ฉันจะพยายามให้มันกับคำถามนี้ ฉันถูกค้นหาสิ่งเดียวกับคุณและในที่สุดผมพบว่าดีมาก keras หลายระดับการจำแนกประเภทกวดวิชา @ http://machinelearningmastery.com/multi-class-classification-tutorial-keras-deep-learning-library/

ผู้เขียนของการกวดวิชาที่ใช้ฟังก์ชั่นการสูญเสียเอนโทรปีเด็ดขาดข้ามและมีหัวข้ออื่น ๆ ที่อาจช่วยให้คุณหาทางออก @ ที่นี่