นิยามที่แตกต่างกันของฟังก์ชั่นการสูญเสียเอนโทรปี

12

ฉันเริ่มเรียนรู้เกี่ยวกับเครือข่ายประสาทด้วยการสอนเกี่ยวกับโครงข่ายประสาทเทียมและคำแนะนำ dot com โดยเฉพาะอย่างยิ่งในบทที่ 3มีส่วนที่เกี่ยวกับฟังก์ชั่นเอนโทรปีของการข้ามและกำหนดการสูญเสียเอนโทรปีของครอสเป็น:

$C = -\frac{1}{n} \sum\limits_x \sum\limits_j (y_j \ln a^L_j + (1-y_j) \ln (1 - a^L_j))$

อย่างไรก็ตามการอ่านการแนะนำ Tensorflowการสูญเสียเอนโทรปีถูกกำหนดเป็น:

$C = -\frac{1}{n} \sum\limits_x \sum\limits_j (y_j \ln a^L_j)$ (เมื่อใช้สัญลักษณ์เดียวกันกับด้านบน)

จากนั้นค้นหาไปรอบ ๆ เพื่อค้นหาว่าเกิดอะไรขึ้นฉันพบบันทึกอีกชุดหนึ่ง: ( https://cs231n.github.io/linear-classify/#softmax-classifier ) ซึ่งใช้คำจำกัดความที่แตกต่างกันโดยสิ้นเชิงของการสูญเสียเอนโทรปีของการข้าม เวลาสำหรับตัวจําแนก softmax แทนเครือข่ายประสาท

บางคนสามารถอธิบายให้ฉันฟังได้ว่าเกิดอะไรขึ้นที่นี่ ทำไมถึงมีข้อแตกต่าง btw สิ่งที่ผู้คนกำหนดการสูญเสียข้ามเอนโทรปีเป็น? มีเพียงหลักการบางอย่างที่ครอบคลุมอยู่หรือไม่

— เรจินัล
แหล่งที่มา

เกี่ยวข้องอย่างใกล้ชิด: stats.stackexchange.com/questions/260505/…

— Sycorax พูดว่า Reinstate Monica

18

คำจำกัดความทั้งสามนี้โดยพื้นฐานแล้วจะเหมือนกัน

1) การแนะนำ Tensorflow ,

C = - \frac{1}{n} \sum_{x} \sum_{j} (y_{j} \ln a_{j}) .

$C = -\frac{1}{n} \sum\limits_x\sum\limits_{j} (y_j \ln a_j).$

2) สำหรับการจำแนกประเภทไบนารีมันจะกลายเป็น และเนื่องจากข้อ จำกัดและมันสามารถเขียนใหม่เป็น ซึ่งเหมือนกับในบทที่ 3 . $j=2$

C = - \frac{1}{n} \sum_{x} (y_{1} \ln a_{1} + y_{2} \ln a_{2})

$C = -\frac{1}{n} \sum\limits_x (y_1 \ln a_1 + y_2 \ln a_2)$

\sum_{j} a_{j} = 1

$\sum_ja_j=1$

\sum_{j} y_{j} = 1

$\sum_jy_j=1$

C = - \frac{1}{n} \sum_{x} (y_{1} \ln a_{1} + (1 - y_{1}) \ln (1 - a_{1}))

$C = -\frac{1}{n} \sum\limits_x (y_1 \ln a_1 + (1-y_1) \ln (1-a_1))$

3) ยิ่งกว่านั้นถ้าเป็นเวกเตอร์แบบหนึ่งที่ร้อนแรง (ซึ่งโดยทั่วไปจะเป็นกรณีสำหรับการจำแนกประเภทฉลาก) โดยที่เป็นองค์ประกอบที่ไม่เป็นศูนย์เท่านั้นดังนั้นการสูญเสียเอนโทรปีของตัวอย่างที่สอดคล้องกันคือ $y$ $y_k$

C_{x} = - \sum_{j} (y_{j} \ln a_{j}) = - (0 + 0 + . . . + y_{k} \ln a_{k}) = - \ln a_{k} .

$C_x=-\sum\limits_{j} (y_j \ln a_j)=-(0+0+...+y_k\ln a_k)=-\ln a_k.$

ในบันทึกย่อ cs231การข้ามเอนโทรปีของการสูญเสียของตัวอย่างจะถูกกำหนดพร้อมกับการทำให้เป็นมาตรฐาน softmax เป็น

C_{x} = - \ln (a_{k}) = - \ln (\frac{e^{f_{k}}}{\sum_{j} e^{f_{j}}}) .

$C_x=-\ln(a_k)=-\ln\left(\frac{e^{f_k}}{\sum_je^{f_j}}\right).$

— dontloo
แหล่งที่มา

0

ในบทที่สามสมการ (63) คือเอนโทรปีของกากบาทที่ใช้กับหลาย sigmoids (ซึ่งอาจไม่รวมถึง 1) ในขณะที่ในTensoflow introการคำนวณข้ามเอนโทรปีจะถูกคำนวณบนชั้นเอาท์พุท softmax

ตามที่อธิบายโดยdontlooสูตรทั้งสองนั้นมีความสำคัญเทียบเท่ากับสองคลาส แต่ไม่ใช่เมื่อพิจารณามากกว่าสองคลาส Softmax เหมาะสมสำหรับคลาสที่มีคลาสเอกสิทธิ์เฉพาะบุคคล ( เช่นเมื่อมีเพียงหนึ่งป้ายกำกับต่อตัวอย่างที่อนุญาตการเข้ารหัสหนึ่งป้ายร้อน) ในขณะที่ (หลาย ๆ ) sigmoids สามารถใช้เพื่ออธิบายปัญหา multilabel (เช่นกับตัวอย่างที่อาจเป็นบวก สำหรับหลายคลาส)

ดูคำตอบ dontlooอื่น ๆ นี้เช่นกัน

— xiawi
แหล่งที่มา