Cross-Entropy หรือ Log Likelihood ในเลเยอร์เอาต์พุต

ฉันอ่านหน้านี้: http://neuralnetworksanddeeplearning.com/chap3.html

และมันบอกว่าชั้นเอาท์พุท sigmoid ที่มีการข้ามเอนโทรปีนั้นค่อนข้างจะคล้ายกับเลเยอร์เอาต์พุต softmax ที่มีความเป็นไปได้ในการบันทึก

จะเกิดอะไรขึ้นถ้าฉันใช้ sigmoid กับ log-likelihood หรือ softmax กับ cross entropy ใน layer output มันดีไหม เพราะฉันเห็นว่ามีความแตกต่างเพียงเล็กน้อยในสมการระหว่างเอนโทรปีของครอส

$$C = -\frac{1}{n} \sum\limits_x (y \ln a + (1-y) \ln (1-a))$$

และบันทึกโอกาส (eq.80):

$$C =-\frac{1}{n} \sum\limits_x(\ln a^L_y)$$

ความน่าจะเป็นบันทึกเชิงลบ (eq.80) ยังเป็นที่รู้จักกันในนามการข้ามเอนโทรปีแบบหลายคลาส (การอ้างอิง: การจดจำรูปแบบและการเรียนรู้ของเครื่องมาตรา 4.3.4) เนื่องจากในความเป็นจริงแล้วการตีความสองสูตรที่แตกต่างกันของสูตรเดียวกัน

eq.57 คือความน่าจะเป็นบันทึกเชิงลบของการแจกแจงเบอร์นูลลีในขณะที่ eq.80 คือความน่าจะเป็นบันทึกเชิงลบของการแจกแจงพหุนามด้วยการสังเกตเพียงครั้งเดียว (เป็นเวอร์ชั่นคลาสของ Bernoulli)

สำหรับปัญหาการจำแนกเลขฐานสองฟังก์ชัน softmax ส่งออกสองค่า (ระหว่าง 0 ถึง 1 และผลรวมถึง 1) เพื่อให้การคาดการณ์ของแต่ละชั้นเรียน ในขณะที่ฟังก์ชั่น sigmoid ส่งออกหนึ่งค่า (ระหว่าง 0 ถึง 1) เพื่อให้การคาดการณ์ของหนึ่งคลาส (ดังนั้นคลาสอื่นคือ 1-p)

ดังนั้น eq.80 จึงไม่สามารถนำไปใช้กับเอาต์พุต sigmoid โดยตรงได้

ดูคำตอบนี้ด้วย

---

ต่อไปนี้เป็นภาพประกอบอย่างง่ายของการเชื่อมต่อระหว่าง (sigmoid + binary cross-entropy) และ (softmax + multiclass cross-entropy) สำหรับปัญหาการจำแนกเลขฐานสอง

$0.5$

$$\sigma(wx+b)=0.5$$ $$wx+b=0$$

$$\frac{e^{w_1x+b_1}}{e^{w_1x+b_1}+e^{w_2x+b_2}}=0.5$$ $$e^{w_1x+b_1}=e^{w_2x+b_2}$$ $$w_1x+b_1=w_2x+b_2$$ $$(w_1-w_2)x+(b_1-b_2)=0$$

ต่อไปนี้แสดงขอบเขตการตัดสินใจที่ได้รับโดยใช้สองวิธีนี้ซึ่งเกือบจะเหมือนกัน