ปัญหาคือ:
สืบทอดการไล่ระดับสีสำหรับเลเยอร์อินพุตสำหรับเน็ตเวิร์กโครงข่ายประสาทชั้นเดียวที่ซ่อนอยู่โดยใช้ sigmoid สำหรับอินพุต -> ซ่อน, ซอฟต์แม็กซ์สำหรับซ่อน -> เอาต์พุต, ด้วยการสูญเสียเอนโทรปี
ฉันสามารถผ่านมาส่วนใหญ่โดยใช้กฎลูกโซ่ แต่ฉันไม่แน่ใจเกี่ยวกับวิธี "โซ่" พวกเขาจริง ๆ กัน
กำหนดสัญลักษณ์บางอย่าง
, เป็นฟังก์ชัน sigmoid
,
, คือฟังก์ชัน softmax
, เป็นป้ายกำกับของเวกเตอร์แบบหนึ่งร้อน
จากนั้นตามกฎลูกโซ่
การไล่ระดับสีส่วนบุคคลคือ:
ตอนนี้เราต้องเชื่อมโยงคำจำกัดความเข้าด้วยกัน ในตัวแปรเดียวสิ่งนี้ง่ายเราแค่คูณทุกอย่างเข้าด้วยกัน ในเวกเตอร์ฉันไม่แน่ใจว่าจะใช้การคูณด้วยองค์ประกอบที่ชาญฉลาดหรือการคูณเมทริกซ์
โดยที่คือการคูณเวกเตอร์องค์ประกอบที่ชาญฉลาดและคือเมทริกซ์ทวีคูณ การรวมกันของการดำเนินการนี้เป็นวิธีเดียวที่ฉันจะดูเหมือนจะร่วมกันสตริงเหล่านี้จะได้รับมิติเวกเตอร์ซึ่งฉันรู้ว่าจะต้องมี
คำถามของฉันคือ: อะไรคือวิธีที่หลักการสำหรับฉันที่จะคิดออกว่าผู้ประกอบการที่จะใช้? ฉันสับสนโดยเฉพาะความจำเป็นในการองค์ประกอบหนึ่งที่ชาญฉลาดระหว่างและH
ขอบคุณ!