คำถามติดแท็ก backpropagation

20
บทบาทของอคติในเครือข่ายประสาทคืออะไร
ฉันตระหนักถึงการไล่ระดับสีที่ลาดชันและอัลกอริธึมการกระจายกลับ สิ่งที่ฉันไม่ได้รับคือเมื่อใช้อคติที่สำคัญและคุณจะใช้มันอย่างไร ตัวอย่างเช่นเมื่อทำการแมปANDฟังก์ชั่นเมื่อฉันใช้ 2 อินพุทและเอาท์พุท 1 มันไม่ได้ให้น้ำหนักที่ถูกต้อง แต่เมื่อฉันใช้ 3 อินพุท (1 ซึ่งเป็นอคติ) มันให้น้ำหนักที่ถูกต้อง

1
ค่า NaN ที่น้อยมากจะปรากฏในโครงข่ายประสาทเทียม
ฉันกำลังพยายามใช้สถาปัตยกรรมเครือข่ายประสาทเทียมใน Haskell และใช้กับ MNIST ฉันกำลังใช้hmatrixแพ็คเกจสำหรับพีชคณิตเชิงเส้น กรอบการฝึกอบรมของฉันสร้างขึ้นโดยใช้pipesแพ็คเกจ โค้ดของฉันคอมไพล์และไม่ผิดพลาด แต่ปัญหาคือการผสมขนาดเลเยอร์บางอย่าง (เช่น 1,000) ขนาดมินิแบทช์และอัตราการเรียนรู้ทำให้เกิดNaNค่าในการคำนวณ หลังจากการตรวจสอบบางครั้งฉันเห็นว่าในที่สุดค่าที่เล็กมาก (ลำดับของ1e-100) จะปรากฏในการเปิดใช้งาน แต่แม้ว่าจะไม่เกิดขึ้นการฝึกอบรมก็ยังไม่ได้ผล ไม่มีการปรับปรุงการสูญเสียหรือความแม่นยำ ฉันตรวจสอบและตรวจสอบรหัสของฉันอีกครั้งและฉันก็สูญเสียว่าต้นตอของปัญหาอาจเป็นอย่างไร นี่คือการฝึก backpropagation ซึ่งคำนวณเดลต้าสำหรับแต่ละเลเยอร์: backward lf n (out,tar) das = do let δout = tr (derivate lf (tar, out)) -- dE/dy deltas = scanr (\(l, a') δ -> let w = weights l in …
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.