ไม่มีการกำหนดมาตรฐานสำหรับหน่วยอคติในเครือข่ายประสาทเทียม

ตามบทช่วยสอนนี้เกี่ยวกับการเรียนรู้อย่างลึกซึ้งการลดน้ำหนัก (การทำให้เป็นมาตรฐาน) มักจะไม่นำมาใช้กับเงื่อนไขของอคติขทำไม

ความสำคัญ (สัญชาตญาณ) ที่อยู่เบื้องหลังคืออะไร?

โดยปกติแล้วการกำหนดขนาดส่วนเกินจำเป็นต้องให้เอาต์พุตของแบบจำลองมีความอ่อนไหวต่อการเปลี่ยนแปลงเล็กน้อยในข้อมูลอินพุต (เช่นเพื่อสอดแทรกค่าเป้าหมายอย่างแน่นอน พารามิเตอร์อคติไม่ได้มีส่วนทำให้ความโค้งของโมเดลดังนั้นโดยปกติจะมีจุดเล็ก ๆ ในการทำให้เป็นปกติเช่นกัน

แรงบันดาลใจที่อยู่เบื้องหลัง L2 (หรือ L1) คือการ จำกัด น้ำหนักโดย จำกัด เครือข่ายคุณมีโอกาสน้อยที่จะมีน้ำหนักเกิน มันมีเหตุผลเล็กน้อยที่จะ จำกัด น้ำหนักของอคติเนื่องจากอคติได้รับการแก้ไข (เช่น b = 1) ดังนั้นจึงทำงานเหมือนเซลล์ประสาทดักจับซึ่งทำให้รู้สึกถึงความยืดหยุ่นที่สูงขึ้น

ฉันจะเพิ่มคำว่าอคติมักจะเริ่มต้นได้โดยมีค่าเฉลี่ย1มากกว่าของ0เราจึงอาจต้องการที่จะเป็นระเบียบมันในทางที่จะไม่ได้รับมากเกินไปห่างไกลจากค่าคงที่เหมือน1เช่นทำมากกว่า1/2*(bias-1)^21/2*(bias)^2

บางทีการแทนที่-1ส่วนด้วยการลบค่าเฉลี่ยของอคติอาจช่วยได้อาจหมายถึงค่าเฉลี่ยต่อชั้นหรือโดยรวม แต่นี่เป็นเพียงสมมติฐานที่ฉันทำ (เกี่ยวกับการลบค่าเฉลี่ย)

ทั้งหมดนี้ขึ้นอยู่กับฟังก์ชั่นการเปิดใช้งานด้วย เช่น: sigmoids อาจไม่ดีที่นี่สำหรับการไล่ระดับสีแบบค่อยเป็นค่อยไปหากอคติถูกทำให้เป็นค่าคงที่สูง

บทช่วยสอนบอกว่า "การใช้การลดน้ำหนักกับหน่วยอคติมักจะสร้างความแตกต่างเพียงเล็กน้อยกับเครือข่ายสุดท้าย" ดังนั้นหากมันไม่ช่วยคุณก็สามารถหยุดทำเพื่อกำจัดหนึ่งพารามิเตอร์ หากคุณคิดว่าการชดเชยออฟเซ็ตเป็นประจำจะช่วยในการตั้งค่าของคุณ ไม่มีอันตรายใด ๆ ในการลอง