จะหาจำนวนเซลล์ประสาทที่เหมาะสมที่สุดต่อชั้นได้อย่างไร


28

เมื่อคุณเขียนอัลกอริทึมของคุณคุณจะรู้จำนวนเซลล์ประสาทที่คุณต้องการต่อเลเยอร์เดียวได้อย่างไร มีวิธีใดบ้างในการค้นหาจำนวนที่เหมาะสมหรือเป็นกฎง่ายๆ?

คำตอบ:


15

ไม่มีวิธีการโดยตรงในการหาจำนวนที่เหมาะสมของพวกเขาคือ: คนลองสังเกตเห็น (เช่นใช้การตรวจสอบข้าม) เทคนิคการค้นหาที่พบบ่อยที่สุดคือการค้นหาแบบสุ่มคู่มือและกริด

มีอยู่เทคนิคขั้นสูงเช่นกระบวนการ Gaussian เช่นการเพิ่มประสิทธิภาพโครงข่ายประสาทเทียม Hyperparameters กับ Gaussian กระบวนการสำหรับการโต้ตอบพระราชบัญญัติการจำแนกประเภทอีอีอี SLT 2016


7

สำหรับวิธีการที่ชาญฉลาดมากขึ้นกว่าการค้นหาแบบสุ่มหรือหมดจดคุณสามารถลองขั้นตอนวิธีทางพันธุกรรมเช่นประณีตhttp://nn.cs.utexas.edu/?neat อย่างไรก็ตามสิ่งนี้ไม่รับประกันว่าจะหา optima ทั่วโลกมันเป็นเพียงอัลกอริธึมการเพิ่มประสิทธิภาพที่อิงตามประสิทธิภาพและดังนั้นจึงมีความเสี่ยงที่จะติดอยู่ใน Optima ท้องถิ่น


1
จะได้เข้าใกล้โลกที่เหมาะสมที่สุดอยู่แล้ว
jjmerelo

4

Paper Szegedy C, Vanhoucke V, Ioffe S, และคณะ ทบทวนสถาปัตยกรรมเริ่มต้นใหม่สำหรับการมองเห็นด้วยคอมพิวเตอร์ [J] arXiv preprint arXiv: 1512.00567, 2015.ให้หลักการออกแบบทั่วไปบางประการ:

  1. หลีกเลี่ยงปัญหาคอขวดโดยเฉพาะในช่วงต้นของเครือข่าย

  2. ยอดคงเหลือความกว้างและความลึกของเครือข่าย ประสิทธิภาพที่ดีที่สุดของเครือข่ายสามารถเข้าถึงได้โดยการปรับสมดุลจำนวนตัวกรองต่อระยะและความลึกของเครือข่าย การเพิ่มทั้งความกว้างและความลึกของเครือข่ายสามารถนำไปสู่เครือข่ายคุณภาพสูงขึ้น อย่างไรก็ตามการปรับปรุงที่ดีที่สุดสำหรับการคำนวณจำนวนคงที่สามารถเข้าถึงได้หากทั้งคู่เพิ่มขึ้นในแบบคู่ขนาน งบประมาณการคำนวณจึงควรกระจายอย่างสมดุลระหว่างความลึกและความกว้างของเครือข่าย

คำแนะนำเหล่านี้ไม่สามารถนำจำนวนเซลล์ประสาทที่เหมาะสมที่สุดมาให้คุณในเครือข่าย

อย่างไรก็ตามยังมีบางเช่นการบีบอัดการวิจัยรูปแบบโครงสร้าง Sparsity การเรียนรู้ (SSL) ของโครงข่ายประสาทลึก , SqueezeNet , เครือข่ายการตัดแต่งกิ่งที่อาจหลั่งน้ำตาแสงบางส่วนในการเพิ่มประสิทธิภาพของเซลล์ประสาทต่อชั้นเดียว

โดยเฉพาะอย่างยิ่งในการเรียนรู้ Sparsity โครงสร้างของเครือข่าย Neural ลึกจะเพิ่มGroup Lassoคำศัพท์ในฟังก์ชั่นการสูญเสียเพื่อทำให้โครงสร้างเป็นปกติ (เช่นตัวกรองช่องทางรูปร่างตัวกรองและความลึกของชั้น) ของ DNNs ซึ่งเป็นศูนย์บางองค์ประกอบ ( เช่นตัวกรองช่องทางรูปร่างของตัวกรองและความลึกของเลเยอร์) ของโครงสร้างตาข่ายและประสบความสำเร็จในขนาดกะทัดรัดและการเร่งความเร็วของเครือข่ายในขณะที่ทำให้สูญเสียความแม่นยำในการจำแนกขนาดเล็ก


3

คุณรู้ว่าคุณมีเซลล์ประสาทมากเกินไปเมื่อคุณได้รับการปรับตัว หมายความว่ามันไม่ได้ผลเพราะ NN กำลังพยายามเปิดใช้งานการจับคู่ที่สมบูรณ์แบบที่สุดที่เป็นไปไม่ได้ เช่นเดียวกับแมวสองตัวที่มีจำนวนอะตอมเท่ากันหรือจะบอกว่าเป็นเครื่องตรวจจับ NN ที่เปิดใช้งานบนรูปภาพของแมวสัตว์เลี้ยงของคุณเท่านั้นและไม่มีอะไรอื่น คุณต้องการช่วงที่กว้างขึ้นเพื่อให้ nn เปิดใช้งาน ชอบรูปแมวอะไรก็ได้

การบรรจุมากเกินไปเป็นปัญหาที่ไม่มีการแก้ไขอย่างรวดเร็ว คุณสามารถเริ่มต้นด้วยจำนวนที่น้อยเกินไปแล้วเพิ่มต่อไปเรื่อย ๆ หรือเริ่มต้นด้วยสิ่งต่างๆมากมายจากนั้นนำมันออกไปจนกว่าจะทำงานได้

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.