เมื่อคุณเขียนอัลกอริทึมของคุณคุณจะรู้จำนวนเซลล์ประสาทที่คุณต้องการต่อเลเยอร์เดียวได้อย่างไร มีวิธีใดบ้างในการค้นหาจำนวนที่เหมาะสมหรือเป็นกฎง่ายๆ?
เมื่อคุณเขียนอัลกอริทึมของคุณคุณจะรู้จำนวนเซลล์ประสาทที่คุณต้องการต่อเลเยอร์เดียวได้อย่างไร มีวิธีใดบ้างในการค้นหาจำนวนที่เหมาะสมหรือเป็นกฎง่ายๆ?
คำตอบ:
ไม่มีวิธีการโดยตรงในการหาจำนวนที่เหมาะสมของพวกเขาคือ: คนลองสังเกตเห็น (เช่นใช้การตรวจสอบข้าม) เทคนิคการค้นหาที่พบบ่อยที่สุดคือการค้นหาแบบสุ่มคู่มือและกริด
มีอยู่เทคนิคขั้นสูงเช่นกระบวนการ Gaussian เช่นการเพิ่มประสิทธิภาพโครงข่ายประสาทเทียม Hyperparameters กับ Gaussian กระบวนการสำหรับการโต้ตอบพระราชบัญญัติการจำแนกประเภทอีอีอี SLT 2016
สำหรับวิธีการที่ชาญฉลาดมากขึ้นกว่าการค้นหาแบบสุ่มหรือหมดจดคุณสามารถลองขั้นตอนวิธีทางพันธุกรรมเช่นประณีตhttp://nn.cs.utexas.edu/?neat อย่างไรก็ตามสิ่งนี้ไม่รับประกันว่าจะหา optima ทั่วโลกมันเป็นเพียงอัลกอริธึมการเพิ่มประสิทธิภาพที่อิงตามประสิทธิภาพและดังนั้นจึงมีความเสี่ยงที่จะติดอยู่ใน Optima ท้องถิ่น
Paper Szegedy C, Vanhoucke V, Ioffe S, และคณะ ทบทวนสถาปัตยกรรมเริ่มต้นใหม่สำหรับการมองเห็นด้วยคอมพิวเตอร์ [J] arXiv preprint arXiv: 1512.00567, 2015.ให้หลักการออกแบบทั่วไปบางประการ:
หลีกเลี่ยงปัญหาคอขวดโดยเฉพาะในช่วงต้นของเครือข่าย
ยอดคงเหลือความกว้างและความลึกของเครือข่าย ประสิทธิภาพที่ดีที่สุดของเครือข่ายสามารถเข้าถึงได้โดยการปรับสมดุลจำนวนตัวกรองต่อระยะและความลึกของเครือข่าย การเพิ่มทั้งความกว้างและความลึกของเครือข่ายสามารถนำไปสู่เครือข่ายคุณภาพสูงขึ้น อย่างไรก็ตามการปรับปรุงที่ดีที่สุดสำหรับการคำนวณจำนวนคงที่สามารถเข้าถึงได้หากทั้งคู่เพิ่มขึ้นในแบบคู่ขนาน งบประมาณการคำนวณจึงควรกระจายอย่างสมดุลระหว่างความลึกและความกว้างของเครือข่าย
คำแนะนำเหล่านี้ไม่สามารถนำจำนวนเซลล์ประสาทที่เหมาะสมที่สุดมาให้คุณในเครือข่าย
อย่างไรก็ตามยังมีบางเช่นการบีบอัดการวิจัยรูปแบบโครงสร้าง Sparsity การเรียนรู้ (SSL) ของโครงข่ายประสาทลึก , SqueezeNet , เครือข่ายการตัดแต่งกิ่งที่อาจหลั่งน้ำตาแสงบางส่วนในการเพิ่มประสิทธิภาพของเซลล์ประสาทต่อชั้นเดียว
โดยเฉพาะอย่างยิ่งในการเรียนรู้ Sparsity โครงสร้างของเครือข่าย Neural ลึกจะเพิ่มGroup Lassoคำศัพท์ในฟังก์ชั่นการสูญเสียเพื่อทำให้โครงสร้างเป็นปกติ (เช่นตัวกรองช่องทางรูปร่างตัวกรองและความลึกของชั้น) ของ DNNs ซึ่งเป็นศูนย์บางองค์ประกอบ ( เช่นตัวกรองช่องทางรูปร่างของตัวกรองและความลึกของเลเยอร์) ของโครงสร้างตาข่ายและประสบความสำเร็จในขนาดกะทัดรัดและการเร่งความเร็วของเครือข่ายในขณะที่ทำให้สูญเสียความแม่นยำในการจำแนกขนาดเล็ก
คุณรู้ว่าคุณมีเซลล์ประสาทมากเกินไปเมื่อคุณได้รับการปรับตัว หมายความว่ามันไม่ได้ผลเพราะ NN กำลังพยายามเปิดใช้งานการจับคู่ที่สมบูรณ์แบบที่สุดที่เป็นไปไม่ได้ เช่นเดียวกับแมวสองตัวที่มีจำนวนอะตอมเท่ากันหรือจะบอกว่าเป็นเครื่องตรวจจับ NN ที่เปิดใช้งานบนรูปภาพของแมวสัตว์เลี้ยงของคุณเท่านั้นและไม่มีอะไรอื่น คุณต้องการช่วงที่กว้างขึ้นเพื่อให้ nn เปิดใช้งาน ชอบรูปแมวอะไรก็ได้
การบรรจุมากเกินไปเป็นปัญหาที่ไม่มีการแก้ไขอย่างรวดเร็ว คุณสามารถเริ่มต้นด้วยจำนวนที่น้อยเกินไปแล้วเพิ่มต่อไปเรื่อย ๆ หรือเริ่มต้นด้วยสิ่งต่างๆมากมายจากนั้นนำมันออกไปจนกว่าจะทำงานได้