ฉันจะปรับปรุงเสถียรภาพเครือข่ายประสาทของฉันได้อย่างไร

ฉันใช้ neuralnet ใน R เพื่อสร้าง NN พร้อมอินพุต 14 ช่องและเอาต์พุตเดียว ฉันสร้าง / ฝึกอบรมเครือข่ายหลายครั้งโดยใช้ข้อมูลการฝึกอบรมอินพุตเดียวกันและสถาปัตยกรรมเครือข่าย / การตั้งค่าเดียวกัน

หลังจากสร้างเครือข่ายแล้วฉันจะใช้กับชุดข้อมูลทดสอบแบบสแตนด์อโลนเพื่อคำนวณค่าที่คาดการณ์ไว้ ฉันพบว่ามีความแปรปรวนจำนวนมากในแต่ละรอบซ้ำของข้อมูลที่คาดการณ์ถึงแม้ว่าอินพุตทั้งหมด (ทั้งข้อมูลการฝึกอบรมและข้อมูลการทดสอบ) จะยังคงเหมือนเดิมทุกครั้งที่ฉันสร้างเครือข่าย

ฉันเข้าใจว่าจะมีความแตกต่างของน้ำหนักที่ผลิตภายใน NN ในแต่ละครั้งและจะไม่มีเครือข่ายประสาทเทียมสองเครือข่ายเหมือนกัน แต่ฉันจะพยายามสร้างเครือข่ายที่สอดคล้องกันมากขึ้นในแต่ละขบวนรถไฟได้อย่างไรจากข้อมูลที่เหมือนกัน

โดยทั่วไปคุณจะได้รับความเสถียรมากขึ้นโดยการเพิ่มจำนวนของโหนดที่ซ่อนอยู่และใช้การลดน้ำหนักที่เหมาะสม (aka การลงโทษสันเขา)

โดยเฉพาะฉันขอแนะนำให้ใช้caretแพ็คเกจเพื่อทำความเข้าใจความถูกต้องของคุณได้ดีขึ้น (และแม้แต่ความไม่แน่นอนในความถูกต้องของคุณ) นอกจากนี้ในคาเร็ตก็คือสิ่งavNNetที่ทำให้ผู้เรียนทั้งมวลออกมาจากเครือข่ายประสาทเทียมหลาย ๆ โดยส่วนตัวฉันไม่ได้เห็นการใช้งานที่ดีขึ้นมากavNNetแต่สามารถตอบคำถามเดิมของคุณได้

ฉันต้องแน่ใจด้วยว่าปัจจัยการผลิตของคุณทุกอย่างถูกต้องตามเงื่อนไข คุณปรับเปลี่ยนมุมฉากแล้วปรับสเกลใหม่หรือไม่? คาเร็ตยังสามารถทำการประมวลผลล่วงหน้าให้กับคุณผ่านpcaNNetฟังก์ชั่น

สุดท้ายคุณสามารถพิจารณาการโยนในการเชื่อมต่อข้ามชั้นบาง คุณต้องตรวจสอบให้แน่ใจว่าไม่มีข้อมูลผู้ใช้ / จุดใช้ประโยชน์ในข้อมูลของคุณเพื่อบิดเบือนการเชื่อมต่อเหล่านั้น

ฉันไม่ได้ทำงานกับ R ดังนั้นฉันจึงสามารถให้คำแนะนำทั่วไปได้มากกว่าเท่านั้น

คุณตรวจสอบว่าอัลกอริทึมแปรสภาพหรือไม่? คำอธิบายหนึ่งที่เป็นไปได้อาจเป็นได้ว่าชุดพารามิเตอร์ที่แตกต่างกันนั้นมีอยู่ครึ่งทางที่เหมาะสมที่สุด

หากอัลกอริทึมมาบรรจบกัน แต่เป็นจุดที่เหมาะสมที่สุดในท้องถิ่นแล้วก็มีฮิวริสติกมากมายที่คุณสามารถหลีกเลี่ยงได้ หนึ่งกลยุทธ์ง่ายๆเมื่อใช้การไล่ระดับสีแบบสุ่ม (SGD) คือการใช้แบตช์ขนาดเล็กลงและโมเมนตัมที่มากขึ้น ชุดขนาดที่เล็กลงจะช่วยลดเสียงรบกวนในการฝึกอบรมได้อย่างมีประสิทธิภาพ กลยุทธ์ที่ซับซ้อนมากขึ้นคือการเริ่มต้นน้ำหนักโดยใช้ระบบเข้ารหัสอัตโนมัติ