คำถามติดแท็ก autoencoders

ฉันกำลังฝึกอบรมauto-encoderเครือข่ายด้วยAdamเครื่องมือเพิ่มประสิทธิภาพ (พร้อมamsgrad=True) และMSE lossสำหรับงานแยกสัญญาณเสียงช่องทางเดียว เมื่อใดก็ตามที่ฉันสลายอัตราการเรียนรู้โดยปัจจัยการสูญเสียเครือข่ายจะเพิ่มขึ้นอย่างกระทันหันและลดลงเรื่อย ๆ จนกระทั่งอัตราการเรียนรู้สลายตัวครั้งถัดไป ฉันใช้ Pytorch สำหรับการติดตั้งและใช้งานเครือข่าย Following are my experimental setups: Setup-1: NO learning rate decay, and Using the same Adam optimizer for all epochs Setup-2: NO learning rate decay, and Creating a new Adam optimizer with same initial values every epoch Setup-3: 0.25 decay in …

11 machine-learning  deep-learning  optimization  autoencoders  loss-functions 

Autoencodersเป็นเครือข่ายประสาทที่เรียนรู้การบีบอัดข้อมูลที่นำเสนอเพื่อสร้างใหม่ในภายหลังเพื่อให้สามารถใช้สำหรับการลดขนาด พวกเขาประกอบด้วยตัวเข้ารหัสและตัวถอดรหัส (ซึ่งสามารถแยกเครือข่ายประสาทเทียม) การลดขนาดจะมีประโยชน์ในการจัดการหรือลดทอนปัญหาที่เกี่ยวข้องกับคำสาปของมิติซึ่งข้อมูลจะกระจัดกระจายและเป็นการยากที่จะได้รับ "นัยสำคัญทางสถิติ" ดังนั้นระบบเข้ารหัสอัตโนมัติ (และอัลกอริทึมอย่าง PCA) จึงสามารถใช้เพื่อจัดการกับคำสาปของมิติข้อมูล ทำไมเราถึงต้องใส่ใจกับการลดขนาดโดยเฉพาะการใช้ระบบเข้ารหัสอัตโนมัติ? เหตุใดเราไม่ใช้ PCA เพียงอย่างเดียวหากจุดประสงค์คือลดขนาด เหตุใดเราจึงต้องขยายการแสดงข้อมูลที่แฝงของอินพุทถ้าเราแค่ต้องการลดขนาดหรือทำไมเราจึงต้องมีส่วนของตัวถอดรหัสในตัวเข้ารหัสอัตโนมัติ? กรณีการใช้งานคืออะไร? โดยทั่วไปแล้วทำไมเราต้องบีบอัดอินพุตเพื่อขยายภายหลังหรือไม่ จะดีกว่าไหมถ้าใช้แค่อินพุตดั้งเดิม (เริ่มต้นด้วย)

10 machine-learning  autoencoders  dimensionality-reduction  curse-of-dimensionality