คำถามติดแท็ก loss-functions

ฉันกำลังพยายามทำความเข้าใจเกี่ยวกับฟังก์ชั่นการสูญเสีย GAN ตามที่ระบุไว้ในการทำความเข้าใจกับเครือข่ายผู้ให้คำปรึกษาทั่วไป (โพสต์บล็อกที่เขียนโดย Daniel Seita) ในการสูญเสียข้ามเอนโทรปีมาตรฐานเรามีเอาต์พุตที่ทำงานผ่านฟังก์ชั่น sigmoid และการจำแนกเลขฐานสองเป็นผลลัพธ์ เซียต้าระบุ ดังนั้นสำหรับ [แต่ละจุดข้อมูลและป้ายกำกับเราจะได้ฟังก์ชันการสูญเสียต่อไปนี้ ...x1x1x_1 H( ( x1, y1) , D ) = - y1เข้าสู่ระบบD ( x1) - ( 1 - y1) บันทึก( 1 - D ( x1) )H((x1,Y1),D)=-Y1เข้าสู่ระบบ⁡D(x1)-(1-Y1)เข้าสู่ระบบ⁡(1-D(x1)) H((x_1, y_1), D) = -y_1 \log D(x_1) - (1 - y_1) \log (1 …

17 neural-networks  machine-learning  deep-learning  loss-functions  generative-adversarial-networks 

ฉันกำลังฝึกอบรมauto-encoderเครือข่ายด้วยAdamเครื่องมือเพิ่มประสิทธิภาพ (พร้อมamsgrad=True) และMSE lossสำหรับงานแยกสัญญาณเสียงช่องทางเดียว เมื่อใดก็ตามที่ฉันสลายอัตราการเรียนรู้โดยปัจจัยการสูญเสียเครือข่ายจะเพิ่มขึ้นอย่างกระทันหันและลดลงเรื่อย ๆ จนกระทั่งอัตราการเรียนรู้สลายตัวครั้งถัดไป ฉันใช้ Pytorch สำหรับการติดตั้งและใช้งานเครือข่าย Following are my experimental setups: Setup-1: NO learning rate decay, and Using the same Adam optimizer for all epochs Setup-2: NO learning rate decay, and Creating a new Adam optimizer with same initial values every epoch Setup-3: 0.25 decay in …

11 machine-learning  deep-learning  optimization  autoencoders  loss-functions