เครือข่ายประสาทของฉันไม่สามารถเรียนรู้ระยะทางแบบยุคลิด

ดังนั้นฉันจึงพยายามสอนตัวเองเกี่ยวกับโครงข่ายประสาทเทียม (สำหรับแอพพลิเคชั่นการถดถอยไม่แบ่งภาพแมว)

การทดลองครั้งแรกของฉันคือการฝึกอบรมเครือข่ายเพื่อใช้ตัวกรอง FIR และการแปลงฟูริเยร์แบบไม่ต่อเนื่อง (การฝึกอบรมเรื่อง "ก่อน" และ "หลัง") เนื่องจากการดำเนินการเชิงเส้นทั้งสองนั้นสามารถใช้งานได้ในชั้นเดียว ทั้งสองทำงานได้ดี

ดังนั้นฉันอยากดูว่าฉันสามารถเพิ่มabs()และทำให้เรียนรู้สเปกตรัมแอมพลิจูด ครั้งแรกที่ฉันคิดเกี่ยวกับจำนวนโหนดที่มันจะต้องอยู่ในชั้นที่ซ่อนอยู่และตระหนักว่า 3 ReLUs นั้นเพียงพอสำหรับการประมาณที่หยาบกabs(x+jy) = sqrt(x² + y²)ร้านดังนั้นฉันจึงทดสอบการทำงานด้วยตัวเองบนตัวเลขที่ซับซ้อนโดดเดี่ยว (2 อินพุต→ 3 ReLU โหนดที่ซ่อนชั้น→ 1 เอาท์พุท) มันทำงานเป็นครั้งคราว:

แต่ส่วนใหญ่เวลาที่ฉันลองมันติดอยู่ในขั้นต่ำในท้องถิ่นและล้มเหลวในการหารูปร่างที่เหมาะสม:

ฉันลองใช้เครื่องมือเพิ่มประสิทธิภาพและชุดรูปแบบ ReLU ทั้งหมดใน Keras แต่พวกเขาไม่ได้สร้างความแตกต่างมากนัก มีอะไรอีกบ้างที่ฉันสามารถทำได้เพื่อทำให้เครือข่ายง่าย ๆ เช่นนี้มาบรรจบกันอย่างน่าเชื่อถือ? หรือฉันกำลังเข้าใกล้สิ่งนี้ด้วยทัศนคติที่ไม่ถูกต้องและคุณควรจะทิ้งโหนดมากกว่าที่จำเป็นในปัญหาและถ้าครึ่งหนึ่งของพวกเขาตายมันไม่ถือว่าเป็นเรื่องใหญ่อะไร?

ผลลัพธ์ดูเหมือนจะแนะนำอย่างยิ่งว่าเซลล์ประสาทของคุณหนึ่งหรือมากกว่านั้นจะตาย (หรือไฮเปอร์เพลตของน้ำหนักสำหรับเซลล์ประสาทสองเซลล์ของคุณรวมกันแล้ว) คุณจะเห็นได้ว่าด้วย 3 Relu's คุณจะได้รับการแยกเงา 3 จุดที่กึ่งกลางเมื่อคุณรวมเข้ากับโซลูชันที่สมเหตุสมผลมากขึ้น คุณสามารถตรวจสอบได้อย่างง่ายดายว่าสิ่งนี้เป็นจริงหรือไม่โดยการตรวจสอบค่าเอาต์พุตของแต่ละเซลล์ประสาทเพื่อดูว่ามันยังคงตายอยู่สำหรับตัวอย่างส่วนใหญ่ของคุณ อีกวิธีหนึ่งคุณสามารถพล็อตน้ำหนักของเซลล์ประสาท 2x3 = 6 ทั้งหมดจัดกลุ่มตามเซลล์ประสาทที่เกี่ยวข้องเพื่อดูว่าเซลล์ประสาทสองเซลล์ยุบไปเป็นน้ำหนักคู่เดียวกันหรือไม่

ฉันสงสัยว่าสาเหตุหนึ่งที่เป็นไปได้คือเมื่อ $x+iy$ เอียงไปทางหนึ่งพิกัดเช่น $x\gg y$ในกรณีนี้คุณกำลังพยายามทำซ้ำตัวตนเช่นนั้น $abs(x+iy)\approx x$. มีไม่มากที่คุณสามารถทำได้ที่นี่เพื่อแก้ไขปัญหานี้ ทางเลือกหนึ่งคือการเพิ่มเซลล์ประสาทเพิ่มเติมตามที่คุณพยายาม ตัวเลือกที่สองคือการลองเปิดใช้งานอย่างต่อเนื่องเช่น sigmoid หรือบางทีสิ่งที่ไม่ได้ จำกัด เช่น exponential คุณสามารถลองดรอปเอาท์ (ด้วยความน่าจะเป็น 10%) คุณสามารถใช้การเลื่อนออกปกติใน keras ซึ่งหวังว่าฉลาดพอที่จะเพิกเฉยต่อสถานการณ์เมื่อเซลล์ประสาททั้งสามของคุณเลื่อนออก