เหตุใดระบบสร้างโค้ดอัตโนมัติสำหรับการลดขนาดแบบสมมาตร

ฉันไม่ได้เป็นผู้เชี่ยวชาญใน autoencoders หรือเครือข่ายประสาทด้วยวิธีการใด ๆ ดังนั้นยกโทษให้ฉันถ้านี่เป็นคำถามที่โง่

สำหรับวัตถุประสงค์ของการลดขนาดหรือการแสดงภาพกลุ่มในข้อมูลมิติสูงเราสามารถใช้ autoencoder เพื่อสร้างการแสดงภาพ 2 มิติ (สูญเสีย) โดยการตรวจสอบผลลัพธ์ของเลเยอร์เครือข่ายด้วย 2 โหนด ตัวอย่างเช่นด้วยสถาปัตยกรรมต่อไปนี้เราจะตรวจสอบผลลัพธ์ของเลเยอร์ที่สาม

$[X] \rightarrow N_1=100 \rightarrow N_2=25 \rightarrow (N_3=2) \rightarrow N_4=25 \rightarrow N_5=100 \rightarrow [X]$

โดยที่คือข้อมูลอินพุตและคือจำนวนโหนดในเลเยอร์ thN l$X$$N_l$$l$

ตอนนี้คำถามของฉันคือทำไมเราต้องการสถาปัตยกรรมสมมาตร มิเรอร์ของเฟส 'การบีบอัด' ที่ลึกไม่ได้หมายความว่าเราอาจมีเฟส 'การบีบอัด' ที่ซับซ้อนในทำนองเดียวกันทำให้มีเอาต์พุตโหนด 2 โหนดซึ่งไม่ได้ถูกบังคับให้ใช้งานง่ายมาก? กล่าวอีกนัยหนึ่งการไม่มีขั้นตอนการถอดรหัสที่ง่ายกว่าจะส่งผลให้เกิดการส่งออกของเลเยอร์ที่มี 2 โหนดจำเป็นต้องเรียบง่ายขึ้นด้วย

ความคิดของฉันที่นี่คือความซับซ้อนน้อยกว่าขั้นตอนการบีบอัดที่ง่ายขึ้น (เชิงเส้นมากขึ้น?) การเป็นตัวแทน 2D จะต้องมี ขั้นตอนการคลายบีบอัดที่ซับซ้อนมากขึ้นจะช่วยให้การแทน 2D มีความซับซ้อน

ไม่มีข้อ จำกัด เฉพาะเกี่ยวกับความสมมาตรของ autoencoder

ที่จุดเริ่มต้นที่ผู้คนมีแนวโน้มที่จะบังคับใช้สมมาตรเช่นสูงสุด: ไม่เพียง แต่ชั้นก็สมมาตร แต่ยังน้ำหนักของชั้นในการเข้ารหัสและถอดรหัสที่ใช้ร่วมกัน นี้ไม่จำเป็นต้อง แต่มันช่วยให้การใช้ฟังก์ชั่นการสูญเสียบางอย่าง (เช่นการจับคู่ RBM คะแนน)และสามารถทำหน้าที่เป็นกูเป็นคุณได้อย่างมีประสิทธิภาพลดลงครึ่งหนึ่งของจำนวนของพารามิเตอร์เพื่อเพิ่มประสิทธิภาพ อย่างไรก็ตามทุกวันนี้ฉันคิดว่าไม่มีใครกำหนดน้ำหนักของตัวเข้ารหัส - ถอดรหัส

เกี่ยวกับความสมมาตรทางสถาปัตยกรรมมันเป็นเรื่องธรรมดาที่จะหาจำนวนชั้นที่เท่ากันประเภทของชั้นที่เท่ากันและขนาดชั้นที่เท่ากันในตัวเข้ารหัสและตัวถอดรหัส แต่ไม่จำเป็นต้องทำเช่นนั้น

ยกตัวอย่างเช่นใน autoencoders ความสับสนในอดีตที่ผ่านมามันเป็นเรื่องธรรมดามากที่จะหาชั้นความสับสนในการเข้ารหัสและdeconvolutionalชั้นในถอดรหัส แต่ตอนนี้คุณเห็นตามปกติ upsampling ชั้นในถอดรหัสเพราะพวกเขามีปัญหาสิ่งของน้อย

คำถามของคุณมีอยู่แล้วในสถานที่ แต่ฉันพบว่าคำถามใด ๆ ในรูปแบบของ "ฉันควรทำ X หรือ Y ในการเรียนรู้ลึก" มีคำตอบเดียวเท่านั้น

ลองทั้งคู่

การเรียนรู้เชิงลึกเป็นฟิลด์เชิงประจักษ์มากและหากตัวเข้ารหัสอัตโนมัติที่ไม่สมมาตรทำงานให้กับโดเมนของคุณให้ใช้ (และเผยแพร่บทความ)

ฉันได้ทำการทดสอบอย่างกว้างขวางเพื่อตอบคำถามที่ถาม การทดลองของฉันระบุว่าเส้นทางการเข้ารหัส (ขาซ้ายของ NN) ควรมีเลเยอร์น้อยลง แต่กว้างขึ้น ฉันมักจะใช้เลเยอร์ครึ่งมาก แต่เพิ่มจำนวนโหนดเป็นสองเท่าสำหรับเส้นทางการเข้ารหัส ฉันไม่มีคำอธิบายสำหรับสิ่งนี้การตั้งค่าเหล่านี้มักจะนำไปสู่การลู่เข้าที่เร็วขึ้น