สมมติว่าฉันกำลังเขียนอัลกอริทึมสำหรับการสร้าง autoencoder 2 ชั้นซ้อนกันและเครือข่ายประสาท 2 ชั้น พวกเขาเป็นสิ่งเดียวกันหรือแตกต่างกันอย่างไร
สิ่งที่ฉันเข้าใจคือเมื่อฉันสร้างตัวเข้ารหัสอัตโนมัติแบบซ้อนกันฉันจะสร้างเลเยอร์ทีละชั้น สำหรับเครือข่ายประสาทฉันจะเริ่มต้นพารามิเตอร์ทั้งหมดใน netowork และจากนั้นสำหรับแต่ละจุดข้อมูลฉันผ่านมันผ่านเครือข่ายและคำนวณการสูญเสีย (เช่นระยะห่างจากนิวเคลียส) และทำการ backpropagation
คำตอบ:
ชุดเข้ารหัสอัตโนมัติและเครือข่ายประสาทหลายชั้นนั้นแตกต่างกัน ในทางปฏิบัติคุณจะมีเครือข่ายทั้งสองที่แชร์น้ำหนักและอาจแชร์บัฟเฟอร์หน่วยความจำ ดังนั้นในการติดตั้งของคุณเครือข่ายทั้งสองจึงเชื่อมโยงกัน
โดยทั่วไปแล้วระบบเข้ารหัสอัตโนมัติจะได้รับการฝึกอบรมในแบบที่ไม่มีผู้ดูแลโลภและชาญฉลาด (ไม่มีป้ายกำกับเริ่มการฝึกอบรมด้วยเลเยอร์แรกของเครือข่ายแล้วเพิ่มเลเยอร์ใหม่ตามที่คุณไป) น้ำหนักสามารถเรียนรู้ได้โดยใช้เทคนิคที่หลากหลายตั้งแต่การไล่ระดับสีแบบ "แบทช์" (โปรดอย่าทำอย่างนั้น) ถึงโคตรลาดลงของมินิแบทช์ (SGD) ถึงวิธีเสมือนกึ่งนิวตันเช่น L-BFGS
แนวคิดก็คือว่าน้ำหนักที่เรียนรู้ในลักษณะที่ไม่ได้รับการดูแลเพื่อลดข้อผิดพลาดในการสร้างใหม่สำหรับงานการเรียนรู้การเป็นตัวแทนเสนอเป็นจุดเริ่มต้นที่ดีในการเริ่มต้นเครือข่ายสำหรับงานที่มีการแบ่งแยกเช่นการจำแนกหรือความคล้ายคลึง นั่นคือเครือข่ายเรียนรู้บางอย่างเกี่ยวกับการแจกจ่ายพื้นฐานโดยดูที่ข้อมูลที่ไม่มีชื่อกำกับทำให้สามารถแยกแยะระหว่างข้อมูลที่มีป้ายกำกับได้ อย่างไรก็ตามน้ำหนักยังคงต้อง "ปรับ" สำหรับงานใหม่นี้ ดังนั้นเพิ่มเลเยอร์การถดถอยโลจิสติกที่ด้านบนของเครือข่ายแล้วทำการเรียนรู้ภายใต้การดูแลด้วยชุดข้อมูลที่มีป้ายกำกับ ขั้นตอนการปรับแต่งอย่างละเอียดจะทำการไล่ระดับสีและปรับน้ำหนักสำหรับทุกชั้นในเครือข่ายพร้อมกัน
ข้อดีของวิธีนี้คือการฝึกมุ้งอวน:
สำหรับกระดาษให้ดูซ้อน denoising autoencoders: การเรียนรู้การแสดงที่มีประโยชน์ในเครือข่ายที่ลึกกับเกณฑ์