ต้นกำเนิดของเครือข่ายประสาทเทียม autoencoder คืออะไร?


14

ฉันค้นหาใน Google, Wikipedia, Google scholar และอื่น ๆ แต่ไม่พบต้นกำเนิดของ Autoencoders บางทีมันอาจเป็นหนึ่งในแนวคิดเหล่านั้นที่มีการพัฒนาอย่างค่อยเป็นค่อยไปและเป็นไปไม่ได้ที่จะย้อนกลับไปยังจุดเริ่มต้นที่ชัดเจน แต่ถึงกระนั้นฉันก็ยังอยากจะสรุปบางส่วนของขั้นตอนหลักของการพัฒนาของพวกเขา

บทที่เกี่ยวกับ autoencodersในเอียน Goodfellow, โยชัวเบนจิโอและหนังสือการเรียนรู้ลึกแอรอน Courville กล่าวว่า:

แนวคิดของ autoencoders เป็นส่วนหนึ่งของภูมิทัศน์ทางประวัติศาสตร์ของโครงข่ายประสาทเทียมมานานหลายทศวรรษ (LeCun, 1987; Bourlard และ Kamp, 1988; Hinton and Zemel, 1994) ตามเนื้อผ้า autoencoders ถูกนำมาใช้เพื่อลดมิติหรือการเรียนรู้คุณสมบัติ

งานนำเสนอนี้โดย Pascal Vincent พูดว่า:

Denoising ที่ใช้ autoencoders แบบดั้งเดิมนั้นมีการนำมาใช้ก่อนหน้านี้มาก (LeCun, 1987; Gallinari และคณะ, 1987) ซึ่งเป็นทางเลือกสำหรับเครือข่าย Hopfield (Hopfield, 1982)

ดูเหมือนว่านี่จะหมายความว่ามี "autoencoders คลาสสิค" อยู่ก่อนหน้านั้น: LeCun และ Gallinari ใช้ แต่ไม่ได้ประดิษฐ์ขึ้นมา ฉันไม่เห็นร่องรอยของ "autoencoders คลาสสิค" ที่เก่ากว่าปี 1987

ความคิดใด ๆ

คำตอบ:


9

ตามประวัติที่ระบุไว้ใน Schmidhuber " การเรียนรู้ที่ลึกลงไปในเครือข่ายประสาท: ภาพรวม " โครงข่ายประสาทเทียม (2015) อัตโนมัติเข้ารหัสถูกเสนอให้เป็นวิธีการในการใกล้ชิดก่อนการฝึกอบรมในบัลลาร์ด "การเรียนรู้แบบโมดูลาร์ในเครือข่ายประสาท" การดำเนินการ AAAI (1987) ไม่ชัดเจนว่าเป็นครั้งแรกที่มีการใช้ตัวเข้ารหัสอัตโนมัติหรือไม่ มันเป็นเพียงแค่ครั้งแรกที่พวกเขาถูกนำมาใช้เพื่อวัตถุประสงค์ในการ ANNs

เนื่องจากการแนะนำบทความ Schmidhuber ชัดเจนมันค่อนข้างยากที่จะรวบรวมแนวคิดทั้งหมดที่ใช้ใน ANNs เพราะวรรณกรรมมีความหลากหลายและคำศัพท์มีวิวัฒนาการไปตามกาลเวลา


1
บทความที่เขียนโดย Ballard มีคำศัพท์ที่แตกต่างกันโดยสิ้นเชิงและไม่มีแม้แต่ความคิดของ Autoencoder อย่างครบถ้วน บางที AE อาจไม่มีกระดาษต้นกำเนิด
abunickabhi

2
กระดาษ Schmudhuber เน้นว่าคำศัพท์มีการเปลี่ยนแปลงเมื่อเวลาผ่านไปและผู้คนต่างได้ค้นพบหัวข้อเดียวกันซ้ำแล้วซ้ำอีก ไม่น่าแปลกใจที่ผู้เขียนไม่ได้ใช้คำว่า“ auto encoder”
Sycorax พูดว่า Reinstate Monica

4

กระดาษด้านล่างพูดถึง autoencoder ทางอ้อมและย้อนกลับไปในปี 1986 (ซึ่งเป็นปีก่อนหน้าของ Ballard ในปี 1987)

DE Rumelhart, GE Hinton และ RJ Williams "เรียนรู้การเป็นตัวแทนภายในด้วยการเผยแพร่ข้อผิดพลาด" , การประมวลผลแบบกระจายแบบขนาน เล่มที่ 1: ฐานราก กด MIT, Cambridge, MA, 1986

โดยทั่วไปกระดาษจะอธิบายถึงเครือข่ายอาหารที่แปลกใหม่ในเวลานั้นและแบบแผนทางคณิตศาสตร์

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.