ระบบเข้ารหัสอัตโนมัติสามารถใช้สำหรับการเรียนรู้แบบมีผู้สอนได้หรือไม่?

ระบบเข้ารหัสอัตโนมัติสามารถใช้สำหรับการเรียนรู้แบบมีผู้สอนโดยไม่เพิ่มเลเยอร์เอาท์พุทได้หรือไม่? เราสามารถป้อนมันด้วยเวกเตอร์อินพุต - เอาต์พุตแบบต่อกันสำหรับการฝึกอบรมและสร้างส่วนเอาต์พุตจากส่วนอินพุตเมื่อทำการอนุมานได้หรือไม่? ส่วนเอาต์พุตจะถือว่าเป็นค่าที่หายไปในระหว่างการอนุมานและการใส่ความคิดบางอย่างจะถูกนำไปใช้

หนึ่งกระดาษเช่นฉันรู้และที่ผมนำมาใช้เป็นกึ่งดูแลการเรียนรู้โดยใช้เครือข่ายบันได ฉันพูดที่นี่คำอธิบายของรูปแบบของพวกเขา:

วิธีการของเราติดตาม Valpola (2015) ซึ่งเสนอเครือข่ายบันไดที่มีหน้าที่ช่วยในการปฏิเสธการเป็นตัวแทนในทุกระดับของโมเดล โครงสร้างโมเดลเป็นตัวเข้ารหัสอัตโนมัติที่มีการข้ามการเชื่อมต่อจากตัวเข้ารหัสไปยังตัวถอดรหัสและงานการเรียนรู้นั้นคล้ายกับในตัวถอดรหัสอัตโนมัติ denoising แต่นำไปใช้กับทุกชั้นไม่ใช่แค่อินพุต การเชื่อมต่อแบบข้ามจะช่วยลดแรงกดดันในการแสดงรายละเอียดในเลเยอร์ที่สูงขึ้นของโมเดลเพราะผ่านการเชื่อมต่อแบบข้ามการถอดรหัสสามารถกู้รายละเอียดใด ๆ ที่ถูกทิ้งโดยโปรแกรมเปลี่ยนไฟล์

สำหรับคำอธิบายเพิ่มเติมเกี่ยวกับสถาปัตยกรรมให้ตรวจสอบการรื้อโครงสร้างสถาปัตยกรรมเครือข่ายบันไดโดย Yoshua Bengio

ฉันจำการอ่านเอกสารเกี่ยวกับระบบดังกล่าวได้ถ้าฉันเข้าใจคุณถูกต้อง แต่ไม่สามารถจำชื่อตอนนี้ได้

แนวคิดนี้คือการใช้ RNNs ที่อิงกับตัวละครฝึกพวกเขาในลำดับที่เข้ารหัสเช่น "datadatadatadata | answer" และเมื่อป้อนใน "otherdatadata |" จากนั้นมันจะสร้างคำตอบที่คาดหวังบางอย่างต่อไป

แต่เท่าที่ฉันจำได้นั่นเป็นเพียงภาพประกอบที่เรียบร้อยเพราะถ้าคุณมีข้อมูลที่จะทำอะไรบางอย่างภายใต้การดูแลคุณก็จะได้ผลลัพธ์ที่ดีขึ้นด้วยวิธีการทั่วไป