เครือข่ายประสาทเทียมใช้การเข้ารหัสที่มีประสิทธิภาพหรือไม่


9

คำถามของฉันเกี่ยวข้องกับความสัมพันธ์ระหว่างสมมติฐานการเข้ารหัสที่มีประสิทธิภาพซึ่งแสดงไว้ในหน้า Wikipedia เกี่ยวกับการเข้ารหัสที่มีประสิทธิภาพและอัลกอริทึมการเรียนรู้เครือข่ายประสาท

ความสัมพันธ์ระหว่างสมมติฐานการเข้ารหัสที่มีประสิทธิภาพกับเครือข่ายประสาทเทียมคืออะไร

มีโครงข่ายประสาทเทียมใดที่ได้รับแรงบันดาลใจจากสมมติฐานการเข้ารหัสที่มีประสิทธิภาพหรือไม่

หรือมันจะยุติธรรมกว่าที่จะบอกว่าอัลกอริธึมการเรียนรู้โครงข่ายประสาททั้งหมดอย่างน้อยที่สุดก็ขึ้นอยู่กับการเข้ารหัสที่มีประสิทธิภาพ?


1
บางทีระบบเข้ารหัสอัตโนมัติแบบเบาบางคือสิ่งที่คุณเป็นหลังจากนั้น (หากความสนใจของคุณน้อยกว่าด้านเทคนิคและกว้างกว่า / ปรัชญามากกว่าข้อเสนอแนะของผู้ใช้ kenorb อาจเหมาะสม)
GeoMatt22

3
คำถามที่น่าสนใจ ฉันเดาว่า NNs ไม่มีที่อยู่ใกล้กับสิ่งที่เราอาจพิจารณาว่า "มีประสิทธิภาพ" ฉันคิดว่าเทคนิคที่ใช้กันทั่วไปเช่น Dropout จะพยายามลดประสิทธิภาพการเขียนโค้ดลง
kbrose

1
อีกอ้างอิง: หวยตั๋วสมมติฐานarxiv.org/abs/1803.03635การเจรจากระดาษเกี่ยวกับการหาเครือข่ายย่อยทำงานหนัก แต่ฉันคิดว่าอาจจะมีการเชื่อมต่อกับการเข้ารหัสที่มีประสิทธิภาพ
kbrose

ฉันไม่ใช่ผู้เชี่ยวชาญด้านทฤษฎีข้อมูล แต่ฉันไม่เชื่อว่ามีความสัมพันธ์ใด ๆ ระหว่างการเข้ารหัสที่มีประสิทธิภาพที่ NNs ทำและฉันไม่ทราบถึงความพยายามในอดีตหรือปัจจุบันใด ๆ ที่จะรวมการเข้ารหัสที่มีประสิทธิภาพ อย่างไรก็ตามอาจเป็นเรื่องจริงที่ NNs เข้ารหัสสัญญาณได้อย่างมีประสิทธิภาพ: arxiv.org/abs/1503.02406
shadowtalker

ฉันยังมีไม่เพียงพอที่จะตอบคำถามนี้ แต่ดูเหมือนว่าฉันจะเกี่ยวข้องกับคำถามที่ว่า NNs กำลังท่องจำอยู่จริงๆหรือไม่มากกว่าการเรียนรู้
Bill Clark

คำตอบ:


1

ฉันเชื่อว่าสามารถโต้แย้งได้ว่ามีการเชื่อมต่อแล้ว ฉันจะขอโทษที่ไม่โพสต์แหล่งที่มาของฉันเพราะฉันหามันไม่เจอ แต่มันมาจากสไลด์เก่าที่ฮินตันนำเสนอ ในนั้นเขาอ้างว่าหนึ่งในวิธีการพื้นฐานของการคิดสำหรับผู้ที่เรียนรู้ด้วยเครื่อง (ในขณะที่การนำเสนอคาดการณ์การใช้คำว่าการเรียนรู้เชิงลึกโดยทั่วไป) คือการที่มีการเปลี่ยนแปลงที่เหมาะสมของข้อมูลดังกล่าว ได้เรียนรู้. ฉันเชื่อเรื่องอวนประสาทการเปลี่ยนแปลงที่ดีที่สุดของข้อมูลแม้ว่า back prop คือสมมติฐานการเข้ารหัสที่มีประสิทธิภาพในการดำเนินการ ในทำนองเดียวกันกับที่ได้รับเคอร์เนลที่เหมาะสมช่องว่างจำนวนมากสามารถจำแนกได้อย่างง่ายดายด้วยตัวแบบเชิงเส้นเรียนรู้วิธีที่เหมาะสมในการแปลงและจัดเก็บข้อมูลคล้ายกับที่และวิธีการจัดเรียงของเซลล์ประสาทที่จะแสดงข้อมูล

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.