เลเยอร์ของเครือข่ายนิวรัลลึกสามารถมองเห็นเป็นเครือข่าย Hopfield ได้หรือไม่


11

เครือข่าย Hopfield สามารถเก็บเวกเตอร์และดึงข้อมูลได้โดยเริ่มจากรุ่นที่มีเสียงดัง พวกมันทำการตั้งค่าตุ้มน้ำหนักเพื่อลดฟังก์ชั่นพลังงานเมื่อเซลล์ประสาททั้งหมดถูกตั้งค่าให้เท่ากับค่าเวกเตอร์และดึงเวกเตอร์โดยใช้เสียงรบกวนในรูปแบบของอินพุต

ออกจากปัญหาเช่นความจริงที่ว่าไม่มีการรับประกันว่าเน็ตจะตั้งอยู่ในขั้นต่ำที่ใกล้ที่สุด - ปัญหาในที่สุดก็แก้ไขได้ด้วยเครื่องจักร Boltzmann และในที่สุดก็มีการขยายพันธุ์กลับ - การพัฒนาเป็นจุดเริ่มต้นสำหรับการเป็นตัวแทนนามธรรม เอกสารเดียวกันสองเวอร์ชันจะเรียกคืนสถานะเดียวกันพวกเขาจะถูกแสดงในเครือข่ายโดยสถานะเดียวกัน

อย่างที่ Hopfield เขียนในเครือข่ายนิวรัลและระบบทางกายภาพของกระดาษในปี 1982 ด้วยความสามารถในการคำนวณแบบกลุ่ม

การสร้างแบบจำลองในปัจจุบันนั้นอาจเกี่ยวข้องกับวิธีการที่หน่วยความจำหรือเกสตัลท์ถูกจดจำหรือจัดหมวดหมู่บนพื้นฐานของปัจจัยการผลิตที่เป็นตัวแทนของคอลเลกชันของคุณสมบัติ

ในอีกด้านหนึ่งการพัฒนาอย่างลึกซึ้งของการเรียนรู้ลึกคือความสามารถในการสร้างตัวแทนที่หลากหลายและเป็นลำดับชั้นของอินพุตในที่สุดนำไปสู่การทำให้ชีวิตของผู้ปฏิบัติงาน AI ง่ายขึ้นและง่ายขึ้น (ดูตัวอย่างการเรียนรู้จากการเป็นตัวแทน: บทวิจารณ์และมุมมองใหม่เบงจิโอ Courville วินเซนต์)

จากมุมมองแนวคิดผมเชื่อว่าเราสามารถเห็นการเรียนรู้อย่างลึกซึ้งในฐานะภาพรวมของอวน Hopfield: จากการแสดงเพียงครั้งเดียวไปจนถึงลำดับชั้นของการเป็นตัวแทน

นั่นเป็นความจริงจากมุมมองการคำนวณ / ทอพอโลยีเช่นกัน? ไม่ได้พิจารณาว่าเครือข่าย Hopfield "ง่าย" นั้นเป็นอย่างไร (เซลล์ประสาท 2 สถานะ, ไม่ระบุทิศทาง, ฟังก์ชั่นด้านพลังงาน) สามารถมองเห็นแต่ละชั้นของเครือข่ายเป็นเครือข่าย Hopfield และกระบวนการทั้งหมดเป็นการแยกตามลำดับของ Gestalt ที่จดจำไว้ก่อนหน้านี้ เกสตัลต์เหล่านี้หรือไม่

คำตอบ:


0

การเรียนรู้อย่างลึกซึ้งไม่ได้เป็นลักษณะทั่วไปของเครือข่าย Hopfield การเรียนรู้อย่างลึกซึ้งเป็น "ลักษณะทั่วไป" ของเขตข้อมูลเครือข่ายประสาท / การเชื่อมต่อที่เริ่มต้นโดย Rumelhart และ McClelland

โครงข่ายประสาทมีสองชนิด:

  • กำกับ (Perceptron, MLP, ConvNets, RNNs, ฯลฯ )
  • Undirected (Hopfield Nets, Boltzmann Machines, โมเดลที่ใช้พลังงาน ฯลฯ )

สิ่งเหล่านี้สามารถทำให้ลึกลงไป ดังที่คุณกล่าวว่าเครื่องจักร Boltzmann เป็นรุ่นที่น่าจะเป็นของ Hopfield Networks และมีการทำงานมากขึ้นในการทำให้ลึกลงไปในแบบจำลองเหล่านี้มากกว่าตาข่าย Hopfield: เครื่องจักร Deep Boltzmann, Deep Belief Networks และรุ่นพลังงานลึก ฮินตันเป็นคนที่คุณอยากอ่านเพื่อเรียนรู้เกี่ยวกับโมเดลเหล่านี้ แต่คุณสามารถดูบทความนี้ซึ่งเปรียบเทียบทั้งสามโมเดล

ไม่แน่ใจเกี่ยวกับองค์กร Gestalt ฉันเดาว่าฉันจะปล่อยให้การตีความของคุณ


คำถามของฉันอาจไม่ชัดเจนเพียงพอ ฉันถูกถามเกี่ยวกับการเกิดขึ้นของความสามารถในการจัดหมวดหมู่ (Gestalt) ใน NN
Mario Alemi
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.