เครื่องจักร Boltzmann สามารถเก็บรูปแบบได้มากกว่า Hopfield net หรือไม่?


17

นี่คือจากเบต้าที่ปิดสำหรับ AI โดยคำถามนี้ถูกโพสต์โดยผู้ใช้หมายเลข 47 เครดิตทั้งหมดสำหรับพวกเขา


ตามที่วิกิพีเดีย ,

เครื่องจักร Boltzmann สามารถมองได้ว่าเป็นคู่สุ่มที่สร้างขึ้นมาจากตาข่าย Hopfield

ทั้งสองเป็นเครือข่ายประสาทที่เกิดขึ้นอีกที่สามารถฝึกให้เรียนรู้รูปแบบบิต จากนั้นเมื่อนำเสนอด้วยรูปแบบบางส่วนสุทธิจะดึงรูปแบบที่สมบูรณ์แบบเต็ม

เครือข่าย Hopfield ได้รับการพิสูจน์แล้วว่ามีความจุ 0.138 (เช่นสามารถเรียกใช้เวกเตอร์ประมาณ 138 บิตจากการจัดเก็บสำหรับทุก ๆ 1,000 โหนดเฮิรตซ์ 1991)

ในฐานะที่เป็นเครื่อง Boltzmann สุ่มฉันเข้าใจว่ามันจะไม่จำเป็นต้องแสดงรูปแบบเดียวกันเสมอเมื่อพลังงานที่แตกต่างระหว่างรูปแบบการจัดเก็บหนึ่งและอื่น ๆ ที่คล้ายกัน แต่เนื่องจากความไม่แน่นอนนี้อาจช่วยให้สามารถจัดเก็บรูปแบบที่หนาแน่นขึ้น แต่ไม่มีการรับประกันว่าคุณจะได้รับรูปแบบ "ใกล้เคียงที่สุด" ในแง่ของความแตกต่างของพลังงาน สิ่งนี้จะเป็นจริงหรือไม่? หรือ Hopfield net จะสามารถเก็บรูปแบบเพิ่มเติมได้หรือไม่?

คำตอบ:


3

แน่นอนว่าคุณใช้สัญชาตญาณถูกต้องเครื่อง Boltzmann สามารถเก็บมากกว่าเครือข่าย Hopfield ในหน่วยความจำเนื่องจากลักษณะสุ่ม สำรวจในบทความนี้ ในกระดาษพวกเขาทราบว่าความจุประมาณ 0.6 หลังจากอัตราส่วนนี้มันเริ่มที่จะทำลายลงและเพิ่มเสียงรบกวนมากขึ้นกับรูปแบบการเรียกคืน

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.