เครือข่ายความเชื่อลึกหรือเครื่องจักร Deep Boltzmann

ฉันสับสน มีความแตกต่างระหว่างเครือข่ายความเชื่อลึกและเครื่องจักร Deep Boltzmann หรือไม่? ถ้าเป็นเช่นนั้นความแตกต่างคืออะไร?

— แจ็คทเวน
แหล่งที่มา

บทความวิกิพีเดียเกี่ยวกับเครือข่ายความเชื่อที่ลึกซึ้งค่อนข้างชัดเจนแม้ว่ามันจะมีประโยชน์ / ลึกซึ้งที่จะมีภาพที่ใหญ่ขึ้นของนิรุกติศาสตร์ / ประวัติศาสตร์ของข้อตกลง โดยพื้นฐานแล้วเครือข่ายความเชื่อที่ลึกซึ้งนั้นคล้ายคลึงกับเครือข่ายประสาทลึกจาก pov probabilistic และเครื่อง boltz ลึกเป็นวิธีหนึ่งที่ใช้ในการสร้างเครือข่ายความเชื่อที่ลึก เห็นได้ชัดว่า ANN ทุกคนมีการตีความ / แบบจำลองความน่าจะเป็น แต่พวกมันไม่ได้ง่าย ๆ / ได้รับโดยตรงเหมือนกับแบบจำลอง "ความเชื่อ" แบบเบส์ / probabilistic

— vzn

คำตอบ:

ถึงแม้ว่าเครือข่าย Deep Belief Networks (DBNs) และ Deep Boltzmann Machines (DBMs) จะมีลักษณะคล้ายกันมากในทางแผนภาพ นี่เป็นเพราะ DBN ถูกชี้นำและ DBMs นั้นไม่ได้ถูกบอกทิศทาง ถ้าเราต้องการให้พอดีกับภาพ ML ที่กว้างขึ้นเราอาจกล่าวได้ว่า DBN นั้นเป็นเครือข่ายความเชื่อ sigmoid ที่มีเลเยอร์ของตัวแปรแฝงที่เชื่อมโยงกันจำนวนมากและ DBM เป็นฟิลด์สุ่มมาร์คอฟที่มีเลเยอร์ของตัวแปรแฝงเชื่อมโยงหนาแน่น

$P(v|h)$ $v$ $h$ $P$

ที่ถูกกล่าวว่ามีความคล้ายคลึงกัน ตัวอย่างเช่น:

DBNs และ DBM ดั้งเดิมทำงานได้ทั้งสองอย่างโดยใช้การกำหนดค่าเริ่มต้นตามการฝึกอบรมแบบโลภ - เลเยอร์ของเครื่อง Bolzmann (RBM)
พวกเขาทั้ง "ลึก"
ทั้งสองเลเยอร์คุณลักษณะของตัวแปรแฝงที่เชื่อมต่ออย่างหนาแน่นกับเลเยอร์ด้านบนและด้านล่าง แต่ไม่มีการเชื่อมต่อ intralayer ฯลฯ

— อัลโต
แหล่งที่มา

DBN สามารถเป็นเครือข่ายความเชื่อ sigmoid ได้อย่างไร !! เลเยอร์ของ DBN คือ RBM ดังนั้นแต่ละเลเยอร์คือฟิลด์สุ่มมาร์คอฟ!

— Jack Twain

ฉันคิดว่ามีการพิมพ์ผิดที่นี่ "นี่เป็นเพราะ DBMs ได้รับการชี้นำและ DBMs จะไม่ได้บอกทิศทาง" ฉันคิดว่าคุณหมาย DBNs จะไม่มีทิศทาง

— แจ็ค Twain

@AlexTwain ใช่ควรอ่าน "DBN ถูกนำไปใช้" แม้ว่าคุณอาจปรับ DBN ให้เป็นจริงโดยการเรียนรู้ RBM ครั้งแรก แต่ท้ายที่สุดคุณมักจะปลดน้ำหนักและจบลงด้วยเครือข่ายความเชื่อ sigmoid ที่ลึก (กำกับ) ใน DBN ดั้งเดิมจำนวนมากคนทำงานออกจากชั้นบนสุดที่ไม่ได้บอกทิศทางแล้วปรับค่าด้วยบางอย่างเช่น wake-sleep ซึ่งในกรณีนี้คุณมีลูกผสม

— อัลโต

คุณหมายถึงในข้อ 3. ว่าพวกเขาไม่มี การเชื่อมต่อ intralayer "(เช่นระหว่างโหนดในเลเยอร์ที่ซ่อนอยู่) แทนที่จะเป็น * interlayer (เช่นจากอินพุตไปยังเลเยอร์ที่ซ่อนอยู่)?

— ddiez

@ddiez ใช่นั่นเป็นวิธีที่ควรอ่าน ขอบคุณสำหรับการแก้ไข

— อัลโต

ทั้งสองเป็นโมเดลกราฟิกความน่าจะเป็นซึ่งประกอบด้วยเลเยอร์ซ้อนกันของ RBM ความแตกต่างอยู่ที่การเชื่อมต่อเลเยอร์เหล่านี้

การเชื่อมโยงนี้จะทำให้มันค่อนข้างชัดเจน: http://jmlr.org/proceedings/papers/v5/salakhutdinov09a/salakhutdinov09a.pdf รูปที่ 2 และส่วน 3.1 มีความเกี่ยวข้องโดยเฉพาะอย่างยิ่ง

เพื่อสรุป:

ใน DBN การเชื่อมต่อระหว่างเลเยอร์ถูกนำไปใช้ ดังนั้นสองเลเยอร์แรกจะสร้าง RBM (โมเดลกราฟิกที่ไม่มีทิศทาง) จากนั้นเลเยอร์ที่ตามมาจะกลายเป็นโมเดลเชิงกำเนิดโดยตรง

ใน DBM การเชื่อมต่อระหว่างเลเยอร์ทั้งหมดไม่ได้ถูกบอกทิศทางดังนั้นแต่ละเลเยอร์จะสร้าง RBM

— Darkensberge
แหล่งที่มา

ดังนั้นเครื่องจักร boltzmann ลึกยังคงถูกสร้างขึ้นจาก RBMs? ฉันกำลังสรุปผลการแนะนำและภาพในหนังสือพิมพ์

— Marin