บทแนะนำที่ดีสำหรับเครื่อง Boltzmann ที่ จำกัด (RBM)

10

ฉันกำลังศึกษาเครื่อง Boltzmann ที่ จำกัด (RBM) และกำลังมีปัญหาบางอย่างในการทำความเข้าใจการคำนวณความน่าจะเป็นของบันทึกเกี่ยวกับพารามิเตอร์ของ RBM แม้ว่าจะมีการตีพิมพ์รายงานวิจัยจำนวนมากเกี่ยวกับ RBM แต่ก็ไม่มีขั้นตอนโดยละเอียดของตราสารอนุพันธ์ หลังจากค้นหาออนไลน์ฉันสามารถค้นหาพวกเขาในเอกสารนี้:

Fischer, A. , & Igel, C. (2012) บทนำของเครื่องจักร Boltzmann ที่ถูก จำกัด ใน L. Alvarez et al. (บรรณาธิการ): CIARP, LNCS 7441, pp. 14–36, Springer-Verlag: Berlin-Heidelberg ( pdf )

อย่างไรก็ตามรายละเอียดของเอกสารนี้ก้าวหน้าเกินไปสำหรับฉัน ใครช่วยชี้ให้ฉันดูบทสอน / ชุดการบรรยายที่ดีเกี่ยวกับ RBM ได้หรือไม่?

แก้ไข: @David ส่วนที่สับสนแสดงอยู่ด้านล่าง (สมการที่ 29 ในหน้า 26):

$\begin{aligned} \frac{\partial \ln L (θ | v)}{\partial w_{i j}} & = - \sum_{h} p (h | v) \frac{\partial E (v, h)}{\partial w_{i j}} + \sum_{v, h} p (v, h) \frac{\partial E (v, h)}{\partial w_{i j}} \\ = \sum_{h} p (h | v) h_{i} v_{j} - \sum_{v} p (v) \sum_{h} p (h | v) h_{i} v_{j} \\ (29) & = p (H_{i} = 1 | v) v_{j} - \sum_{v} p (v) p (H_{i} = 1 | v) v_{j} . \end{aligned}$ $\begin{align} \frac{\partial\ln\mathcal{L}(\theta|v)}{\partial w_{ij}} &= -\sum_h p(h|v)\frac{\partial E(v, h)}{\partial w_{ij}} + \sum_{v,h} p(v,h)\frac{\partial E(v,h)}{\partial w_{ij}} \\[5pt] &= \sum_h p(h|v)h_iv_j - \sum_v p(v) \sum_h p(h|v)h_iv_j \\[5pt] &= \color{orange}{\boxed{\color{black}{p(H_i=1|v)}}}v_j - \sum_v p(v) \color{orange}{\boxed{\color{black}{p(H_i=1|v)}}}v_j\; . \tag{29} \end{align}$

references rbm

— Upul
แหล่งที่มา

คุณจะเจาะจงมากขึ้นเกี่ยวกับขั้นตอนที่ทำให้คุณสับสนได้หรือไม่?

— David J. Harris

1

บทอ่านที่ดีคือบทที่ 5 ของการเรียนรู้สถาปัตยกรรมเชิงลึกสำหรับ AI ( iro.umontreal.ca/~bengioy/papers/ftml_book.pdf )

— dksahuji

@dksahuji ขอบคุณสำหรับ INFO เช่นกันศาสตราจารย์: Bengio กำลังเขียน DL และร่างแบบมีอยู่ที่iro.umontreal.ca/~bengioy/dlbook

— Upul

บทช่วยสอนนี้มีคำอธิบายเกี่ยวกับคณิตศาสตร์ของ RBM ( บทช่วยสอนเกี่ยวกับเครื่อง Boltzmann ที่ จำกัด )

— เจียงเซียง

7

ฉันรู้ว่ามันสายไปหน่อย แต่บางทีมันอาจช่วยได้ เพื่อให้ได้เทอมแรกของสมการของคุณมันใช้ขั้นตอนเหล่านี้: เราได้สันนิษฐานว่าเป็นเงื่อนไขระหว่าง หน่วยที่ซ่อนให้หน่วยที่มองเห็นได้มีอยู่ ดังนั้นเราสามารถแยกตัวประกอบการกระจายความน่าจะเป็นแบบมีเงื่อนไขสำหรับสถานะที่ซ่อนอยู่

\begin{aligned} \sum_{h} p (h | v) h_{i} v_{j} & = v_{j} \sum_{h_{1}} . . . \sum_{h_{i}} . . . \sum_{h_{n}} p (h_{1}, . . ., h_{i}, . . . h_{n} | v) h_{i} \\ = v_{j} \sum_{h_{i}} \sum_{h_{_i}} p (h_{i}, h_{_i} | v) h_{i} \end{aligned}

$\begin{align} \sum_{\mathbf{h}} p(\mathbf{h} | \mathbf{v})h_iv_j &= v_j \sum_{h_1}...\sum_{h_i}...\sum_{h_n} p(h_1,...,h_i,...h_n | \mathbf{v}) h_i \\[5pt] &= v_j \sum_{h_i} \sum_{\mathbf{h_{\_ i}}}p(h_i, \mathbf{h_{\_i}} | \mathbf{v}) h_i \end{align}$

\begin{aligned} = v_{j} \sum_{h_{i}} \sum_{h_{_i}} p (h_{i} | v) h_{i} p (h_{_i} | v) \\ = v_{j} \sum_{h_{i}} p (h_{i} | v) h_{i} \sum_{h_{_i}} p (h_{_i} | v) \end{aligned}

$\begin{align} &= v_j \sum_{h_i} \sum_{\mathbf{h_{\_ i}}} p(h_i | \mathbf{v}) h_i \: p(\mathbf{h_{\_ i}}|\mathbf{v}) \\[5pt] &= v_j \sum_{h_i} p(h_i | \mathbf{v}) h_i \: \sum_{\mathbf{h_{\_ i}}} p(\mathbf{h_{\_ i}}|\mathbf{v}) \end{align}$ เทอมสุดท้ายมีค่าเท่ากับเนื่องจากเราสรุปผลรวมของทุกรัฐ ดังนั้นสิ่งที่เหลืออยู่คือเทอมแรก เนื่องจากใช้สถานะและเราจึงลงท้ายด้วย:

1

$1$

h_{i}

$h_i$

1

$1$

0

$0$

= v_{j} p (H_{i} = 1 | v)

$\hspace{-25mm}= v_j \: p(H_i = 1 | \mathbf{v})$

— peschn
แหล่งที่มา

7

มีการสอนที่ดีของ RBMs บนเป็นเว็บไซต์การเรียนรู้เชิงลึก
โพสต์บล็อกนี้ ( Introduction to Restricted Boltzmann Machines ) เขียนด้วยภาษาที่ง่ายขึ้นและอธิบายพื้นฐานของ RBMS ได้ดีมาก:
นอกจากนี้อาจอ้างอิงที่ดีที่สุดคือหลักสูตร Neural Networksของ Geoff Hinton ใน Coursea:

ฉันไม่แน่ใจว่าคุณจะสามารถเข้าถึงชั้นเรียนและวิดีโอหลังจากจบชั้นเรียนได้หรือไม่

— sjm.majewski
แหล่งที่มา

2

ยังมีคนสมัครเข้าเรียนในชั้นเรียน Coursera และโพสต์ในฟอรัม คุณยังสามารถดูการบรรยายทั้งหมดและเข้าถึงการสอบย่อยทั้งหมดและการมอบหมายการเขียนโปรแกรม (ท่ามกลางคำถาม) ข้อมูลนี้อาจเป็นข้อมูลจนกว่าจะมีการเสนอหลักสูตรอีกครั้ง ฉันแนะนำให้ลงทะเบียนในหลักสูตรเพื่อดูหรือดาวน์โหลดเนื้อหา

— Douglas Zare

1

กล่องสีส้มด้านซ้ายให้ค่าคาดหวังของการไล่ระดับพลังงานสำหรับการกำหนดค่าที่ซ่อนอยู่ทั้งหมดเนื่องจากเวกเตอร์ที่มองเห็นได้บางส่วนถูกหนีบบนหน่วยที่มองเห็นได้ (การคาดหวังเหนือข้อมูลเนื่องจากใช้ตัวอย่างจากชุดฝึกอบรมของคุณ) คำว่าตัวเองเป็นผลคูณของ (1) ความน่าจะเป็นที่จะเห็นยูนิตที่ซ่อนอยู่ i โดยเฉพาะเนื่องจากเวกเตอร์ v บางตัวถูกหนีบบนหน่วยที่มองเห็นได้และ (2) สถานะของหน่วยที่มองเห็นได้นั้น j

กล่องสีส้มด้านขวานั้นเหมือนกับกล่องด้านซ้ายยกเว้นว่าคุณกำลังทำอะไรอยู่ในกล่องสีส้มด้านซ้ายสำหรับทุกการตั้งค่าที่สามารถมองเห็นได้แทนที่จะเป็นกล่องที่ยึดติดกับหน่วยที่มองเห็นได้ (ความคาดหวังเหนือโมเดล ในหน่วยที่มองเห็นได้)

— รีสอร์ต
แหล่งที่มา

1

บทที่ 5 ของหลักสูตรของ Hugo Larochelle เกี่ยวกับการเรียนรู้ของเครื่อง ( วิดีโอ ) เป็นการแนะนำที่ดีที่สุดที่ฉันเคยพบมา

อนุพันธ์ของฟังก์ชั่นการสูญเสียไม่ได้มาจากการบรรยายเหล่านี้ แต่มันไม่ยากที่จะทำ (ฉันสามารถโพสต์การสแกนการคำนวณของฉันหากจำเป็น แต่มันไม่ได้ยากจริงๆ) ฉันยังคงมองหาหนังสือเรียนที่ดีครอบคลุมหัวข้อนี้ แต่ส่วนใหญ่มีบทความเท่านั้น มีภาพรวมที่ดีของบทความในบทที่ 20 ของหนังสือการเรียนรู้ลึกของ Bengio

— jakab922
แหล่งที่มา