การสร้างแบบจำลองทางคณิตศาสตร์แบบเครือข่ายประสาทเทียมเป็นแบบกราฟิก

ฉันกำลังดิ้นรนเพื่อให้การเชื่อมต่อทางคณิตศาสตร์ระหว่างเครือข่ายประสาทและแบบจำลองกราฟิก

ในแบบกราฟิกความคิดนั้นง่ายมาก: การแจกแจงความน่าจะเป็นเป็นตัวประกอบตามกลุ่มในกราฟโดยทั่วไปแล้วศักยภาพนั้นเป็นของตระกูลเอ็กซ์โพเนนเชียล

มีเหตุผลที่เท่าเทียมกันสำหรับโครงข่ายประสาทเทียมหรือไม่? เราสามารถแสดงการแจกแจงความน่าจะเป็นเหนือหน่วย (ตัวแปร) ในเครื่อง จำกัด Boltzmann หรือซีเอ็นเอ็นเป็นฟังก์ชันของพลังงานหรือผลิตภัณฑ์พลังงานระหว่างหน่วยหรือไม่

นอกจากนี้การแจกแจงความน่าจะเป็นแบบจำลองโดย RBM หรือเครือข่ายความเชื่อลึก (เช่นกับ CNNs) ของตระกูลเอ็กซ์โปเนนเชียลหรือไม่?

ผมหวังที่จะพบข้อความที่ formalizes การเชื่อมต่อระหว่างชนิดปัจจุบันนี้เครือข่ายประสาทและสถิติในลักษณะเดียวกับที่จอร์แดนและเวนไรท์ได้สำหรับรุ่นกราฟิกกับพวกเขารุ่นกราฟิกครอบครัวเอกและแปรผันอนุมาน ตัวชี้ใด ๆ จะดีมาก

การแนะนำที่ดีเกี่ยวกับเรื่องนี้คือหลักสูตรCSC321ที่มหาวิทยาลัยโตรอนโตและหลักสูตรนิวรอลเน็ตต์ -2012-001 ในหลักสูตรที่ Coursera ซึ่งทั้งคู่สอนโดย Geoffrey Hinton

จากวิดีโอเกี่ยวกับ Belief Nets:

แบบจำลองกราฟิก

โมเดลกราฟิกในช่วงต้นใช้ผู้เชี่ยวชาญเพื่อกำหนดโครงสร้างกราฟและความน่าจะเป็นตามเงื่อนไข กราฟนั้นเชื่อมโยงกันอย่างกระจัดกระจายและการมุ่งเน้นไปที่การอนุมานที่ถูกต้องไม่ใช่การเรียนรู้ (ความรู้มาจากผู้เชี่ยวชาญ)

โครงข่ายประสาท

สำหรับตาข่ายประสาทการเรียนรู้เป็นศูนย์กลาง การเดินสายยากความรู้นั้นไม่เจ๋ง (โอเคอาจจะนิดหน่อย) การเรียนรู้มาจากการเรียนรู้ข้อมูลการฝึกอบรมไม่ใช่จากผู้เชี่ยวชาญ โครงข่ายประสาทเทียมไม่ได้มีจุดมุ่งหมายเพื่อการตีความการเชื่อมต่อแบบเบาบางเพื่อให้อนุมานได้ง่าย อย่างไรก็ตามมีโครงข่ายความเชื่อเกี่ยวกับโครงข่ายประสาทเทียม

ความเข้าใจของฉันคือความเชื่อตาข่ายมักจะเชื่อมโยงอย่างหนาแน่นเกินไปและกลุ่มของพวกเขามีขนาดใหญ่เกินไปที่จะตีความได้ ความเชื่ออวนใช้ฟังก์ชัน sigmoid เพื่อรวมอินพุตในขณะที่โมเดลกราฟิกต่อเนื่องมักใช้ฟังก์ชันเกาส์เซียน sigmoid ทำให้เครือข่ายง่ายขึ้นในการฝึกอบรม แต่มันยากที่จะตีความในแง่ของความน่าจะเป็น ฉันเชื่อว่าทั้งสองอยู่ในตระกูลชี้แจง

ฉันยังห่างไกลจากผู้เชี่ยวชาญในเรื่องนี้ แต่บันทึกการบรรยายและวิดีโอเป็นทรัพยากรที่ยอดเยี่ยม

Radford Neal ทำงานได้ดีในเรื่องนี้ซึ่งคุณอาจจะสนใจรวมถึงงานโดยตรงในการสร้างแบบจำลองกราฟิก Bayesian กับเครือข่ายประสาท (วิทยานิพนธ์ของเขาเห็นได้ชัดในหัวข้อเฉพาะนี้.)

ฉันไม่คุ้นเคยกับงานนี้เพื่อให้สรุปอัจฉริยะ แต่ฉันต้องการให้ตัวชี้แก่คุณในกรณีที่คุณเห็นว่ามีประโยชน์

นี่อาจเป็นกระทู้เก่า แต่ก็ยังเป็นคำถามที่เกี่ยวข้อง

ตัวอย่างที่โดดเด่นที่สุดของการเชื่อมต่อระหว่าง Neural Networks (NN) และ Probabilistic Graphical Models (PGM) คือหนึ่งระหว่าง Boltzmann Machines (และรูปแบบที่ จำกัด เช่น BM, Deep BM ฯลฯ ) และ PGMs แบบไม่ระบุทิศทางของ Markov Random Field

ในทำนองเดียวกัน Belief Networks (และรูปแบบที่แตกต่างกันเช่น Deep BN ฯลฯ ) เป็นประเภทของ PGM ที่กำกับของกราฟ Bayesian

สำหรับข้อมูลเพิ่มเติมโปรดดู:

1. Yann Lecun " การสอนเกี่ยวกับการเรียนรู้ด้วยพลังงาน " (2549)
2. Yoshua Bengio, Ian Goodfellow และ Aaron Courville, "การเรียนรู้ลึก", Ch 16 & 20 (เตรียมหนังสือ, ในขณะที่เขียนนี้)