อะไรคือความแตกต่างระหว่างเครือข่ายประสาทและเครือข่ายความเชื่อที่ลึกซึ้ง?


62

ฉันได้รับความประทับใจว่าเมื่อผู้คนพูดถึงเครือข่าย 'ความเชื่อลึก' ว่านี่เป็นเครือข่ายประสาท แต่มีขนาดใหญ่มาก สิ่งนี้ถูกต้องหรือเครือข่ายที่มีความเชื่ออย่างลึกซึ้งหรือไม่ก็บอกเป็นนัยว่าอัลกอริธึมเองนั้นแตกต่างกัน (เช่นไม่มีตัวส่งต่อโครงข่ายประสาท

คำตอบ:


59

"เครือข่ายประสาท" เป็นคำที่มักใช้เพื่ออ้างถึงเครือข่ายประสาทเทียมไปข้างหน้า Deep Neural Networks เป็นเครือข่าย Neural แบบป้อนต่อที่มีหลายเลเยอร์

เครือข่ายความเชื่อลึกไม่เหมือนกับเครือข่ายประสาทลึก

ดังที่คุณได้ชี้ให้เห็นว่าเครือข่ายความเชื่อที่ลึกซึ้งมีการเชื่อมต่อที่ไม่ได้เชื่อมโยงกันระหว่างเลเยอร์ ซึ่งหมายความว่าทอพอโลยีของ DNN และ DBN นั้นแตกต่างกันตามนิยาม

เลเยอร์ที่ไม่ได้ทำการบอกทิศทางใน DBN เรียกว่าเครื่อง จำกัด Boltzmann เลเยอร์นี้สามารถฝึกอบรมได้โดยใช้อัลกอริทึมการเรียนรู้แบบไม่มีผู้ดูแล (Contrastive Divergence) ที่รวดเร็วมาก (นี่คือลิงค์ ! พร้อมรายละเอียด)

ความคิดเห็นเพิ่มเติมบางส่วน:

โซลูชันที่ได้รับจากโครงข่ายประสาทเทียมที่ลึกกว่านั้นสอดคล้องกับโซลูชันที่ทำงานได้แย่กว่าโซลูชันที่ได้รับสำหรับเครือข่ายที่มีเลเยอร์ที่ซ่อนอยู่ 1 หรือ 2 เลเยอร์ เมื่อสถาปัตยกรรมมีความลึกยิ่งขึ้นมันก็ยากที่จะได้ภาพรวมที่ดีโดยใช้ Deep NN

ในปี 2549 ฮินตันค้นพบว่าสามารถบรรลุผลที่ดีกว่าได้มากในสถาปัตยกรรมที่ลึกกว่าเมื่อแต่ละเลเยอร์ (RBM) ได้รับการฝึกอบรมล่วงหน้าด้วยอัลกอริทึมการเรียนรู้แบบไม่มีผู้ดูแล (Contrastive Divergence) จากนั้นเครือข่ายสามารถได้รับการฝึกอบรมในลักษณะที่มีการควบคุมดูแลโดยใช้การขยายเวลาแบ็กอัพเพื่อ "ปรับแต่ง" ตุ้มน้ำหนัก


ความแตกต่างหลักระหว่างฟังก์ชั่นของ DNN & DBN นั้น DBNs ทำงานได้ทั้งสองทิศทางใน => ออกสำหรับการฝึกอบรมออก => ในการคาดการณ์หรือไม่?
ZAR

5

" Deep Neural Network คือเครือข่ายประสาทเทียมแบบส่งต่อที่มีหน่วยซ่อนมากกว่าหนึ่งเลเยอร์ระหว่างอินพุตและเอาท์พุตหน่วยซ่อนแต่ละหน่วยมักใช้ฟังก์ชันโลจิสติกส์เพื่อแมปอินพุตทั้งหมดจากเลเยอร์ด้านล่าง , , ไปยังสถานะสเกลาร์,ที่ส่งไปยังเลเยอร์ด้านบนjxjyj (Ref. (1)) "

ที่กล่าวไว้ดังที่ David กล่าวไว้: " เครือข่ายความเชื่อที่ลึกล้ำมีการเชื่อมต่อแบบไม่ระบุทิศทางระหว่างสองชั้นบนสุดอย่างเช่นใน RBM " ซึ่งตรงกันข้ามกับเครือข่ายนิวรอลฟีดเดอร์มาตรฐานส่งต่อ โดยทั่วไปแล้วประเด็นหลักใน DNN เกี่ยวกับการฝึกอบรมที่เกี่ยวข้องกับ NN เลเยอร์เดียวอย่างแน่นอน (ฉันไม่ได้ทำงานกับ NNs มันเพิ่งเกิดขึ้นฉันอ่านกระดาษเร็ว ๆ นี้)

การอ้างอิง: 1. โครงข่ายประสาทลึกสำหรับการสร้างแบบจำลองอะคูสติกในการรู้จำเสียงโดย Geoffrey Hinton, Li Deng, Dong Yu, George Dahl, Abdel-rahman Mohamed, Navdeep Jaitly, Andrew อาวุโส, Vincent Vanhoucke, Patrick Nguyen, Tara Sainath, และ Brian Kingsbury ในนิตยสารประมวลผลสัญญาณ IEEE [82] พฤศจิกายน 2012 ( ลิงก์ไปยังกระดาษต้นฉบับใน MSR )


1
เครือข่าย BELIEF ที่ลึกมักจะอ้างถึงเครือข่ายที่ลึกโดยมีการเตรียมการล่วงหน้าที่ไม่ได้รับการดูแล
อัลฟ่า

5
@ user11852 กระดาษที่คุณเชื่อมโยงเพื่อสร้างความแตกต่างระหว่างเครือข่ายประสาทลึกและเครือข่ายความเชื่อลึก เครือข่ายความเชื่อลึกมีการเชื่อมต่อที่ไม่ได้บอกทิศทางระหว่างสองเลเยอร์ชั้นนำอย่างเช่นใน RBM
David J. Harris

0

ดีใจที่ได้เห็นความคิดเห็นของอเล็กซ์ที่นี่ ฉันอธิบายคนอื่นว่า DL เป็นเครือข่ายประสาทปกติ แผนการเรียนรู้ไม่แตกต่างกัน ANN ก่อนหน้านี้เขียนใน c (70s) มีตัวเลือกสำหรับการตั้งค่าเลเยอร์ที่ซ่อนอยู่หลายรายการ จริง ๆ แล้วฉันทดสอบเพื่อตรวจสอบว่าเลเยอร์ที่ซ่อนอยู่เพิ่มเติมปรับปรุงความถูกต้อง จำนวนเลเยอร์ไม่ได้ทำให้ DL แตกต่างจาก ANN

ฉันเกลียดข้อตกลงทางการตลาดแบบนี้ ตอนนี้เรามีผู้เชี่ยวชาญ DL จำนวนมากที่ไม่รู้ว่าจริง ๆ แล้ว DL เป็น ANN เนื่องจากตลาดเป็นสิ่งที่ดีและแข็งแกร่งผู้คนเชื่อว่าเราก้าวหน้าไปมากในด้านการเรียนรู้ของเครื่อง แต่ไม่มีอะไรใหม่!


4
มีสิ่งใหม่จริง ๆ จริง ANNs เป็นที่รู้จักกันมานานก่อนที่จะโฆษณา สิ่งที่เราเรียนรู้เมื่อเร็ว ๆ นี้เป็นเทคนิคมากมายที่จำเป็นในการเรียนรู้เครือข่ายประสาทลึกดังกล่าว ด้วยพลังการคำนวณที่มากขึ้นเรายังค้นพบว่าเครือข่ายประสาทเทียมนั้นยอดเยี่ยมสำหรับภาพเสียงและข้อมูลอื่น ๆ ที่เรามีปัญหาในการกำหนดคุณสมบัติด้วยมือ มีมากกว่านั้นแน่นอน
วลาดิสลาฟ Dovgalecs

1
คำตอบนี้ดูเหมือนจะเป็นความคิดเห็นเพิ่มเติมเกี่ยวกับปัญหาที่ไม่เกี่ยวข้อง ฉันไม่เห็นการพูดถึงเครือข่ายความเชื่อที่ลึกซึ้ง
beldaz
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.