ฉันได้รับความประทับใจว่าเมื่อผู้คนพูดถึงเครือข่าย 'ความเชื่อลึก' ว่านี่เป็นเครือข่ายประสาท แต่มีขนาดใหญ่มาก สิ่งนี้ถูกต้องหรือเครือข่ายที่มีความเชื่ออย่างลึกซึ้งหรือไม่ก็บอกเป็นนัยว่าอัลกอริธึมเองนั้นแตกต่างกัน (เช่นไม่มีตัวส่งต่อโครงข่ายประสาท
ฉันได้รับความประทับใจว่าเมื่อผู้คนพูดถึงเครือข่าย 'ความเชื่อลึก' ว่านี่เป็นเครือข่ายประสาท แต่มีขนาดใหญ่มาก สิ่งนี้ถูกต้องหรือเครือข่ายที่มีความเชื่ออย่างลึกซึ้งหรือไม่ก็บอกเป็นนัยว่าอัลกอริธึมเองนั้นแตกต่างกัน (เช่นไม่มีตัวส่งต่อโครงข่ายประสาท
คำตอบ:
"เครือข่ายประสาท" เป็นคำที่มักใช้เพื่ออ้างถึงเครือข่ายประสาทเทียมไปข้างหน้า Deep Neural Networks เป็นเครือข่าย Neural แบบป้อนต่อที่มีหลายเลเยอร์
เครือข่ายความเชื่อลึกไม่เหมือนกับเครือข่ายประสาทลึก
ดังที่คุณได้ชี้ให้เห็นว่าเครือข่ายความเชื่อที่ลึกซึ้งมีการเชื่อมต่อที่ไม่ได้เชื่อมโยงกันระหว่างเลเยอร์ ซึ่งหมายความว่าทอพอโลยีของ DNN และ DBN นั้นแตกต่างกันตามนิยาม
เลเยอร์ที่ไม่ได้ทำการบอกทิศทางใน DBN เรียกว่าเครื่อง จำกัด Boltzmann เลเยอร์นี้สามารถฝึกอบรมได้โดยใช้อัลกอริทึมการเรียนรู้แบบไม่มีผู้ดูแล (Contrastive Divergence) ที่รวดเร็วมาก (นี่คือลิงค์ ! พร้อมรายละเอียด)
ความคิดเห็นเพิ่มเติมบางส่วน:
โซลูชันที่ได้รับจากโครงข่ายประสาทเทียมที่ลึกกว่านั้นสอดคล้องกับโซลูชันที่ทำงานได้แย่กว่าโซลูชันที่ได้รับสำหรับเครือข่ายที่มีเลเยอร์ที่ซ่อนอยู่ 1 หรือ 2 เลเยอร์ เมื่อสถาปัตยกรรมมีความลึกยิ่งขึ้นมันก็ยากที่จะได้ภาพรวมที่ดีโดยใช้ Deep NN
ในปี 2549 ฮินตันค้นพบว่าสามารถบรรลุผลที่ดีกว่าได้มากในสถาปัตยกรรมที่ลึกกว่าเมื่อแต่ละเลเยอร์ (RBM) ได้รับการฝึกอบรมล่วงหน้าด้วยอัลกอริทึมการเรียนรู้แบบไม่มีผู้ดูแล (Contrastive Divergence) จากนั้นเครือข่ายสามารถได้รับการฝึกอบรมในลักษณะที่มีการควบคุมดูแลโดยใช้การขยายเวลาแบ็กอัพเพื่อ "ปรับแต่ง" ตุ้มน้ำหนัก
" Deep Neural Network คือเครือข่ายประสาทเทียมแบบส่งต่อที่มีหน่วยซ่อนมากกว่าหนึ่งเลเยอร์ระหว่างอินพุตและเอาท์พุตหน่วยซ่อนแต่ละหน่วยมักใช้ฟังก์ชันโลจิสติกส์เพื่อแมปอินพุตทั้งหมดจากเลเยอร์ด้านล่าง , , ไปยังสถานะสเกลาร์,ที่ส่งไปยังเลเยอร์ด้านบน (Ref. (1)) "
ที่กล่าวไว้ดังที่ David กล่าวไว้: " เครือข่ายความเชื่อที่ลึกล้ำมีการเชื่อมต่อแบบไม่ระบุทิศทางระหว่างสองชั้นบนสุดอย่างเช่นใน RBM " ซึ่งตรงกันข้ามกับเครือข่ายนิวรอลฟีดเดอร์มาตรฐานส่งต่อ โดยทั่วไปแล้วประเด็นหลักใน DNN เกี่ยวกับการฝึกอบรมที่เกี่ยวข้องกับ NN เลเยอร์เดียวอย่างแน่นอน (ฉันไม่ได้ทำงานกับ NNs มันเพิ่งเกิดขึ้นฉันอ่านกระดาษเร็ว ๆ นี้)
การอ้างอิง: 1. โครงข่ายประสาทลึกสำหรับการสร้างแบบจำลองอะคูสติกในการรู้จำเสียงโดย Geoffrey Hinton, Li Deng, Dong Yu, George Dahl, Abdel-rahman Mohamed, Navdeep Jaitly, Andrew อาวุโส, Vincent Vanhoucke, Patrick Nguyen, Tara Sainath, และ Brian Kingsbury ในนิตยสารประมวลผลสัญญาณ IEEE [82] พฤศจิกายน 2012 ( ลิงก์ไปยังกระดาษต้นฉบับใน MSR )
ดีใจที่ได้เห็นความคิดเห็นของอเล็กซ์ที่นี่ ฉันอธิบายคนอื่นว่า DL เป็นเครือข่ายประสาทปกติ แผนการเรียนรู้ไม่แตกต่างกัน ANN ก่อนหน้านี้เขียนใน c (70s) มีตัวเลือกสำหรับการตั้งค่าเลเยอร์ที่ซ่อนอยู่หลายรายการ จริง ๆ แล้วฉันทดสอบเพื่อตรวจสอบว่าเลเยอร์ที่ซ่อนอยู่เพิ่มเติมปรับปรุงความถูกต้อง จำนวนเลเยอร์ไม่ได้ทำให้ DL แตกต่างจาก ANN
ฉันเกลียดข้อตกลงทางการตลาดแบบนี้ ตอนนี้เรามีผู้เชี่ยวชาญ DL จำนวนมากที่ไม่รู้ว่าจริง ๆ แล้ว DL เป็น ANN เนื่องจากตลาดเป็นสิ่งที่ดีและแข็งแกร่งผู้คนเชื่อว่าเราก้าวหน้าไปมากในด้านการเรียนรู้ของเครื่อง แต่ไม่มีอะไรใหม่!