อะไรคือความแตกต่างระหว่าง“ การเรียนรู้ลึก” และการสร้างแบบจำลองหลายระดับ / ลำดับชั้น?

"การเรียนรู้ลึก" เป็นอีกคำหนึ่งสำหรับการสร้างแบบจำลองหลายระดับ / ลำดับชั้นหรือไม่?

ฉันคุ้นเคยกับหลังมากกว่าเดิม แต่จากสิ่งที่ฉันสามารถบอกได้ความแตกต่างหลักไม่ได้อยู่ในคำจำกัดความของพวกเขา แต่วิธีที่พวกเขาใช้และประเมินผลภายในโดเมนแอปพลิเคชันของพวกเขา

ดูเหมือนว่าจำนวนโหนดในแอปพลิเคชั่น "การเรียนรู้ลึก" โดยทั่วไปมีขนาดใหญ่กว่าและใช้รูปแบบลำดับชั้นทั่วไปในขณะที่การประยุกต์ใช้การสร้างแบบจำลองหลายระดับมักใช้ความสัมพันธ์แบบลำดับชั้นที่เลียนแบบกระบวนการกำเนิดแบบจำลอง การใช้ลำดับชั้นทั่วไปในโดเมนสถิติประยุกต์ (การสร้างแบบจำลองลำดับชั้น) จะถือเป็นแบบจำลอง "ไม่ถูกต้อง" ของปรากฏการณ์ในขณะที่การสร้างแบบจำลองลำดับชั้นของโดเมนเฉพาะอาจถือได้ว่าเป็นการทำลายวัตถุประสงค์ในการสร้างเครื่องเรียนรู้ทั่วไป

สองสิ่งนี้เป็นเครื่องจักรชนิดเดียวกันจริงๆหรือไม่ภายใต้ชื่อที่ต่างกันสองชื่อ

ความคล้ายคลึงกัน

อัลกอริทึมทั้งสองประเภทได้รับการพัฒนาขึ้นเพื่อตอบคำถามทั่วไปหนึ่งข้อในการใช้งานการเรียนรู้ของเครื่อง:

ตัวทำนายที่ได้รับ (ปัจจัย) - วิธีรวมการโต้ตอบระหว่างปัจจัยนี้เพื่อเพิ่มประสิทธิภาพได้อย่างไร$x_1, x_2, \ldots, x_p$

วิธีหนึ่งคือเพียงแนะนำผู้ทำนายใหม่: แต่นี่พิสูจน์ได้ว่าเป็นความคิดที่ไม่ดีเนื่องจากมีพารามิเตอร์จำนวนมากและการโต้ตอบประเภทที่เฉพาะเจาะจงมาก$x_{p+1} = x_1x_2, x_{p+2} = x_1x_3, \ldots$

ทั้งการสร้างแบบจำลองหลายระดับและอัลกอริทึมการเรียนรู้ลึกตอบคำถามนี้โดยการแนะนำรูปแบบการโต้ตอบที่ชาญฉลาดมากขึ้น และจากมุมมองนี้พวกเขาคล้ายกันมาก

ข้อแตกต่าง

ตอนนี้ให้ฉันพยายามทำความเข้าใจกับความแตกต่างของแนวคิดที่ยอดเยี่ยมระหว่างพวกเขาคืออะไร เพื่อที่จะให้คำอธิบายลองดูสมมติฐานที่เราทำในแต่ละโมเดล:

การสร้างแบบจำลองหลาย: 1ชั้นที่สะท้อนถึงโครงสร้างข้อมูลที่สามารถแสดงเป็นลำดับชั้นเครือข่ายแบบเบย์ เครือข่ายนี้ได้รับการแก้ไขและมักมาจากแอปพลิเคชันโดเมน$^1$

การเรียนรู้อย่างลึก: 2ข้อมูลถูกสร้างขึ้นจากการปฏิสัมพันธ์ของหลาย ๆ ปัจจัย ไม่ทราบโครงสร้างของการโต้ตอบ แต่สามารถแสดงเป็นตัวประกอบแบบชั้น: การโต้ตอบระดับสูงนั้นได้มาจากการเปลี่ยนการเป็นตัวแทนระดับล่าง$^2$

ความแตกต่างพื้นฐานมาจากวลี"โครงสร้างของการปฏิสัมพันธ์ไม่เป็นที่รู้จัก"ในการเรียนรู้ลึก เราสามารถถือว่านักบวชบางคนในรูปแบบของการโต้ตอบ แต่อัลกอริทึมยังกำหนดปฏิสัมพันธ์ทั้งหมดในระหว่างขั้นตอนการเรียนรู้ ในอีกทางหนึ่งเราต้องกำหนดโครงสร้างของการมีปฏิสัมพันธ์สำหรับการสร้างแบบจำลองหลายระดับ (เราเรียนรู้เพียงแค่เปลี่ยนพารามิเตอร์ของแบบจำลองในภายหลัง)

ตัวอย่าง

$x_1, x_2, x_3$$\{x_1\}$$\{x_2, x_3\}$

$x_1 x_2$$x_1 x_3$$x_2 x_3$

ในการเรียนรู้อย่างลึกซึ้งตัวอย่างเช่นในเครื่อง Boltzmann แบบ จำกัด หลายระดับ ( RBM ) ที่มีสองเลเยอร์ที่ซ่อนอยู่และฟังก์ชั่นการเปิดใช้งานเชิงเส้นเราจะมีปฏิสัมพันธ์พหุนามที่เป็นไปได้ทั้งหมดที่มีระดับน้อยกว่าหรือเท่ากับสาม

ข้อดีและข้อเสียทั่วไป

การสร้างแบบจำลองหลายระดับ

(-) จำเป็นต้องกำหนดโครงสร้างของการโต้ตอบ

(+) ผลลัพธ์มักจะตีความง่ายกว่า

(+) สามารถใช้วิธีการทางสถิติ (ประเมินช่วงความมั่นใจตรวจสอบสมมติฐาน)

เรียนรู้อย่างลึกซึ้ง

(-) ต้องใช้ข้อมูลจำนวนมากในการฝึกอบรม (และเวลาสำหรับการฝึกอบรมเช่นกัน)

(-) ผลลัพธ์มักจะเป็นไปไม่ได้ที่จะตีความ (ให้เป็นกล่องดำ)

(+) ไม่จำเป็นต้องมีความรู้จากผู้เชี่ยวชาญ

(+) เมื่อได้รับการฝึกฝนเป็นอย่างดีมักจะมีประสิทธิภาพสูงกว่าวิธีการทั่วไปอื่น ๆ ส่วนใหญ่

หวังว่ามันจะช่วย!

ในขณะที่คำถาม / คำตอบนี้อยู่ที่นั่นมาซักพักผมก็หวังว่ามันจะเป็นประโยชน์ในการอธิบายประเด็นในคำตอบ ขั้นแรกวลีที่ยกมาเป็นความแตกต่างที่สำคัญระหว่างวิธีการลำดับชั้นและเครือข่ายประสาทลึก 'เครือข่ายนี้ได้รับการแก้ไข' ไม่ถูกต้อง วิธีลำดับชั้นจะไม่ 'คงที่' มากกว่าเครือข่ายทางเลือกอื่น ดูตัวอย่างเช่นกระดาษการเรียนรู้อย่างลึกซึ้งด้วยการวิเคราะห์ปัจจัยเชิงลำดับชั้น, เฉินและ อัล. ฉันคิดว่าคุณจะพบว่าข้อกำหนดในการกำหนดปฏิสัมพันธ์ไม่ได้เป็นจุดที่แตกต่างอีกต่อไป ประเด็นสองข้อที่ไม่ได้ระบุว่าเป็นบวกกับการสร้างแบบจำลองลำดับชั้นคือจากประสบการณ์ของฉันปัญหาที่ลดลงอย่างมากของการมีน้ำหนักเกินและความสามารถในการจัดการชุดฝึกอบรมที่มีขนาดใหญ่และเล็กมาก จุด nitpick คือเมื่อใช้วิธีการแบบลำดับชั้นแบบเบย์ช่วงความเชื่อมั่นและการทดสอบสมมติฐานโดยทั่วไปไม่ใช่วิธีทางสถิติที่จะนำไปใช้