สไลด์นี้เกี่ยวกับการเรียนรู้อย่างลึกซึ้งที่อ้างว่าการปรับปรุงทั้งหมดในช่วงปี 1980 เป็นเพราะข้อมูลมากขึ้นและคอมพิวเตอร์ที่เร็วขึ้นเท่านั้น?

ฉันกำลังฟังการพูดคุยและเห็นสไลด์นี้:

มันจริงแค่ไหน?

ฉันกำลังสืบค้น AI StackExchangeและพบคำถามที่คล้ายกันมาก: อะไรคือ "การเรียนรู้ลึก" จากเครือข่ายประสาทอื่น ๆ

เนื่องจาก AI StackExchange จะปิดในวันพรุ่งนี้ (อีกครั้ง) ฉันจะคัดลอกคำตอบสองอันดับแรกที่นี่ (การสนับสนุนผู้ใช้ที่ได้รับอนุญาตภายใต้ cc by-sa 3.0 พร้อมการระบุแหล่งที่มา):

ผู้แต่ง: mommi84less

บทความสองเรื่องที่ได้รับการอ้างถึงเป็นอย่างดีในปี 2549 นำความสนใจในการวิจัยกลับไปสู่การเรียนรู้อย่างลึกซึ้ง ใน"อัลกอริทึมการเรียนรู้ที่รวดเร็วสำหรับอวนความเชื่อลึก"ผู้เขียนนิยามความเชื่อที่ลึกล้ำดังนี้

[... ] ตาข่ายที่เชื่อกันอย่างหนาแน่นซึ่งมีเลเยอร์ที่ซ่อนอยู่มากมาย

เราพบคำอธิบายที่เหมือนกันสำหรับเครือข่ายลึกใน" Greedy Layer-Wise Training of Deep Networks" :

เครือข่ายประสาทหลายชั้นที่ลึกมีหลายระดับที่ไม่ใช่เชิงเส้น [... ]

จากนั้นในกระดาษสำรวจ"การเรียนรู้การเป็นตัวแทน: การทบทวนและมุมมองใหม่"การเรียนรู้เชิงลึกนั้นถูกใช้เพื่อรวมเทคนิคทั้งหมด (ดูคำบรรยายนี้ ) และถูกกำหนดเป็น:

[... ] การสร้างการแสดงหลายระดับหรือการเรียนรู้ลำดับชั้นของคุณลักษณะ

คำคุณศัพท์ "ลึก" จึงถูกนำมาใช้โดยผู้เขียนดังกล่าวข้างต้นจะเน้นการใช้งานของชั้นที่ไม่ใช่เชิงเส้นที่ซ่อนอยู่หลาย

ผู้แต่ง: lejlot

เพียงเพิ่มไปยัง @ mommi84 คำตอบ

การเรียนรู้อย่างลึกซึ้งไม่ได้ จำกัด อยู่ที่เครือข่ายประสาท นี่เป็นแนวคิดที่กว้างกว่า DBN ของ Hinton เป็นต้นการเรียนรู้อย่างลึกซึ้งเป็นเรื่องเกี่ยวกับ

การสร้างการแสดงหลายระดับหรือการเรียนรู้ลำดับชั้นของคุณลักษณะ

ดังนั้นจึงเป็นชื่อสำหรับ อัลกอริทึมการเรียนรู้การเป็นตัวแทนลำดับชั้น มีแบบจำลองลึกที่ยึดตามโมเดลของมาร์คอฟที่ซ่อนอยู่, เขตสุ่มแบบมีเงื่อนไข, สนับสนุนเครื่องเวกเตอร์ ฯลฯ สิ่งที่พบได้ทั่วไปก็คือแทนที่จะเป็นวิศวกรรมฟีเจอร์ที่ได้รับความนิยมในยุค 90 ซึ่งนักวิจัยพยายามสร้างชุดของคุณสมบัติซึ่งเป็น ดีที่สุดสำหรับการแก้ปัญหาการจัดหมวดหมู่ - เครื่องเหล่านี้สามารถทำงานได้เป็นตัวแทนของตัวเองจากข้อมูลดิบ. โดยเฉพาะ - นำไปใช้กับการรับรู้ภาพ (ภาพดิบ) พวกเขาผลิตการแสดงหลายระดับประกอบด้วยพิกเซลแล้วเส้นแล้วคุณสมบัติใบหน้า (ถ้าเรากำลังทำงานกับใบหน้า) เช่นจมูกตาและใบหน้าทั่วไปในที่สุด หากนำไปใช้กับการประมวลผลภาษาธรรมชาติ - พวกเขาสร้างรูปแบบภาษาซึ่งเชื่อมต่อคำในกลุ่มชิ้นส่วนเป็นประโยค ฯลฯ

อีกสไลด์ที่น่าสนใจ:

แหล่ง

การออกกลางคันจากฮินตันในปี 2549 ได้รับการกล่าวขานว่าเป็นการปรับปรุงที่ยิ่งใหญ่ที่สุดในการเรียนรู้อย่างลึกซึ้งในช่วง 10 ปีที่ผ่านมาเพราะจะช่วยลดการล้นที่มากเกินไป

นี่เป็นคำถามที่กระตุ้นให้เกิดการโต้แย้งอย่างแน่นอน

เมื่อมีการใช้เครือข่ายประสาทในการเรียนรู้ลึกพวกเขามักจะได้รับการฝึกฝนในรูปแบบที่ไม่ได้ใช้ในปี 1980 โดยเฉพาะอย่างยิ่งกลยุทธ์ที่ใช้ฝึกเลเยอร์เครือข่ายประสาทเทียมเพื่อรับรู้คุณสมบัติในระดับต่าง ๆ เพื่อให้ง่ายต่อการฝึกอบรมเครือข่ายที่มีหลายเลเยอร์ นั่นคือการพัฒนาใหม่อย่างแน่นอนตั้งแต่ปี 1980

ที่สำคัญคือคำว่า "ลึก" ในการเรียนรู้ลึก ใครบางคน (อ้างอิงลืม) ใน 80s พิสูจน์แล้วว่าฟังก์ชั่นที่ไม่ใช่เชิงเส้นทั้งหมดสามารถประมาณเดียวเครือข่ายประสาทชั้นด้วยแน่นอนจำนวนหน่วยที่ซ่อนอยู่เพียงพอ ฉันคิดว่าผลลัพธ์นี้อาจทำให้ผู้คนไม่อยากแสวงหาเครือข่ายที่ลึกกว่าเดิมในยุคก่อนหน้านี้

แต่ความลึกของเครือข่ายคือสิ่งที่พิสูจน์แล้วว่าเป็นองค์ประกอบสำคัญในการเป็นตัวแทนลำดับชั้นซึ่งผลักดันความสำเร็จของแอพพลิเคชั่นในปัจจุบัน

ไม่แน่นอน ANN เริ่มต้นใน 50s ลองดูหนึ่งใน ML ร็อคสตาร์ของ Yann LeCun สำหรับคำแนะนำที่แท้จริงและครอบคลุม http://www.cs.nyu.edu/~yann/talks/lecun-ranzato-icml2013.pdf