โครงข่ายประสาทเทียมเทียบกับทุกอย่างอื่น

ฉันไม่ได้พบคำตอบที่น่าพอใจนี้จากGoogle

แน่นอนถ้าข้อมูลที่ฉันมีนั้นเป็นของคำสั่งซื้อหลายล้านรายการการเรียนรู้อย่างลึกซึ้งเป็นวิธี

และฉันได้อ่านว่าเมื่อฉันไม่มีข้อมูลขนาดใหญ่แล้วอาจเป็นการดีกว่าถ้าใช้วิธีอื่นในการเรียนรู้ของเครื่อง เหตุผลที่ได้รับคือความพอดี การเรียนรู้ของเครื่อง: เช่นการดูข้อมูลการแยกคุณลักษณะการสร้างฟีเจอร์ใหม่จากสิ่งที่รวบรวม ฯลฯ สิ่งต่าง ๆ เช่นการลบตัวแปรที่มีความสัมพันธ์สูง ฯลฯ การเรียนรู้ของเครื่องทั้งหมด 9 หลา

และฉันสงสัยว่า: ทำไมเครือข่ายประสาทที่มีเลเยอร์ที่ซ่อนอยู่หนึ่งชั้นนั้นไม่ใช่ยาครอบจักรวาลเพื่อแก้ไขปัญหาการเรียนรู้ของเครื่อง? พวกมันคือตัวประมาณสากลการจัดการที่มากเกินไปสามารถจัดการได้ด้วย dropout, l2 normalization, l1 normalization, batch-normalization ความเร็วการฝึกอบรมไม่ใช่ปัญหาถ้าเรามีตัวอย่างการฝึกอบรมเพียง 50,000 ตัวอย่าง เวลาทดสอบดีกว่าให้เราบอกว่าป่าสุ่ม

ดังนั้นทำไมไม่ - ทำความสะอาดข้อมูล, กำหนดค่าที่หายไปตามปกติ, จัดทำข้อมูล, จัดทำมาตรฐานข้อมูล, โยนมันไปยังเครือข่ายประสาทเทียมโดยใช้เลเยอร์ที่ซ่อนอยู่หนึ่งชั้นและใช้การทำให้เป็นมาตรฐานจนกว่าคุณจะเห็นว่า พวกเขาไปยังจุดสิ้นสุด ไม่มีปัญหาเรื่องการไล่ระดับสีหรือการไล่ระดับสีหายไปเนื่องจากเป็นเพียงเครือข่าย 2 ชั้น หากต้องการเลเยอร์ลึกนั่นหมายความว่าจะต้องเรียนรู้คุณลักษณะแบบลำดับชั้นและอัลกอริธึมการเรียนรู้ของเครื่องอื่นก็ไม่ดีเช่นกัน ตัวอย่างเช่น SVM เป็นเครือข่ายประสาทเทียมที่มีการสูญเสียบานพับเท่านั้น

ตัวอย่างที่บางอัลกอริทึมการเรียนรู้ของเครื่องอื่นจะมีประสิทธิภาพสูงกว่าเครือข่ายนิวรัล 2 ชั้น (อาจจะ 3? คุณสามารถให้ลิงค์กับปัญหาและฉันจะฝึกอบรมโครงข่ายประสาทเทียมที่ดีที่สุดที่ฉันสามารถทำได้และเราสามารถดูได้ว่าเครือข่ายประสาท 2 ชั้นหรือ 3 ชั้นตกต่ำจากอัลกอริธึมการเรียนรู้เครื่องจักรมาตรฐานอื่น ๆ

อัลกอริทึมการเรียนรู้ของเครื่องแต่ละเครื่องมีอคติเหนี่ยวนำแตกต่างกันดังนั้นจึงไม่เหมาะที่จะใช้เครือข่ายประสาท แนวโน้มเชิงเส้นจะได้รับการเรียนรู้ที่ดีที่สุดเสมอโดยการถดถอยเชิงเส้นอย่างง่ายมากกว่าเครือข่ายที่ไม่ใช่เชิงเส้น

หากคุณดูที่ผู้ชนะของการแข่งขัน Kaggle ที่ผ่านมายกเว้นความท้าทายใด ๆ กับข้อมูลภาพ / วิดีโอคุณจะพบว่าเครือข่ายประสาทนั้นไม่ใช่ทางออกสำหรับทุกสิ่งอย่างรวดเร็ว โซลูชั่นที่ผ่านมาบางอย่างที่นี่

ใช้การทำให้เป็นมาตรฐานจนกว่าคุณจะเห็นว่าไม่มีการปรับตัวมากเกินไปและจากนั้นฝึกฝนให้ถึงที่สุด

ไม่มีการรับประกันว่าคุณสามารถใช้การทำให้เป็นมาตรฐานมากพอเพื่อป้องกันการ overfitting โดยไม่ทำลายขีดความสามารถของเครือข่ายเพื่อเรียนรู้อะไรเลย ในชีวิตจริงมันเป็นไปได้ยากที่จะกำจัดช่องว่างการทดสอบรถไฟและนั่นคือสาเหตุที่เอกสารยังคงรายงานประสิทธิภาพของรถไฟและการทดสอบ

มันเป็นตัวประมาณสากล

สิ่งนี้เป็นจริงเฉพาะในการ จำกัด จำนวนหน่วยที่ไม่ได้ จำกัด ซึ่งไม่เหมือนจริง

คุณสามารถให้ลิงค์กับปัญหาและฉันจะฝึกโครงข่ายประสาทเทียมที่ดีที่สุดที่ฉันสามารถทำได้และเราสามารถดูได้ว่า 2 ชั้นหรือ 3 ชั้นโครงข่ายประสาทเทียมขาดขั้นตอนวิธีการเรียนรู้กลไกมาตรฐานอื่น ๆ

ตัวอย่างปัญหาที่ฉันคาดว่าเครือข่ายประสาทจะไม่สามารถแก้ปัญหา: กำหนดจำนวนเต็มจำแนกเป็นนายกหรือไม่สำคัญ

ฉันเชื่อว่าสิ่งนี้สามารถแก้ไขได้อย่างสมบูรณ์แบบด้วยอัลกอริธึมที่เรียบง่ายที่วนซ้ำโปรแกรมที่ใช้ได้ทั้งหมดในความยาวจากน้อยไปหามากและค้นหาโปรแกรมที่สั้นที่สุดซึ่งระบุหมายเลขเฉพาะได้อย่างถูกต้อง ที่จริงแล้วสตริงตัวอักษร regex 13 ตัวนี้สามารถจับคู่หมายเลขเฉพาะซึ่งไม่สามารถคำนวณได้ยากนักในการค้นหา

การทำให้เป็นมาตรฐานสามารถใช้แบบจำลองจากแบบจำลองที่เกินความสามารถไปจนถึงแบบที่มีอำนาจการเป็นตัวแทนของมันอย่างรุนแรงโดยการทำให้เป็นมาตรฐาน? จะไม่ได้มีจุดหวานที่ในระหว่าง?

ใช่มีจุดหวาน แต่มักจะเป็นวิธีก่อนที่คุณจะหยุด overfitting ดูรูปนี้:

หากคุณพลิกแกนแนวนอนและติดตั้งใหม่เป็น "จำนวนของการทำให้เป็นมาตรฐาน" มันค่อนข้างแม่นยำ - ถ้าคุณทำให้เป็นปกติจนกระทั่งไม่มีการ overfitting เลยข้อผิดพลาดของคุณจะใหญ่มาก "จุดที่น่ารัก" เกิดขึ้นเมื่อมีแรงกระแทกเล็กน้อย แต่ไม่มากเกินไป

'อัลกอริธึมแบบง่าย ๆ เป็นอย่างไรในการวนซ้ำโปรแกรมที่ถูกต้องทั้งหมดในความยาวจากน้อยไปหามากและค้นหาโปรแกรมที่สั้นที่สุดซึ่งระบุหมายเลขเฉพาะได้อย่างถูกต้อง' อัลกอริทึมที่เรียนรู้?

$\theta$$H(\theta)$$\theta$

ดังนั้นถ้าฉันทำให้คุณถูกต้องคุณกำลังโต้แย้งว่าถ้าข้อมูลไม่มากเครือข่ายที่ลึกจะไม่ตีความถูกต้องในการตรวจสอบความถูกต้องของเครือข่ายตื้นที่ดีที่สุดที่ได้รับพารามิเตอร์ที่ดีที่สุดสำหรับทั้งสอง?

ใช่. นี่คือตัวเลขที่น่าเกลียด แต่มีประสิทธิภาพหวังว่าจะแสดงจุดของฉัน

แต่นั่นก็ไม่สมเหตุสมผล เครือข่ายที่ลึกสามารถเรียนรู้การทำแผนที่ 1-1 เหนือตื้น

คำถามไม่ใช่ "สามารถทำได้" แต่ "จะเป็นไปได้" และหากคุณฝึกอบรมการ backpropagation คำตอบน่าจะไม่ใช่

เรากล่าวถึงความจริงที่ว่าเครือข่ายขนาดใหญ่จะทำงานได้ดีกว่าเครือข่ายขนาดเล็ก

หากไม่มีคุณสมบัติเพิ่มเติมการอ้างสิทธิ์นั้นผิด

ฉันจะเพิ่มว่าไม่มีสิ่งเช่นเครื่องเรียนรู้ยาครอบจักรวาล:

โดยไม่มีทฤษฎีอาหารกลางวันฟรี :

หากอัลกอริทึมทำงานได้ดีในบางระดับของปัญหาก็จำเป็นต้องจ่ายสำหรับสิ่งนั้นด้วยประสิทธิภาพที่ลดลงในชุดของปัญหาที่เหลือทั้งหมด