ทำไมไม่ลองทิ้งโครงข่ายประสาทและการเรียนรู้อย่างลึกซึ้ง? [ปิด]

ปัญหาพื้นฐานกับการเรียนรู้ลึกและเครือข่ายประสาทโดยทั่วไป

1. โซลูชั่นที่เหมาะสมกับข้อมูลการฝึกอบรมไม่มีที่สิ้นสุด เราไม่มีสมการทางคณิตศาสตร์ที่แม่นยำซึ่งเป็นที่น่าพอใจเพียงอันเดียวและเราสามารถพูดได้ว่าดีที่สุด เพียงแค่พูดเราไม่รู้ว่า generalizes ใดดีที่สุด

2. การปรับน้ำหนักให้เหมาะสมไม่ใช่ปัญหานูนดังนั้นเราไม่มีทางรู้เลยว่าเราจะจบลงด้วยการใช้งานทั่วโลกหรือในระดับท้องถิ่น

ดังนั้นทำไมไม่เพียงแค่ถ่ายโอนข้อมูลโครงข่ายประสาทเทียมและค้นหารุ่น ML ที่ดีกว่าแทน สิ่งที่เราเข้าใจและสิ่งที่สอดคล้องกับชุดของสมการทางคณิตศาสตร์หรือไม่ Linear และ SVM ไม่มีข้อบกพร่องทางคณิตศาสตร์นี้และสอดคล้องอย่างสมบูรณ์กับชุดของสมการทางคณิตศาสตร์ ทำไมไม่เพียงแค่คิดในบรรทัดเดียวกัน (ไม่จำเป็นต้องเป็นแบบเชิงเส้น) และมาพร้อมกับ ML โมเดลใหม่ที่ดีกว่า Linear และ SVM และโครงข่ายประสาทและการเรียนรู้เชิงลึก

1. การไม่สามารถรู้ได้ว่าโซลูชันทั่วไปที่ดีที่สุดคือปัญหา แต่ไม่ควรขัดขวางเรามิฉะนั้นแล้วจะใช้วิธีแก้ปัญหาที่ดี มนุษย์เองมักไม่รู้ว่าสิ่งใดเป็นสิ่งที่ดีที่สุด (พิจารณาตัวอย่างเช่นการแข่งขันทฤษฎีการรวมสาขาของฟิสิกส์) แต่นั่นก็ไม่ได้ทำให้เรามีปัญหามากเกินไป

2. มันแสดงให้เห็นว่ามันเป็นเรื่องยากมากสำหรับการฝึกอบรมที่จะล้มเหลวเพราะขั้นต่ำในท้องถิ่น ค่าต่ำสุดในท้องถิ่นส่วนใหญ่ในเครือข่ายนิวรัลลึกนั้นมีค่าใกล้เคียงกับค่าต่ำสุดทั่วโลกดังนั้นจึงไม่มีปัญหา แหล่ง

แต่คำตอบที่กว้างกว่าคือคุณสามารถพูดคุยกันตลอดทั้งวันเกี่ยวกับการไม่เลือกและการเลือกรูปแบบและผู้คนจะยังคงใช้เครือข่ายประสาทเพียงเพราะพวกเขาทำงานได้ดีกว่าสิ่งอื่นใด (อย่างน้อยในสิ่งต่าง ๆ เช่นการจำแนกภาพ)

แน่นอนว่ายังมีคนเถียงว่าเราไม่ควรให้ความสนใจกับ CNNs มากนักเช่นชุมชนที่ให้ความสำคัญกับ SVM เมื่อไม่กี่สิบปีก่อนและแทนที่จะมองหาสิ่งที่ยิ่งใหญ่ต่อไป โดยเฉพาะอย่างยิ่งฉันคิดว่าฉันจำได้ว่าฮินตันรู้สึกเสียใจกับประสิทธิภาพของ CNNs เป็นสิ่งที่อาจขัดขวางการวิจัย โพสต์ที่เกี่ยวข้อง

เมื่อความคิดเห็นเกี่ยวกับคำถามของคุณชี้ให้เห็นว่ามีคนจำนวนมากที่ทำงานค้นหาสิ่งที่ดีกว่า ฉันอยากจะตอบคำถามนี้ด้วยการขยายความคิดเห็นที่เหลือโดย @josh

ทุกรุ่นผิด แต่บางรุ่นก็มีประโยชน์ (Wiki)

ข้อความข้างต้นเป็นความจริงทั่วไปที่ใช้เพื่ออธิบายลักษณะของแบบจำลองทางสถิติ การใช้ข้อมูลที่เรามีอยู่เราสามารถสร้างแบบจำลองที่ให้เราทำสิ่งที่มีประโยชน์เช่นประมาณค่าที่ทำนาย

ใช้ตัวอย่างการถดถอยเชิงเส้น

ด้วยการสังเกตจำนวนหนึ่งเราสามารถใส่แบบจำลองเพื่อให้เรามีค่าประมาณสำหรับตัวแปรที่ขึ้นต่อกันซึ่งให้ค่าใด ๆ สำหรับตัวแปรอิสระ

อัม, KP; แอนเดอร์สัน, DR (2002), การเลือกรูปแบบและหลายโมเดล> การอนุมาน: แนวทางปฏิบัติเชิงทฤษฎีข้อมูล (2nd ed.):

"แบบจำลองเป็นการทำให้ง่ายขึ้นหรือประมาณความเป็นจริงและด้วยเหตุนี้จะไม่สะท้อนความเป็นจริงทั้งหมด ... กล่องตั้งข้อสังเกตว่า" แบบจำลองทั้งหมดผิด แต่บางส่วนมีประโยชน์ "ในขณะที่แบบจำลองไม่สามารถเป็น" ความจริง "แบบจำลองอาจ ได้รับการจัดอันดับจากที่มีประโยชน์มากไปถึงมีประโยชน์ไปจนถึงค่อนข้างมีประโยชน์

การเบี่ยงเบนจากแบบจำลองของเรา (ดังที่เห็นในภาพด้านบน) ปรากฏแบบสุ่มการสังเกตบางอย่างอยู่ด้านล่างบรรทัดและบางส่วนอยู่ด้านบน แต่เส้นการถดถอยของเราแสดงความสัมพันธ์ทั่วไป ในขณะที่การเบี่ยงเบนในแบบจำลองของเราปรากฏแบบสุ่มในสถานการณ์จริงจะมีปัจจัยอื่น ๆ ที่ทำให้เกิดการเบี่ยงเบนนี้ ตัวอย่างเช่นลองจินตนาการว่ากำลังดูรถในขณะที่พวกเขาขับรถผ่านทางแยกที่พวกเขาจะต้องเลี้ยวซ้ายหรือขวาเพื่อดำเนินการต่อ ในขณะที่เราสามารถพูดได้ว่าทิศทางที่รถเลี้ยวเป็นแบบสุ่มสมบูรณ์ผู้ขับขี่ทุกคนจะมาถึงทางแยกและ ณ จุดนั้นจะมีการตัดสินใจแบบสุ่มว่าจะเลี้ยวอย่างไร ในความเป็นจริงพวกเขาอาจจะมุ่งไปที่อื่นด้วยเหตุผลเฉพาะและโดยไม่พยายามหยุดรถแต่ละคันเพื่อถามพวกเขาเกี่ยวกับเหตุผลของพวกเขาเราสามารถอธิบายการกระทำของพวกเขาเป็นการสุ่มเท่านั้น

ในกรณีที่เราสามารถพอดีกับโมเดลที่มีการเบี่ยงเบนน้อยที่สุดเราจะแน่ใจได้อย่างไรว่าตัวแปรที่ไม่รู้จักไม่มีใครสังเกตเห็นหรือไม่สามารถวัดได้จะไม่เกิดขึ้นในบางครั้งที่จะโยนโมเดลของเรา ปีกของผีเสื้อในบราซิลปิดทอร์นาโดในเท็กซัสไหม

ปัญหาของการใช้แบบจำลองเชิงเส้นและแบบ SVN ที่คุณพูดถึงเพียงอย่างเดียวคือเราจำเป็นต้องสังเกตตัวแปรของเราด้วยตนเอง จากนั้นเราต้องตัดสินใจว่าตัวแปรใดที่มีความสำคัญและเขียนอัลกอริทึมเฉพาะงาน สิ่งนี้สามารถตรงไปตรงมาถ้าเรามีตัวแปรเพียงเล็กน้อย แต่ถ้าเรามีหลายพัน ถ้าเราต้องการสร้างแบบจำลองการจดจำภาพทั่วไปสิ่งนี้สามารถทำได้จริงด้วยวิธีการนี้หรือไม่?

การเรียนรู้อย่างลึกซึ้งและโครงข่ายประสาทเทียม (ANNs) สามารถช่วยเราสร้างแบบจำลองที่มีประโยชน์สำหรับชุดข้อมูลขนาดใหญ่ที่มีตัวแปรจำนวนมาก (เช่นไลบรารีรูปภาพ) ดังที่คุณพูดถึงมีวิธีแก้ปัญหาจำนวนมากที่ไม่สามารถเข้าใจข้อมูลได้โดยใช้ ANNs แต่ตัวเลขนี้แตกต่างจากจำนวนโซลูชั่นที่เราจะต้องพัฒนาตัวเองผ่านการลองผิดลองถูกหรือไม่?

แอปพลิเคชันของ ANNs ทำงานให้เรามากเราสามารถระบุอินพุตและเอาต์พุตที่ต้องการ (และปรับแต่งภายหลังเพื่อทำการปรับปรุง) และปล่อยให้ ANN หาวิธีแก้ปัญหา นี่คือเหตุผลที่ ANNs มักจะอธิบายว่า"กล่องดำ" จากอินพุตที่กำหนดพวกมันให้ผลลัพธ์ประมาณ (โดยทั่วไป) การประมาณเหล่านี้จะไม่รวมรายละเอียดเกี่ยวกับวิธีการประมาณ

และมันก็จะลงเอยกับปัญหาที่คุณพยายามแก้ไขเนื่องจากปัญหาจะกำหนดวิธีการแบบจำลองที่มีประโยชน์มากกว่า แบบจำลองไม่แม่นยำอย่างแน่นอนและมีองค์ประกอบของการ 'ผิด' อยู่เสมออย่างไรก็ตามยิ่งผลลัพธ์ของคุณมีความแม่นยำมากเท่าใดก็ยิ่งมีประโยชน์มากขึ้นเท่านั้น การมีรายละเอียดเพิ่มเติมในผลลัพธ์เกี่ยวกับวิธีการประมาณอาจมีประโยชน์ขึ้นอยู่กับปัญหาที่อาจมีประโยชน์มากกว่าความแม่นยำที่เพิ่มขึ้น

ตัวอย่างเช่นหากคุณกำลังคำนวณคะแนนเครดิตบุคคลการใช้การถดถอยและ SVM จะให้การคำนวณที่สามารถสำรวจได้ดีขึ้น ความสามารถในการปรับแต่งทั้งสองแบบโดยตรงและอธิบายให้ลูกค้าฟังว่าตัวแปรอิสระที่แยกจากกันมีผลต่อคะแนนโดยรวมของพวกเขานั้นมีประโยชน์มาก ANN อาจช่วยในการประมวลผลตัวแปรจำนวนมากขึ้นเพื่อให้ได้คะแนนที่แม่นยำยิ่งขึ้น แต่ความแม่นยำนี้มีประโยชน์มากกว่าหรือไม่

ค่าต่ำสุดทั่วโลกอาจไร้ประโยชน์ดังนั้นเราจึงไม่แคร์ถ้าเราพบมันหรือไม่ เหตุผลก็คือสำหรับเครือข่ายที่ลึกไม่เพียง แต่เวลาที่จะพบว่ามันยาวขึ้นอย่างทวีคูณเมื่อขนาดเครือข่ายเพิ่มขึ้น แต่ค่าต่ำสุดทั่วโลกมักสอดคล้องกับชุดฝึกอบรมมากเกินไป ดังนั้นความสามารถในการวางนัยทั่วไปของ DNN (ซึ่งเป็นสิ่งที่เราสนใจจริงๆ) จะได้รับผลกระทบ นอกจากนี้บ่อยครั้งที่เราชอบเลียตต่ำสุดที่สอดคล้องกับค่าที่สูงขึ้นของฟังก์ชั่นการสูญเสียมากกว่าที่คมชัดน้อยที่สุดสอดคล้องกับมูลค่าที่ลดลงของฟังก์ชั่นการสูญเสียเพราะอันที่สองจะจัดการกับความไม่แน่นอน สิ่งนี้กำลังชัดเจนมากขึ้นด้วยการพัฒนาการเรียนรู้แบบเบย์ การเพิ่มประสิทธิภาพที่แข็งแกร่งชนะการกำหนดค่าสูงสุดบ่อยครั้งเมื่อนำไปใช้กับปัญหาในโลกแห่งความจริงที่ความไม่แน่นอนเป็นสิ่งสำคัญ

ในที่สุดมันเป็นความจริงที่ว่า DNN เพิ่งเตะตูดของวิธีการเช่น XGBoost ที่การจำแนกภาพและ NLP บริษัท ที่ต้องทำกำไรจากการจัดหมวดหมู่ภาพจะเลือกพวกเขาเป็นโมเดลที่จะนำไปใช้ในการผลิตอย่างถูกต้อง ( และลงทุนเงินจำนวนมากในงานวิศวกรรมฟีเจอร์ท่อส่งข้อมูลและอื่น ๆ แต่ฉันพูดนอกเรื่อง) นี่ไม่ได้หมายความว่าพวกเขาควบคุมสภาพแวดล้อม ML ทั้งหมด: ตัวอย่างเช่นพวกเขาแย่กว่า XGBoost กับข้อมูลที่มีโครงสร้าง (ดูผู้ชนะคนสุดท้ายของการแข่งขัน Kaggle) และดูเหมือนว่าพวกเขาจะยังไม่ทำเช่นนั้น อย่างไรก็ตามนวัตกรรมล่าสุดบางอย่างใน RNN อาจแก้ไขสถานการณ์นี้

ฉันคิดว่าวิธีที่ดีที่สุดที่จะคิดเกี่ยวกับคำถามนี้คือผ่านตลาดการแข่งขัน หากคุณทิ้งการเรียนรู้อย่างลึกล้ำและคู่แข่งของคุณใช้มันและมันทำงานได้ดีกว่าสิ่งที่คุณใช้คุณจะถูกโจมตีในตลาด

ฉันคิดว่านั่นคือสิ่งที่เกิดขึ้นในวันนี้คือการเรียนรู้อย่างลึกซึ้งดูเหมือนว่าจะทำงานได้ดีกว่าทุกอย่างสำหรับปัญหามากมายในตลาด ตัวอย่างเช่นนักแปลภาษาออนไลน์ที่ใช้การเรียนรู้ลึกดีกว่าวิธีการทางภาษาล้วนๆที่เคยใช้มาก่อน เมื่อไม่กี่ปีที่ผ่านมานี่ไม่ใช่กรณีนี้ แต่ความก้าวหน้าในการเรียนรู้อย่างลึกซึ้งทำให้ผู้ที่คุ้นเคยกับตำแหน่งผู้นำในตลาด

ฉันทำซ้ำ "ตลาด" เพราะนั่นคือสิ่งที่ผลักดันกระแสในการเรียนรู้ลึก ช่วงเวลาที่ธุรกิจค้นพบสิ่งที่มีประโยชน์สิ่งนั้นจะกลายเป็นวงกว้าง ไม่ใช่ว่าเราคณะกรรมการที่ตัดสินใจว่าการเรียนรู้อย่างลึกซึ้งควรเป็นที่นิยม เป็นธุรกิจและการแข่งขัน

ส่วนที่สองคือนอกจากความสำเร็จที่แท้จริงของ ML แล้วยังมีความกลัวที่จะพลาดเรือ ธุรกิจจำนวนมากมีความหวาดระแวงว่าถ้าพวกเขาพลาด AI พวกเขาจะล้มเหลวในฐานะธุรกิจ ความกลัวนี้กำลังได้รับการเลี้ยงดูจากบ้านที่ปรึกษาเหล่านี้Gartnersและอื่น ๆ กระซิบกับซีอีโอว่าพวกเขาจะต้องทำ AI หรือตายในวันพรุ่งนี้

ไม่มีใครบังคับให้ธุรกิจใช้การเรียนรู้อย่างลึกซึ้ง ไอทีและการวิจัยและพัฒนาตื่นเต้นกับของเล่นใหม่ Academia กำลังเชียร์ดังนั้นปาร์ตี้นี้จะคงอยู่จนกระทั่งเพลงหยุดลงนั่นคือจนกระทั่งการเรียนรู้ลึกหยุดส่ง ในระหว่างนี้คุณสามารถทิ้งและสร้างโซลูชันที่ดีขึ้น

มีคำตอบที่ยอดเยี่ยมส่วนใหญ่ชั่งน้ำหนักด้วยประโยชน์ของ DL และ ANNs แต่ฉันต้องการคัดค้าน OP ในลักษณะพื้นฐานมากกว่าเนื่องจากคำถามได้รับการยอมรับความไม่สอดคล้องกันทางคณิตศาสตร์ของโครงข่ายประสาท

ครั้งแรกของทั้งหมดมีเป็นทฤษฎีทางคณิตศาสตร์ที่อยู่เบื้องหลัง (รุ่นส่วนใหญ่) โครงข่ายประสาทเทียม คุณอาจโต้แย้งว่าการถดถอยเชิงเส้นไม่ได้พูดถึงเว้นแต่ว่าโมเดลพื้นฐานคือ ... ดีเป็นเส้นตรง ในอัลกอริทึมของระบบประสาทโมเดลจะถือว่า (แม้ว่าจะไม่ชัดเจน) และข้อผิดพลาดในการคำนวณจะถูกคำนวณ ความจริงที่ว่าอัลกอริทึมได้รับการแก้ไขด้วยฮิวริสติกแบบต่าง ๆ จะไม่ทำให้การสนับสนุนทางคณิตศาสตร์ดั้งเดิมเป็นโมฆะ BTW การปรับให้เหมาะสมที่สุดในท้องถิ่นนั้นมีความสอดคล้องกันทางคณิตศาสตร์

ในบรรทัดนี้ถ้า Neural Networks เป็นเพียงวิธีการหนึ่งในกล่องเครื่องมือทั้งหมดของนักวิทยาศาสตร์ซึ่งเป็นเส้นที่แยก Neural Networks ออกจากส่วนที่เหลือของเทคนิค? ในความเป็นจริง SVM เคยถูกจัดให้อยู่ในประเภท NN และยังคงปรากฏในหนังสือเล่มเดียวกัน ในทางตรงกันข้าม NNs อาจถือได้ว่าเป็นเทคนิคการถดถอย (แบบไม่เชิงเส้น) ซึ่งอาจจะทำให้เข้าใจได้ง่าย ฉันเห็นด้วยกับ OP ว่าเราต้องค้นหาอัลกอริทึมที่ดีขึ้นก่อตั้งขึ้นดีและมีประสิทธิภาพไม่ว่าคุณจะระบุว่าเป็น NN หรือไม่ก็ตาม

ฉันคิดว่าปัญหาบางอย่างที่เราใส่ใจน้อยกว่าในเรื่องความแม่นยำทางคณิตศาสตร์และความเรียบง่าย แต่ยิ่งกว่าสำหรับประโยชน์ของมันสถานะปัจจุบันคือโครงข่ายประสาทเทียมจะดีกว่าในการทำงานบางอย่างเช่นการจดจำรูปแบบในการประมวลผลภาพ

มีคำถามมากมายในคำถามนี้ ให้ข้ามสิ่งที่คุณเขียนไปทีละตัว

โซลูชั่นที่เหมาะสมกับข้อมูลการฝึกอบรมไม่มีที่สิ้นสุด เราไม่มีสมการทางคณิตศาสตร์ที่แม่นยำซึ่งเป็นที่น่าพอใจเพียงอันเดียวและเราสามารถพูดได้ว่าดีที่สุด

ความจริงที่ว่ามีวิธีแก้ปัญหามากมายที่ไม่สิ้นสุดมาจากปัญหาการเรียนรู้ซึ่งเป็นปัญหาที่ไม่ดีดังนั้นจึงไม่มีวิธีแก้ปัญหาเดียวที่ดีที่สุด นอกจากนี้โดยไม่มีทฤษฎีอาหารกลางวันฟรีวิธีใดที่เราใช้ไม่สามารถรับประกันได้ว่ามันเป็นสิ่งที่ดีที่สุดในทุกปัญหาการเรียนรู้

เพียงแค่พูดเราไม่รู้ว่า generalizes ใดดีที่สุด

คำสั่งนี้ไม่เป็นความจริง มีทฤษฎีเกี่ยวกับการลดความเสี่ยงเชิงประจักษ์โดย Vapnik & Chervonenkis ที่เชื่อมโยงกับจำนวนตัวอย่างมิติ VC ของวิธีการเรียนรู้และข้อผิดพลาดทั่วไป โปรดทราบว่าสิ่งนี้ใช้สำหรับชุดข้อมูลที่กำหนดเท่านั้น เมื่อได้รับชุดข้อมูลและกระบวนการเรียนรู้เรารู้ขอบเขตในการวางนัยทั่วไป โปรดทราบว่าสำหรับชุดข้อมูลที่แตกต่างกันไม่มีและไม่สามารถเป็นขั้นตอนการเรียนรู้ที่ดีที่สุดเพียงอย่างเดียวเนื่องจากไม่มีทฤษฎีอาหารกลางวันฟรี

การปรับน้ำหนักให้เหมาะสมไม่ใช่ปัญหานูนดังนั้นเราไม่มีทางรู้เลยว่าเราจะจบลงด้วยการใช้งานทั่วโลกหรือในระดับท้องถิ่น ดังนั้นทำไมไม่เพียงแค่ถ่ายโอนข้อมูลโครงข่ายประสาทเทียมและค้นหารุ่น ML ที่ดีกว่าแทน

ที่นี่มีบางสิ่งที่คุณต้องจำไว้ การปรับแก้ปัญหาแบบไม่นูนนั้นไม่ใช่เรื่องง่ายเหมือนการใช้นูน นั่นเป็นความจริง. อย่างไรก็ตามคลาสของวิธีการเรียนรู้ที่ถูก จำกัด (การถดถอยเชิงเส้น, SVMs) และในทางปฏิบัติพวกเขาทำงานได้แย่กว่าการเรียนแบบไม่นูน (การส่งเสริม CNNs) ในปัญหาที่หลากหลาย ดังนั้นส่วนที่สำคัญคือในการฝึกอวนของระบบประสาททำงานได้ดีที่สุด แม้ว่าจะมีองค์ประกอบที่สำคัญมากที่ทำให้มุ้งทำงานได้ดี:

1. พวกเขาสามารถนำไปใช้กับชุดข้อมูลที่มีขนาดใหญ่มากเนื่องจากการไล่ระดับสีสุ่ม
2. ซึ่งแตกต่างจาก SVMs การอนุมานด้วยอวนลึกไม่ได้ขึ้นอยู่กับชุดข้อมูล สิ่งนี้ทำให้อวนประสาทมีประสิทธิภาพในเวลาทดสอบ
3. ด้วยอวนประสาทมันเป็นไปได้ที่จะควบคุมความสามารถในการเรียนรู้โดยตรง (คิดจากจำนวนพารามิเตอร์) เพียงแค่เพิ่มเลเยอร์มากขึ้นหรือทำให้ใหญ่ขึ้น นี่เป็นสิ่งสำคัญเนื่องจากชุดข้อมูลที่แตกต่างกันคุณอาจต้องการรุ่นที่ใหญ่กว่าหรือเล็กกว่า

สิ่งที่เราเข้าใจและสิ่งที่สอดคล้องกับชุดของสมการทางคณิตศาสตร์หรือไม่ Linear และ SVM ไม่มีข้อบกพร่องทางคณิตศาสตร์นี้และสอดคล้องอย่างสมบูรณ์กับชุดของสมการทางคณิตศาสตร์ ทำไมไม่เพียงแค่คิดในบรรทัดเดียวกัน (ไม่จำเป็นต้องเป็นแบบเชิงเส้น) และมาพร้อมกับ ML โมเดลใหม่ที่ดีกว่า Linear และ SVM และโครงข่ายประสาทและการเรียนรู้เชิงลึก

การทุ่มตลาดสิ่งที่ทำงานเพราะไม่เข้าใจพวกเขาไม่ได้เป็นทิศทางการวิจัยที่ดี การพยายามทำความเข้าใจพวกเขานั้นเป็นอีกทางหนึ่งที่เป็นทิศทางการวิจัยที่ยอดเยี่ยม นอกจากนี้ฉันไม่เห็นด้วยที่เครือข่ายประสาทไม่สอดคล้องกับสมการทางคณิตศาสตร์ พวกเขาค่อนข้างสอดคล้อง เรารู้วิธีเพิ่มประสิทธิภาพและทำการอนุมาน

วิธีการเกี่ยวกับการดูเครือข่ายประสาทจากมุมมองการทดลอง? เพียงเพราะเราสร้างพวกเขาไม่ได้หมายความว่าเราจำเป็นต้องเข้าใจพวกเขาอย่างสังหรณ์ใจ หรือว่าเราไม่ได้รับอนุญาตให้เล่นกับพวกเขาเพื่อให้เข้าใจได้ดีขึ้นว่าพวกเขากำลังทำอะไร

นี่คือความคิดสองสามข้อที่ฉันมีต่อพวกเขา:

• โครงสร้าง: เป็นลำดับชั้น พวกเขาเป็นเหมือนต้นไม้ที่แบ่งปันปัจจัย รากเป็นอินพุตและใบไม้เป็นเลเยอร์เอาต์พุต ยิ่งเลเยอร์ใกล้กับเอาท์พุตมากเท่าไหร่ก็ยิ่งมีความเกี่ยวข้องมากขึ้นเท่านั้นและยิ่งมีสิ่งที่เป็นนามธรรมอยู่ในระดับมาก (มันเกี่ยวกับภาพมากกว่าพิกเซล)
• ฟังก์ชั่น: พวกเขา "เล่น" กับข้อมูลตัวถูกดำเนินการ modus คือการทดสอบความสัมพันธ์ในเซลล์ประสาท (น้ำหนัก) จนกระทั่งสิ่งที่ "คลิก" (ขอบเขตของข้อผิดพลาดเป็นที่ยอมรับ)

นี่สอดคล้องกับวิธีที่เราคิด มันสอดคล้องกับวิธีการทางวิทยาศาสตร์ ดังนั้นโดยการถอดรหัสเครือข่ายประสาทเราอาจแก้คำถามทั่วไปเกี่ยวกับความรู้

อย่าลืมว่ามีงานวิจัยมากมายที่ใช้ LMs, GLM, การสร้างแบบจำลองหลายระดับ เทคนิค Bayesian เมื่อเร็ว ๆ นี้และ Hamiltonian Monte Carlo (ชุมชน STAN อยู่ในระดับแนวหน้าของเรื่องนี้) มีปัญหาและจำนวนของปัญหาที่แก้ไขโดยSTANได้อย่างง่ายดายและไม่ต้องการ NNs หรืออวนลึก การวิจัยทางสังคมศาสตร์เศรษฐศาสตร์จุลภาคเป็นสองตัวอย่าง (ขนาดใหญ่) ของสาขาดังกล่าวที่ใช้สแตนอย่างรวดเร็ว

แบบจำลองของสแตนนั้น "อ่านง่าย" มาก สัมประสิทธิ์มีการตีความการกระจายหลังและการทำนายเช่นนั้น นักบวชเป็นส่วนหนึ่งของกระบวนการสร้างข้อมูลและไม่จำเป็นต้องผันให้เป็นนักแสดง (เช่นกิ๊บส์) การติดตั้งโมเดลในสแตนนั้นเป็นเรื่องที่น่ายินดีจริงๆแล้วมันเป็นเพลงของ MCMC ที่น่ารำคาญโดยอัตโนมัติและจะเตือนคุณเมื่อการสำรวจติดอยู่กับการสร้างภาพที่ดีจริงๆ

หากคุณไม่ได้พยายามมันแล้วดูการสาธิตสแตนน่ากลัวที่นี่ )

ในตอนท้ายของวันฉันคิดว่าผู้คนไม่ได้พูดถึงเรื่องนี้มากนักเนื่องจากการวิจัยในสาขานี้และปัญหาไม่ได้ "เซ็กซี่" / "เจ๋ง" เช่นเดียวกับ NNs

สิ่งที่มักจะเกิดขึ้นเมื่อไม่มีความสอดคล้องทางคณิตศาสตร์ (อย่างน้อยในกรณีของเครือข่ายประสาทเทียม) ... เมื่อมันไม่ให้ผลลัพธ์ตามที่ต้องการในชุดทดสอบหัวหน้าของคุณจะกลับมาและพูดว่า ... เฮ้ทำไมคุณไม่ ลองดรอป (ซึ่งน้ำหนัก, เลเยอร์ไหน, ปวดหัวเท่าไหร่เพราะไม่มีวิธีการคำนวณทางคณิตศาสตร์) ดังนั้นหลังจากที่คุณลองและหวังว่าจะมีการปรับปรุงเล็กน้อย แต่ไม่ต้องการหัวหน้าของคุณจะกลับมาพูดว่าทำไม ไม่ลองลดน้ำหนัก (ปัจจัยอะไร)? และต่อมาทำไมคุณไม่ลอง ReLU หรือการเปิดใช้งานอื่น ๆ ในเลเยอร์บางส่วนและยังไม่ลองทำไมไม่ลอง 'max pooling'? ยังไม่ทำไมไม่ลองชุดมาตรฐานยังคงไม่หรืออย่างน้อยบรรจบกัน แต่ไม่ต้องการผลลัพธ์โอ้คุณอยู่ในท้องถิ่นขั้นต่ำลองตารางอัตราการเรียนรู้ที่แตกต่างกัน เพียงแค่เปลี่ยนสถาปัตยกรรมเครือข่าย และทำซ้ำทั้งหมดข้างต้นในชุดค่าผสมที่แตกต่างกัน! เก็บไว้ในวงจนกว่าคุณจะประสบความสำเร็จ!

ในทางกลับกันเมื่อคุณลอง SVM ที่สอดคล้องกันหลังจากการบรรจบกันถ้าผลลัพธ์ไม่ดีแล้วก็โอเคเคอร์เนลเชิงเส้นที่เราใช้นั้นไม่ดีพอเนื่องจากข้อมูลอาจไม่เชิงเส้นให้ใช้เคอร์เนลที่มีรูปร่างต่างกันลอง เคอร์เนลที่มีรูปร่างแตกต่างกันหากคุณมีลางสังหรณ์ใด ๆ หากยังไม่ได้แค่ปล่อยไว้มันเป็นข้อ จำกัด ของ SVM

สิ่งที่ฉันกำลังพูดคือเครือข่ายประสาทเทียมนั้นไม่สอดคล้องกันจนไม่ผิดเลย! มันไม่เคยยอมรับความพ่ายแพ้! วิศวกร / นักออกแบบรับภาระในกรณีที่มันไม่ทำงานตามที่ต้องการ