คอขวดของการใช้การเรียนรู้อย่างลึกซึ้งในการปฏิบัติ

หลังจากอ่านบทความการเรียนรู้ลึก ๆ แล้วความรู้สึกคร่าวๆคือมีเทคนิคมากมายในการฝึกอบรมเครือข่ายเพื่อให้ได้ประสิทธิภาพที่ดีกว่าปกติ จากมุมมองของแอปพลิเคชันอุตสาหกรรมมันยากมากที่จะพัฒนาเทคนิคนี้ยกเว้นกลุ่มการวิจัยชั้นยอดใน บริษัท เทคโนโลยีขนาดใหญ่เช่น google หรือ facebook แล้ววิธีที่ดีที่สุดในการใช้อัลกอริทึมการเรียนรู้เชิงลึกในทางปฏิบัติคืออะไร ความคิดและข้อเสนอแนะใด ๆ จะได้รับการชื่นชมอย่างมาก

จริงอยู่รายละเอียดบางอย่างที่ใช้ในการปรับปรุงประสิทธิภาพถือเป็นเทคนิคและคุณจะไม่รู้เสมอว่าเทคนิคเหล่านี้มีการปรับปรุงข้อมูลและเครือข่ายของคุณเหมือนกันหรือไม่

บางสิ่งที่คุณต้องการอย่างแน่นอน:

• ข้อมูลมากมาย
• GPUจะช่วยให้คุณสามารถทำการทดสอบได้เร็วขึ้นและลองทำสิ่งต่าง ๆ ได้มากขึ้นในช่วงเวลาที่สั้นลง
• การเรียนรู้การวิเคราะห์เส้นโค้ง ในท้ายที่สุดมันก็ขึ้นอยู่กับประสิทธิภาพของชุดทดสอบ แต่การดูทั้งตัวชี้วัดการรถไฟและการทดสอบคุณสามารถระบุสาเหตุของประสิทธิภาพที่ไม่ดีได้ อคติที่แข็งแกร่ง? การเอาชนะจากโหนดที่ซ่อนอยู่มากเกินไป?
• ฟังก์ชั่นการเปิดใช้งาน ฉันไม่คิดว่ามันจะเป็นเคล็ดลับที่จะรู้ว่าคุณต้องการฟังก์ชั่นการเปิดใช้งานแบบใด ReLU มีบทบาทสำคัญอย่างยิ่งในการที่พวกเขาไม่อิ่มตัวเช่น sigmoids และ tanh เซลล์ประสาทที่มี ReLU จะมีเอาต์พุตคล้ายความน่าจะเป็นอีกต่อไป แต่คุณไม่ต้องการสิ่งนี้สำหรับเซลล์ประสาทในเลเยอร์ระดับกลาง ข้อได้เปรียบที่คุณได้รับคือการบรรเทาการหายไปหรือการระเบิดของการไล่ระดับสีและเพิ่มความเร็วในการบรรจบกัน
• การทำให้เป็นมาตรฐาน อาจใช้เป็นเล่ห์เหลี่ยม แต่ถ้าคุณกำลังใช้ไลบรารี่การเรียนรู้เชิงลึกใด ๆ ที่สำคัญคุณสามารถรับการใช้งานนอกชั้นวางสำหรับการทำให้เป็นปกติผ่านทางดรอปเอาต์
• การเพิ่มข้อมูล คุณกำลังขยายชุดข้อมูลของคุณแบบสังเคราะห์โดยไม่เพิ่มหมายเหตุประกอบแบบแมนนวล กุญแจสำคัญคือการเพิ่มข้อมูลด้วยการแปลงที่ใช้งานได้จริง เพื่อให้เครือข่ายได้เห็นข้อมูลต่างๆที่อาจพบในขั้นตอนการทดสอบหรือเมื่อนำไปใช้กับผลิตภัณฑ์ สำหรับข้อมูลภาพการพลิกแนวนอนนั้นไม่สำคัญและเพิ่มประโยชน์มากมาย กระวนกระวายใจอาจขึ้นอยู่กับชนิดของข้อมูลและเสียงรบกวนนั้นเป็นอย่างไร
• การดำน้ำในการสำรวจพารามิเตอร์หลายมิติอาจทำให้หงุดหงิด เริ่มต้นด้วยเครือข่ายขนาดเล็กและขั้นตอนการฝึกอบรมที่เรียบง่าย เครือข่ายขนาดเล็กเร็วกว่าในการฝึกอบรม เพิ่มเลเยอร์เพิ่มเติมเมื่อคุณเห็นสัญญาณของการมีน้ำหนักเกิน
• การเริ่มต้นที่ดี การทำให้เป็นแบบสุ่มมีความเหมาะสมสำหรับการวัดความสามารถของเครือข่ายในการรวมตัว แต่ไม่จำเป็นต้องนำไปสู่ประสิทธิภาพที่ดีที่สุด ในขณะเดียวกันการทำซ้ำอย่างต่อเนื่องอาจนำไปสู่เครือข่ายที่เกินไปยังข้อมูลการฝึกอบรม หากเป็นไปได้ให้ใช้เครือข่ายที่ผ่านการฝึกอบรมมาก่อนซึ่งได้เรียนรู้การเป็นตัวแทนแล้วและปรับมันให้เป็นชุดข้อมูลของคุณ การฝึกอบรมล่วงหน้าที่ไม่ได้รับการฝึกอบรมเป็นอีกหนทางหนึ่งที่จะช่วยให้กระบวนการฝึกอบรมที่ได้รับการฝึกอบรมภายใต้การดูแลเริ่มต้นจากตำแหน่งที่มีน้ำหนักมาก
• กลั่นกรองเล่นกล ทำความเข้าใจกับสิ่งที่หลอกลวงทำจริงๆ กระดาษอธิบายรายละเอียดเล็ก ๆ ที่ใช้ในการปรับปรุงประสิทธิภาพของเครือข่ายจะเน้นที่มุมมองใหม่นั้น กระดาษอาจเป็นส่วนหนึ่งของลำดับของโครงการที่ผู้เขียนได้ทำงาน บริบทของเคล็ดลับอาจไม่ชัดเจนในทันที แต่สำหรับผู้เขียนมันไม่ใช่กลอุบาย แต่เป็นเทคนิคที่ช่วยแก้ปัญหาที่พวกเขามี บางครั้งมีเทคนิคออกมาและถือเป็นกลอุบายและต่อมาบางคนจะวิเคราะห์ผลกระทบและอธิบายถึงหน้าที่ของมัน ตัวอย่างเช่นเคล็ดลับนี้เทียบเท่ากับการทำให้เป็นมาตรฐาน L2 ซึ่งผู้คนคุ้นเคยกับ เราสามารถตัดสินใจได้ว่าเราควรลองใช้เทคนิคใหม่นี้หรือยึดติดกับการทำให้เป็นมาตรฐาน L2 ที่เรารู้อยู่แล้ว เทคนิคเหล่านี้จำนวนมากพยายามที่จะแก้ปัญหาในการเรียนรู้อย่างลึกซึ้งเช่นความเสี่ยงของการมีน้ำหนักเกิน การคำนวณค่าใช้จ่ายสูงกว่าการกำหนดพารามิเตอร์และน้ำหนักที่ซ้ำซ้อนสูง มันคุ้มค่าที่จะสละเวลาเพื่อทำความเข้าใจว่าเทคนิคเหล่านี้ทำอะไรจริงๆ โดยการทำความเข้าใจกับปัญหาที่พวกเขาพยายามแก้ไขเราสามารถตัดสินการบังคับใช้เทคนิคที่แตกต่างกันและเลือกหนึ่งที่ทำงานได้ดีกับข้อ จำกัด ที่เราอาจมี (เช่นพลังการประมวลผลน้อยชุดข้อมูลขนาดเล็ก)

นี่คือหนังสือที่น่าสนใจNeural Networks: Tricks of the Trade , ฉบับปรับปรุง 2012 ของหนังสือ บทความจำนวนมากโดยผู้บุกเบิกเครือข่ายประสาท

ypx ได้รับการฝึกฝนอย่างถ่องแท้เกี่ยวกับปัญหาการใช้งานจริงด้วยการฝึกอบรมดังนั้นเพื่อสัมผัสกับประเด็นอื่น ๆ ที่คุณยกขึ้น: ห้องปฏิบัติการอุตสาหกรรมชั้นยอดจำนวนมากยังคงเผยแพร่ผลลัพธ์ของพวกเขา สำหรับทีมเช่น Microsoft Research เพียงชนะ ImageNet 2015 และพวกเขาออกรายงานทางเทคนิคอธิบายโมดูลใหม่สุทธิลึก: ลึกที่เหลือสำหรับการเรียนรู้จดจำภาพทีมงานของ Google ตีพิมพ์สถาปัตยกรรมจัดตั้งกองทุนของพวกเขาเป็นอย่างดีไปลึกกับ convolutions ในระดับที่ไม่น่ารำคาญยังมีวัฒนธรรมในการเรียนรู้ของเครื่อง (ตอนนี้) ในการแบ่งปันนวัตกรรมที่ยิ่งใหญ่ อาจเป็นเพราะกุญแจสำคัญคือการเข้าถึงข้อมูล Google และ Facebook สามารถเข้าถึงข้อมูลที่เราทำไม่ได้ ยากที่จะบอกว่าเครดิตไปสู่นวัตกรรมอัลกอริธึมดิบเท่าใดและมีข้อมูลจำนวนมหาศาลเพียงใด

เกี่ยวกับสิ่งที่จะเกิดขึ้นในอนาคต? ยากที่จะพูด. มันเป็นปัญหาที่ผู้คนจำนวนมากได้ยกให้ว่า บริษัท ขับเคลื่อนข้อมูลเหล่านี้มีคุณค่ามากเพียงใดและมีความสามารถในการแข่งขันในตลาด แต่สำหรับตอนนี้ฉันคิดว่ามีความสมดุลที่ดีพอที่ห้องปฏิบัติการวิจัยอุตสาหกรรมแบ่งปันและไม่แบ่งปัน ฉันเข้าใจว่าพวกเขาไม่เปิดเผยการใช้รหัสที่แน่นอน แต่พวกเขาแบ่งปันนวัตกรรมที่แปลกใหม่

ค้นหานักวิจัยที่ตีพิมพ์ผลลัพธ์ที่สำคัญและอ่านอ่านอ่าน ฉันเชื่อใน AMA ของ Yann LeCun ใน Reddit เขากล่าวว่าเขาเป็นนักอ่านที่ไม่รู้จักพอ ฉันเชื่อว่านี่เป็นสิ่งที่สำคัญที่สุด และเท่าที่มันเป็นจริงลองสร้างมาตรฐานของพวกเขาหรือใช้วิธีการของพวกเขาไปยังชุดข้อมูลที่อยู่ในงบประมาณของคุณ

ฉันคิดว่าไม่ว่าคุณจะอยู่ที่ไหนหรืออยู่ในสถานที่ใดในชีวิตนี่คือวิธีที่ดีที่สุดในการฝึกฝนและพัฒนาทักษะของคุณ เป็นผู้อ่านที่ไม่รู้จักพอและใช้สิ่งต่าง ๆ และสร้างสัญชาตญาณ โดยส่วนตัวฉันไม่มีทรัพยากรที่จะเข้าร่วมในการแข่งขัน ImageNet แต่การอ่านบทความที่มีประสิทธิภาพสูงสุดของกลุ่ม ImageNet ได้ช่วยฉันอย่างมาก