เมื่อเร็ว ๆ นี้ฉันกำลังทำงานเกี่ยวกับการเรียนรู้อัลกอริทึมการส่งเสริมเช่น adaboost, การไล่ระดับสีและฉันได้ทราบความจริงที่ว่าผู้เรียนอ่อนแอที่ใช้กันมากที่สุดคือต้นไม้ ฉันอยากรู้ว่ามีตัวอย่างที่ประสบความสำเร็จเมื่อเร็ว ๆ นี้ (ฉันหมายถึงบางบทความหรือบทความ) สำหรับการใช้เครือข่ายประสาทในฐานะผู้เรียนพื้นฐาน
คำตอบ:
ในการเพิ่มลักษณนามอ่อนแอหรือไม่เสถียรจะใช้เป็นผู้เรียนฐาน กรณีนี้เป็นเพราะจุดมุ่งหมายคือการสร้างขอบเขตการตัดสินใจที่แตกต่างกันมาก จากนั้นผู้เรียนพื้นฐานที่ดีคือผู้ที่มีอคติสูงกล่าวอีกนัยหนึ่งผลลัพธ์ยังคงเหมือนเดิมแม้เมื่อพารามิเตอร์การฝึกอบรมสำหรับผู้เรียนพื้นฐานเปลี่ยนไปเล็กน้อย
ในเครือข่ายนิวรัลการออกกลางคันเป็นเทคนิคการทำให้เป็นมาตรฐานที่สามารถนำมาเปรียบเทียบกับการฝึกอบรมตระการตา ความแตกต่างคือการรวมกลุ่มทำในพื้นที่แฝง (มีเซลล์ประสาทอยู่หรือไม่) ดังนั้นจึงลดข้อผิดพลาดในการวางนัยทั่วไป
"ตัวอย่างเช่นการฝึกอบรมแต่ละคนสามารถจึงถูกมองว่าเป็นให้การไล่ระดับสีแตกต่างกัน, สถาปัตยกรรมสุ่มเพื่อให้โครงข่ายประสาทสุดท้ายได้อย่างมีประสิทธิภาพหมายถึงชุดใหญ่ของเครือข่ายประสาทที่มีความสามารถทั่วไปดี" - ข้อความจากที่นี่
มีสองเทคนิคดังกล่าว: ในเซลล์ดร็อปดาวน์ถูกดร็อป (หมายถึงเซลล์ประสาทที่มีอยู่หรือไม่มีความน่าจะเป็นบางอย่าง) ในขณะที่dropconnectน้ำหนักจะลดลง
ตอนนี้เพื่อตอบคำถามของคุณฉันเชื่อว่าเครือข่ายประสาท (หรือ perceptrons) ไม่ได้ใช้เป็นผู้เรียนพื้นฐานในการตั้งค่าการกระตุ้นเนื่องจากพวกเขาช้ากว่าในการฝึกอบรม (ใช้เวลามากเกินไป) และผู้เรียนไม่อ่อนแอแม้ว่าพวกเขาจะทำได้ จะตั้งค่าให้ไม่แน่นอนมากขึ้น ดังนั้นจึงไม่คุ้มค่ากับความพยายาม
อาจมีการวิจัยในหัวข้อนี้ แต่ก็น่าเสียดายที่ความคิดที่ทำงานได้ไม่ดีมักจะไม่ประสบความสำเร็จ เราต้องการงานวิจัยเพิ่มเติมที่ครอบคลุมเส้นทางที่ไม่ได้นำไปสู่ทุกที่หรือที่รู้จักว่า "ไม่ต้องลองสิ่งนี้"
แก้ไข:
ฉันมีอีกเล็กน้อยเกี่ยวกับเรื่องนี้และถ้าคุณสนใจในตระการตาของเครือข่ายขนาดใหญ่แล้วคุณอาจจะหมายถึงวิธีการรวมเอาท์พุทของเครือข่ายดังกล่าวหลาย คนส่วนใหญ่ใช้ค่าเฉลี่ยหรือใช้การลงคะแนนส่วนใหญ่ขึ้นอยู่กับงานซึ่งอาจไม่เหมาะสม ฉันเชื่อว่ามันเป็นไปได้ที่จะเปลี่ยนน้ำหนักของแต่ละเครือข่ายเอาท์พุทตามข้อผิดพลาดในการบันทึกเฉพาะ ยิ่งเอาต์พุตมีความสัมพันธ์กันน้อย
ฉันเห็นว่าสิ่งนี้ไม่มีคำตอบที่ยอมรับดังนั้นฉันจะให้คำตอบแบบฮิวริสติกมาก ใช่มันเสร็จแล้ว .... เช่นมีอยู่ใน JMP Pro (อาจเป็นแพคเกจสถิติที่ดีที่สุดที่คุณไม่เคยได้ยิน) http://www.jmp.com/support/help/Overview_of_Neural_Networks.shtml
มีคำอธิบายอยู่ตรงกลางของหน้ากระดาษที่ใช้ทำ ฉันไม่ได้ใส่วัฏจักรใด ๆ ในการตรวจสอบทฤษฎี แต่ดูเหมือนว่าพวกเขากำลังหมายความว่ามันบรรลุผลเป็นหลักเหมือนกับการใช้โหนดมากขึ้นในรูปแบบที่มีขนาดใหญ่ขึ้นเพียงครั้งเดียว ข้อได้เปรียบ [พวกเขาอ้าง] คือความเร็วของการติดตั้งแบบจำลอง
สำหรับมาตรวัดที่หยาบมากฉันเปรียบเทียบมันบนชุดข้อมูลที่ฉันมีกับ 2 sigmoid และ 2 Gaussian nodes และเพิ่มแบบจำลอง 6x เทียบกับ 12 sigmoid และ 12 Gaussian nodes ในรุ่นเดียวและผลลัพธ์นั้นเหมือนกันกับชุดทดสอบข้อมูลของฉัน .
ฉันไม่ได้สังเกตเห็นความแตกต่างของความเร็วใด ๆ ... แต่ชุดข้อมูลมีเพียง 1600 คะแนนและฉันใช้เพียง 12 ตัวแปรเท่านั้นดังนั้นในชุดข้อมูลที่มีขนาดใหญ่กว่าที่มีตัวแปรมากกว่า