ทำไมคนไม่ใช้ RBF หรือ RBF ที่ลึกกว่าร่วมกับ MLP

ดังนั้นเมื่อดู Radial Basis Function Neural Networks ฉันสังเกตว่าผู้คนเคยแนะนำให้ใช้เลเยอร์ที่ซ่อนอยู่เพียง 1 เลเยอร์เท่านั้นในขณะที่เครือข่ายนิวรัลเพอร์เซปตรอนแบบหลายชั้นจะถือว่าดีกว่า

ระบุว่าเครือข่าย RBF สามารถฝึกอบรมกับรุ่นของการเผยแพร่กลับมีเหตุผลใดที่เครือข่าย RBF ที่ลึกกว่าจะไม่ทำงานหรือว่าเลเยอร์ RBF ไม่สามารถใช้เป็นเลเยอร์สุดท้ายหรือเลเยอร์สุดท้ายในเครือข่าย MLP ลึก (ฉันคิดว่าเลเยอร์สุดท้ายเพื่อให้สามารถฝึกอบรมคุณลักษณะที่เรียนโดยเลเยอร์ MLP ก่อนหน้านี้)

machine-learning neural-networks rbf-network

— user1646196
แหล่งที่มา

ฉันไม่ใช่ผู้เชี่ยวชาญ NN แต่ความประทับใจของฉันคือเมื่อใช้ NN ของฟีดฟอร์เวิร์ดแบบมาตรฐานเลเยอร์ที่ซ่อนอยู่หลายแห่งมักไม่เพิ่มอะไรมากมาย

— gung - Reinstate Monica

นั่นคือในอดีตของการวิจัย NN แต่ตอนนี้เลเยอร์เพิ่มเติมมักเป็นสูตรสำหรับประสิทธิภาพที่ดีขึ้น (การเรียนรู้ลึก) ฉันคิดว่าวิธีการที่ชื่นชอบในปัจจุบันคือการเริ่มต้นอย่างชาญฉลาดมากที่สุดเท่าที่จะเป็นไปได้การทำให้เป็นมาตรฐานผ่าน dropout และ softmax แทนการเปิดใช้งาน sigmoidal เพื่อหลีกเลี่ยงความอิ่มตัว (แต่ฉันอาจจะผิดในเทคนิค) ฉันคิดว่าบางคนใช้การทำซ้ำลึกลงไปเพื่อให้ได้ผลลัพธ์ที่ดีขึ้น นอกจากนี้ Google ยังมีความทันสมัยใน imageNet ในปี 2014 ด้วยเครือข่าย 100 เลเยอร์

— user1646196

ปัญหาพื้นฐานคือ RBF คือ a) ไม่เชิงเส้นเกินไป b) ไม่ทำการลดขนาด

เพราะ a) RBF ได้รับการฝึกฝนโดย k-mean มากกว่าการไล่ระดับสี

ฉันขออ้างว่าความสำเร็จที่สำคัญใน Deep NNs คือการใช้ตาข่ายซึ่งหนึ่งในส่วนสำคัญคือการลดขนาด: แม้ว่าการทำงานกับ 128x128x3 = 50,000 อินพุตกล่าวว่าแม้ว่าการทำงานกับอินพุต 128x128x3 คือ 50,000 เซลล์ประสาทแต่ละเซลล์มีเขตรับที่ จำกัด และมีเซลล์ประสาทน้อยลงในแต่ละชั้น . ในเลเยอร์ที่กำหนดใน MLP- แต่ละเซลล์ประสาทแสดงถึงคุณสมบัติ / มิติ) ดังนั้นคุณจึงลดขนาดข้อมูลอย่างต่อเนื่อง (จากเลเยอร์สู่เลเยอร์)

แม้ว่าใคร ๆ ก็สามารถทำให้เมทริกซ์ความแปรปรวนร่วม RBF ปรับตัวได้และการลดขนาดก็ทำได้ยากขึ้น

— seanv507
แหล่งที่มา

ฉันเพิ่งอ่านบทความที่เสนออัลกอริทึมการเผยแพร่กลับสำหรับการฝึกอบรมเครือข่าย RBF รับสิ่งนี้จะเป็นประโยชน์ในการมี RBF เป็นชั้นสุดท้ายในเครือข่ายลึก ฉันคิดว่าในรูปแบบนี้ส่วนที่เหลือของเครือข่ายลึกจะเป็นหลักในการตรวจสอบคุณสมบัติที่ RBF สามารถจัดประเภท

— 1646196

บางทีคุณควรเชื่อมโยงไปยังกระดาษแล้วคนก็สามารถให้คำตอบเพิ่มเติม ฉันไม่เห็นประโยชน์ใด ๆ ... เนื่องจาก RBF นั้นไม่ใช่แบบเส้นตรง (และเช่น sigmoids ถูกแทนที่ด้วย relu เพราะพวกมันไม่ใช่การไล่ระดับสีแบบเส้นตรงที่หายไป ... ) สิ่งที่ผู้คนทำคือฝึกกับ conv สุทธิด้วย mlp มาตรฐานด้านบนแล้วโยน mlp และใช้ svm

— seanv507

กระดาษเป็น "เครือข่ายการฝึกอบรม RBF ที่มีแพร่กระจายย้อนกลับเลือก" ไม่แน่ใจว่าถ้าคุณสามารถอ่านได้ที่นี่หรือถ้ามี paywall sciencedirect.com/science/article/pii/S0925231203005411 ฉันไม่ทราบว่า sigmoids ถูกแทนที่ด้วย relu เนื่องจากไม่เป็นเชิงเส้น แต่เนื่องจากฉันสามารถดูว่าการไม่เป็นเส้นตรงที่เพิ่มขึ้นจะถูกเบือนหน้าหนีได้อย่างไร ฉันจะทำเครื่องหมายคำตอบว่ายอมรับ :)

— user1646196