NeuralNetwork ชั้นเดียวที่มีการเปิดใช้งาน ReLU เท่ากับ SVM หรือไม่

สมมติว่าฉันมีเครือข่ายประสาทเดี่ยวชั้นเดียวที่มีอินพุต n และเอาต์พุตเดียว (งานการจำแนกประเภทไบนารี) ถ้าฉันตั้งค่าฟังก์ชั่นการเปิดใช้งานในโหนดเอาท์พุทเป็นฟังก์ชั่น sigmoid- แล้วผลที่ได้คือลักษณนามลอจิสติกถดถอย

ในสถานการณ์เดียวกันนี้ถ้าฉันเปลี่ยนการเปิดใช้งานเอาต์พุตเป็น ReLU (หน่วยเชิงเส้นที่แก้ไขแล้ว) ดังนั้นโครงสร้างผลลัพธ์จะเหมือนกับหรือคล้ายกับ SVM หรือไม่

ถ้าไม่ใช่เพราะอะไร

neural-networks svm

— AD
แหล่งที่มา

คุณมีสมมติฐานใด ๆ ว่าทำไมถึงเป็นเช่นนั้น? เหตุผลที่ว่าทำไม perceptron = logistic เพียงอย่างเดียวนั้นเป็นเพราะการเปิดใช้งาน - โดยพื้นฐานแล้วมันเป็นแบบเดียวกันทางคณิตศาสตร์ (แม้ว่าอาจได้รับการฝึกฝนต่างกัน) - ตุ้มน้ำหนักเชิงเส้น + a sigmoid ที่ใช้กับการคูณเมทริกซ์ SVM ทำงานแตกต่างกันมาก - พวกเขาค้นหาบรรทัดที่ดีที่สุดเพื่อแยกข้อมูล - พวกเขามีรูปทรงเรขาคณิตมากกว่า "น้ำหนัก" / "เมทริกซ์" สำหรับฉันแล้วไม่มีอะไรเกี่ยวกับ ReLUs ที่ควรทำให้ฉันคิดว่า = ah พวกเขาเหมือนกับ SVM (svm โลจิสติกส์และเชิงเส้นมีแนวโน้มที่จะดำเนินการคล้ายกันมาก)

— metjush

วัตถุประสงค์สูงสุดของ svm และฟังก์ชั่นการเปิดใช้งาน relu มีลักษณะเหมือนกัน ดังนั้นคำถาม

— โฆษณา

"SVMs ทำงานแตกต่างกันมาก - พวกเขาพยายามหาบรรทัดที่ดีที่สุดเพื่อแยกข้อมูล - พวกมันมีรูปทรงเรขาคณิตมากกว่า" น้ำหนัก "/" เมทริกซ์ "" นั่นเป็นคลื่นเล็ก ๆ น้อย ๆ - ตัวแบ่งเส้นตรงทั้งหมดหาเส้นที่ดีที่สุดเพื่อแยกข้อมูล และตรอน.

— AD

$E = max(1-ty,0)$

เพื่อให้การสูญเสียของเครือข่ายอยู่ในรูปแบบเดียวกับ SVM เราสามารถลบฟังก์ชั่นการเปิดใช้งานที่ไม่ใช่เชิงเส้นใด ๆ ออกจากเลเยอร์เอาท์พุทและใช้การสูญเสียบานพับสำหรับการกระจายกลับ

$E = ln (1 + exp(−ty))$

ดังนั้นในแง่ของฟังก์ชั่นการสูญเสีย SVM และการถดถอยโลจิสติกส์นั้นค่อนข้างใกล้เคียงแม้ว่า SVM จะใช้อัลกอริทึมที่แตกต่างกันมากสำหรับการฝึกอบรมและการอนุมานโดยใช้เวกเตอร์สนับสนุน

มีการอภิปรายที่ดีในความสัมพันธ์ของ SVM และการถดถอยโลจิสติกในส่วน 7.1.2 ของหนังสือเล่มนี้เป็นรูปแบบการรับรู้และการเรียนรู้ของเครื่อง

— dontloo
แหล่งที่มา

ขอบคุณที่ชี้ไปที่หนังสือ ดังนั้นฉันจึงรู้สึกว่านอกเหนือจากฟังก์ชั่นการเปิดใช้งานความแตกต่างที่แท้จริงคืออัลกอริธึมการปรับให้เหมาะสมที่ใช้ สำหรับ LR เราสามารถใช้การไล่ระดับสีแบบไม่มีข้อ จำกัด ง่ายๆในขณะที่ใน SVM เรามักจะแก้ปัญหาการปรับให้เหมาะสมแบบ จำกัด

— โฆษณา