คำถาม: บอกตัวจําแนกตามขอบเขตการตัดสินใจ

รับเป็น 6 ขอบเขตการตัดสินใจด้านล่าง ขอบเขตการตัดสินใจเป็นเส้นสีม่วง จุดและกากบาทเป็นชุดข้อมูลที่แตกต่างกันสองชุด เราต้องตัดสินใจว่าอันไหนคือ:

• Linear SVM
• เคอร์เนล SVM (เคอร์เนลโพลิโนเมียลของคำสั่ง 2)
• Perceptron
• การถดถอยโลจิสติก
• Neural Network (1 เลเยอร์ที่ซ่อนอยู่พร้อมหน่วยเชิงเส้น 10 หน่วยแก้ไข)
• Neural Network (1 เลเยอร์ที่ซ่อนอยู่มี 10 ตัน)

ฉันต้องการคำตอบ แต่ที่สำคัญกว่านั้นเข้าใจความแตกต่าง เช่นฉันจะบอกว่า c) เป็น SVM เชิงเส้น ขอบเขตการตัดสินใจเป็นแบบเส้นตรง แต่เรายังสามารถเชื่อมโยงขอบเขตการตัดสินใจ SVM เชิงเส้นเข้าด้วยกันได้ d) Kernelized SVM เนื่องจากเป็นคำสั่งพหุนาม 2. f) แก้ไขโครงข่ายประสาทเนื่องจากขอบ "หยาบ" อาจจะ) การถดถอยโลจิสติก: มันยังเป็นลักษณนามเชิงเส้น แต่ขึ้นอยู่กับความน่าจะเป็น

ชอบคำถามนี้มาก!

สิ่งแรกที่นึกถึงคือการแบ่งระหว่างตัวแยกประเภทแบบเชิงเส้นและแบบไม่เชิงเส้น ตัวแยกประเภทสามแบบเป็นแบบเส้นตรง (Linear svm, perceptron และ logistic regression) และสามแปลงแสดงขอบเขตการตัดสินใจเชิงเส้น ( A , B , C ) ดังนั้นเริ่มต้นด้วยสิ่งเหล่านั้น

เชิงเส้น

พล็อตแบบเส้นตรงส่วนใหญ่เป็นพล็อตBเพราะมันมีเส้นที่มีความชัน นี่เป็นสิ่งที่แปลกสำหรับการถดถอยโลจิสติกและ svm เพราะพวกเขาสามารถปรับปรุงฟังก์ชั่นการสูญเสียของพวกเขาได้มากขึ้นโดยการเป็นเส้นแบน ดังนั้นพล็อตBคือ perceptron เนื่องจาก perceptron ouput เป็น 0 หรือ 1 การแก้ปัญหาทั้งหมดที่แยกชั้นหนึ่งจากชั้นอื่นนั้นดีพอ ๆ กัน นั่นคือเหตุผลที่มันไม่ปรับปรุงใด ๆ เพิ่มเติม

ความแตกต่างระหว่างพล็อต _A) และCนั้นบอบบางกว่ามาก ขอบเขตการตัดสินใจเป็นลดลงเล็กน้อยในการวางแผน SVM เป็นจำนวนเวกเตอร์สนับสนุนคงที่ในขณะที่ฟังก์ชันการสูญเสียของการถดถอยโลจิสติกถูกกำหนดจุดทั้งหมด เนื่องจากมีกากบาทสีแดงมากกว่าจุดสีฟ้าการถดถอยโลจิสติกเพื่อหลีกเลี่ยงการกากบาทสีแดงมากกว่าจุดสีฟ้า SVM เชิงเส้นแค่พยายามอยู่ห่างจากเวกเตอร์แนวรับสีแดงไกลจากเวกเตอร์แนวรับสีน้ำเงิน นั่นคือเหตุผลที่พล็อตAเป็นขอบเขตการตัดสินใจของการถดถอยโลจิสติกและพล็อตCทำโดยใช้ SVM เชิงเส้น

ที่ไม่ใช่เชิงเส้น

ให้ดำเนินการต่อด้วยพล็อตที่ไม่ใช่เชิงเส้นและตัวแยกประเภท ฉันเห็นด้วยกับการสังเกตของคุณว่าพล็อตFน่าจะเป็น ReLu NN เนื่องจากมีขอบเขตที่คมชัดที่สุด หน่วย ReLu เนื่องจากเปิดใช้งานในครั้งเดียวหากการเปิดใช้งานเกิน 0 และสิ่งนี้ทำให้หน่วยเอาท์พุทเป็นไปตามเส้นตรงที่แตกต่างกัน ถ้าคุณดูดีจริง ๆ คุณสามารถสังเกตการเปลี่ยนแปลงของทิศทางได้ 8 บรรทัดดังนั้นอาจมี 2 ยูนิตที่มีผลกระทบเล็กน้อยต่อผลลัพธ์สุดท้าย พล็อตFคือ ReLu NN

เกี่ยวกับสองคนสุดท้ายฉันไม่แน่ใจ ทั้ง tanh NN และ polynomial kernelized SVM สามารถมีหลายขอบเขตได้ พล็อตDจำแนกได้ชัดกว่า Tan tanh สามารถปรับปรุงสถานการณ์นี้ได้โดยการโค้งงอต่างกันและวางจุดสีน้ำเงินหรือสีแดงเพิ่มเติมในพื้นที่ด้านนอก อย่างไรก็ตามเนื้อเรื่องนี้ค่อนข้างแปลก ฉันเดาว่าส่วนบนซ้ายจัดเป็นสีแดงและส่วนล่างขวาเป็นสีน้ำเงิน แต่ส่วนตรงกลางจำแนกได้อย่างไร? ควรเป็นสีแดงหรือสีน้ำเงิน แต่ไม่ควรวาดขอบเขตการตัดสินใจข้อใดข้อหนึ่ง ตัวเลือกที่เป็นไปได้เพียงอย่างเดียวคือชิ้นส่วนด้านนอกจึงจัดเป็นสีเดียวและส่วนด้านในเป็นสีอื่น มันแปลกและแย่จริงๆ ดังนั้นฉันไม่แน่ใจเกี่ยวกับอันนี้

ดู Let 's ที่พล็อตE มันมีทั้งเส้นโค้งและเส้นตรง สำหรับระดับ -2 kernelized SVM มันเป็นเรื่องยาก (ใกล้ถึงเป็นไปไม่ได้) ที่จะมีขอบเขตการตัดสินใจเส้นตรง ฟังก์ชันการเปิดใช้งาน tanh โฮเวอร์สามารถอิ่มตัวได้เช่นที่สถานะที่ซ่อนอยู่ประกอบด้วย 0 และ 1 ในกรณีนั้นเพียง 1 หน่วยจากนั้นเปลี่ยนสถานะเป็น. 5 คุณจะได้รับขอบเขตการตัดสินใจเชิงเส้น ดังนั้นฉันจะบอกว่าพล็อตEเป็น tanh NN และดังนั้นพล็อตDเป็น SVM เคอร์เนล ถึงไม่ดีสำหรับ SVM เก่าที่น่าสงสาร

สรุปผลการวิจัย

เอ - การถดถอยโลจิสติก
B - Perceptron
C - Linear SVM
D - เคอร์เนล SVM (เคอร์เนลแบบ Polynomial ของคำสั่ง 2)
E - Neural Network (1 ชั้นที่ซ่อนอยู่กับ 10 tanh หน่วย)
F - Neural Network (1 ชั้นที่ซ่อนอยู่กับ 10 หน่วยแก้ไขเชิงเส้น)