ความแตกต่างของเมล็ดใน SVM

26

ใครช่วยบอกความแตกต่างระหว่างเมล็ดใน SVM ได้ไหม:

เชิงเส้น
พหุนาม
เกาส์เซียน (RBF)
sigmoid

เพราะอย่างที่เรารู้ว่าเคอร์เนลถูกใช้เพื่อแมปพื้นที่อินพุตของเราไปสู่พื้นที่คุณลักษณะมิติสูง และในพื้นที่ของคุณลักษณะนั้นเราพบว่าขอบเขตแบ่งเป็นเชิงเส้น ..

พวกเขาจะใช้เมื่อใด (ภายใต้เงื่อนไขใด) และทำไม

— user3378327
แหล่งที่มา

4

เคอร์เนลเชิงเส้นคือสิ่งที่คุณคาดหวังโมเดลเชิงเส้น ฉันเชื่อว่าเคอร์เนลพหุนามมีลักษณะคล้ายกัน

(เช่นคำสั่ง 3: ) $a= b_1 + b_2 \cdot X + b_3 \cdot X^2 + b_4 \cdot X^3$

RBF ใช้เส้นโค้งปกติรอบ ๆ จุดข้อมูลและสรุปสิ่งเหล่านี้เพื่อให้ขอบเขตการตัดสินใจสามารถกำหนดได้ด้วยเงื่อนไขทอพอโลยีชนิดหนึ่งเช่นเส้นโค้งที่ผลรวมอยู่เหนือค่า 0.5 (ดูรูปนี้)

ฉันไม่แน่ใจว่าเคอร์เนล sigmoid คืออะไรเว้นแต่ว่ามันจะคล้ายกับโมเดลการถดถอยโลจิสติกที่ฟังก์ชันลอจิสติกใช้ในการกำหนดเส้นโค้งตามที่ค่าโลจิสติกมากกว่าค่าบางอย่าง (ความน่าจะเป็นแบบจำลอง) เช่น 0.5 เหมือนปกติ กรณี.

— จอห์น Yetter
แหล่งที่มา

ดังนั้นเราจะได้รับไฮเปอร์เพลนแบบแยกส่วน (ขอบเขต) ถ้าเราใช้เคอร์เนลเชิงเส้น ?? และถ้าเราใช้พหุนามหรือเคอร์เนล RBF, ไฮเปอร์ (สำหรับพหุนาม) อาจเป็นวงกลมของคลาสที่จัดกลุ่ม (สำหรับ RBF) และเส้นโค้ง? นั่นถูกต้องใช่ไหม?? scikit-learn.org/stable/modules/svm.html

— user3378327

เมล็ดแต่ละอันทำงานเพื่อขอบเขตที่สูงในแต่ละมิติ นั่นตอบคำถามของคุณหรือไม่ คุณไม่ จำกัด สามมิติสำหรับเคอร์เนลใด ๆ ที่ฉันทราบ

— John Yetter

ฉันแค่ต้องการทำให้ชัดเจน ดังนั้นขอบเขตโดยใช้เคอร์เนลเชิงเส้นจึงเป็นเส้นตรง? สำหรับ RBF นั้นเหมือนวงกลมของกลุ่มที่จัดกลุ่มหรือไม่? และสำหรับพหุนามสามารถเป็นเส้นโค้งตามระดับของพหุนาม

— user3378327

ฉันจะไม่พูดว่า RBF เป็นวงกลมของกลุ่มที่จัดกลุ่ม ความเข้าใจของฉันคือว่ามันใช้ฟังก์ชั่นตามการกระจายปกติที่จุดข้อมูลแต่ละจุดและผลรวมฟังก์ชั่นเหล่านี้ จากนั้นขอบเขตจะเกิดขึ้นโดยเส้นโค้งที่แสดงถึงค่าบางอย่างในฟังก์ชันนั้น หากใครบางคนที่มีส่วนร่วมในห้องสมุด SVM สามารถตีระฆังได้นั่นอาจช่วยได้ ฉันคิดว่าความเข้าใจของคุณเกี่ยวกับเมล็ดอีกสองอันนั้นถูกต้อง

— John Yetter

คุณบอกว่าเคอร์เนล Linier เป็นสิ่งที่ฉันคาดหวัง (เพื่อให้แยกคลาส linierly) โดยใช้เคอร์เนล และโดยการใช้ตัวจําแนก SVM เราเรียกมันว่า LINIER SVM แต่อย่างไรถ้าเราสามารถรับข้อมูลแยกกันแบบเส้นตรงโดยไม่มีเคอร์เนลใน SVM เราเรียกมันว่าอะไร ?? ยังคง Linier SVM หรือไม่ใช่ Linier SVM?

— user3378327

11

อาศัยความรู้พื้นฐานของผู้อ่านเกี่ยวกับเมล็ด

$K(X, Y) = X^T Y$

$K(X, Y) = (γ\cdot X^T Y + r)^d , γ > 0$

$K(X, Y) = \exp(\|X-Y\|^2/2σ^2)$ $\exp(-γ \cdot \|X - Y\|^2), γ > 0$

$K(X, Y) = \tanh(γ\cdot X^TY + r)$

$r$ $d$ $γ$

— Ashok Choudhary
แหล่งที่มา

3

ในขณะที่ข้อมูลในคำตอบของคุณถูกต้องฉันไม่คิดว่าจะตอบคำถามที่เกิดขึ้นที่นี่ซึ่งมีความแตกต่างระหว่างสิ่งที่ปฏิบัติจริงคือเมื่อใช้อย่างใดอย่างหนึ่ง

— Firebug

1

คำจำกัดความง่ายๆเหล่านี้น่าแปลกใจที่ยากที่จะเกิดขึ้น พวกเขาควรจะเป็นสิ่งแรกที่นำเสนอเมื่อพูดถึงความแตกต่างของเมล็ด แต่ยังมีความล้มเหลวในวงกว้างในการระบุพวกเขา

— cammil

มีแหล่งที่มาอย่างเป็นทางการสำหรับสิ่งเหล่านี้หรือไม่ (ฉันทดสอบพวกเขาและพวกเขาดูเหมือนถูกต้อง แต่ฉันต้องการที่จะสามารถอ้างอิงพวกเขาได้)

— Christian Eriksson

6

คำถามนี้สามารถตอบได้จากมุมมองทางทฤษฎีและปฏิบัติ จากทฤษฎีตามทฤษฎีบทอาหารกลางวันฟรีระบุว่าไม่มีการรับประกันว่าเคอร์เนลตัวหนึ่งจะทำงานได้ดีกว่าอีกอัน นี่คือสิ่งที่คุณไม่เคยรู้มาก่อนและคุณไม่สามารถรู้ได้ว่าเคอร์เนลตัวใดจะทำงานได้ดีขึ้น

จากมุมมองเชิงปฏิบัติให้ดูหน้าต่อไปนี้:

จะเลือกเคอร์เนลสำหรับ SVM ได้อย่างไร?

— Gnattuha
แหล่งที่มา

1

ในขณะที่สะท้อนให้เห็นถึงสิ่งที่เคอร์เนล "ดีสำหรับ" หรือเมื่อมันควรจะใช้ไม่มีกฎยากและรวดเร็ว

หากคุณเป็นลักษณนาม / regressor ทำงานได้ดีกับเคอร์เนลที่กำหนดมันเป็นสิ่งที่เหมาะสมถ้าไม่ใช่ให้ลองเปลี่ยนไปใช้ตัวอื่น

เข้าใจว่าเคอร์เนลของคุณอาจทำงานอย่างไรโดยเฉพาะถ้าเป็นโมเดลการจำแนกประเภทอาจได้รับจากการตรวจสอบตัวอย่างการสร้างภาพตัวอย่างเช่นhttps://gist.github.com/WittmannF/60680723ed8dd0cb993051a7448f7805

— จะ
แหล่งที่มา