การค้นหากริด SVM ควรแสดงพื้นที่ที่มีความแม่นยำสูงด้วยความแม่นยำต่ำหรือไม่?


12

ฉันมีชุดฝึกอบรมเชิงบวก 12 ชุด (เซลล์มะเร็งที่ได้รับการรักษาด้วยยาที่มีกลไกการออกฤทธิ์ 12 แบบ) สำหรับชุดการฝึกอบรมเชิงบวกเหล่านี้ฉันต้องการฝึกอบรมเครื่องเวกเตอร์สนับสนุนเพื่อแยกความแตกต่างจากชุดเชิงลบที่มีขนาดเท่ากันจากการทดลอง แต่ละชุดมีระหว่าง 1,000 และ 6,000 เซลล์และมีคุณสมบัติ 476 รายการ (คุณสมบัติภาพ) ของแต่ละเซลล์แต่ละส่วนจะถูกปรับเชิงเส้นเป็น [0, 1]

ฉันใช้LIBSVMและเคอร์เนล Gaussian RGB ใช้ crossvalidation ห้าเท่าฉันทำการค้นหากริดสำหรับlog₂ C ∈ [-5, 15] และlog₂ɣ∈ [-15, 3] ผลลัพธ์มีดังนี้:

ผลการค้นหากริด

ฉันผิดหวังที่ไม่มีพารามิเตอร์ชุดเดียวที่ให้ความแม่นยำสูงสำหรับปัญหาการจำแนกประเภททั้ง 12 ข้อ ฉันรู้สึกประหลาดใจที่กริดไม่แสดงภูมิภาคที่มีความแม่นยำสูงซึ่งล้อมรอบไปด้วยความแม่นยำที่ต่ำกว่า นี่หมายถึงว่าฉันต้องขยายพื้นที่พารามิเตอร์การค้นหาหรือการค้นหากริดเป็นตัวบ่งชี้ว่ามีบางอย่างผิดปกติหรือไม่?


2
Re ผิดหวัง: คุณจะไม่คาดหวังแต่ละปัญหาที่จะมีพารามิเตอร์เดียวกันดังนั้นทำไมจะคุณคาดหวังว่าปัญหาที่จะค่านิยมที่ดีหุ้นสำหรับ hyperparameters (บันทึกแกมมาและ C)?
conjugateprior

@ Conjugate ก่อนหน้า: ชุดการฝึกอบรมเป็นชุดย่อยของการทดลองเดียวกันและชุดการฝึกอบรมเชิงลบถูกสุ่มตัวอย่างจากประชากรเดียวกันดังนั้นฉันหวังว่าความกว้างเคอร์เนล RBF เดียวกันจะมีประสิทธิภาพ เนื่องจากชุดที่เป็นบวกกำลังถูกเลือกปฏิบัติจากประชากรพื้นฐาน (ลบ) เดียวกันฉันหวังว่าการลงโทษในอุดมคติ C จะคล้ายกันเช่นกัน หากไม่ใช่ในกรณีนี้จะทำให้ SVM สมัครได้ยากจริง ๆ ตัวอย่างเช่นการเพิ่มระดับเสียงเบา ๆ ดูเหมือนจะง่ายกว่ามากในการปรับแต่ง
Vebjorn Ljosa

เอเอชเอ แต่ดูเหมือนว่าสำหรับฉันแล้วแม้ว่ามันจะเป็นการทดลองทางกายภาพ แต่คุณก็กำลังโจมตีปัญหาที่แตกต่างและแตกต่างกันในแง่สถิติ โดยเฉพาะอย่างยิ่งถ้ากรณีลบจะถูก resampled สำหรับแต่ละการรักษา
conjugateprior

1
BTW การค้นหากริดค่อนข้างไม่มีประสิทธิภาพอัลกอริธึมการเพิ่มประสิทธิภาพของ Nelder-Mead simplex นั้นมีประสิทธิภาพมาก การค้นหากริดนั้นง่าย แต่แรง "ดุร้าย"
Dikran Marsupial

@Vebjorn Ljosa (อีกหนึ่งปีต่อมา) 5 ค่าที่กระจัดกระจายพูดในรอบสุดท้าย (C, gamma) เท่าไหร่? 12 แปลงทั้งหมดมีขนาดเท่ากันเช่น 50% .. ทำนายถูกต้อง 100% หรือไม่ ขอบคุณ
เดนิส

คำตอบ:


9

ค่าที่เหมาะสมที่สุดสำหรับพารามิเตอร์ไฮเปอร์จะแตกต่างกันไปสำหรับการเรียนรู้ที่แตกต่างกันคุณจำเป็นต้องปรับแต่งมันแยกกันสำหรับทุกปัญหา

เหตุผลที่คุณไม่ได้รับค่าที่เหมาะสมเพียงอย่างเดียวคือทั้งพารามิเตอร์เคอร์เนลและพารามิเตอร์การทำให้เป็นมาตรฐานควบคุมความซับซ้อนของโมเดล ถ้า C มีขนาดเล็กคุณจะได้รูปแบบที่ราบรื่นเช่นเดียวกันหากเคอร์เนลที่มีขนาดกว้างคุณจะได้รูปแบบที่ราบรื่น (เนื่องจากฟังก์ชันพื้นฐานไม่ได้อยู่ในพื้นที่มากนัก) ซึ่งหมายความว่าการรวมกันของ C และความกว้างของเคอร์เนลจะนำไปสู่โมเดลที่มีความซับซ้อนคล้ายกันพร้อมกับประสิทธิภาพที่คล้ายกัน (ซึ่งเป็นเหตุผลที่คุณได้รับคุณสมบัติเส้นทแยงมุมในหลาย ๆ แปลงที่คุณมี)

ที่เหมาะสมยังขึ้นอยู่กับการสุ่มตัวอย่างโดยเฉพาะของชุดฝึกอบรม มีความเป็นไปได้ที่จะแก้ไขข้อผิดพลาดการตรวจสอบข้ามมากเกินไปดังนั้นการเลือกพารามิเตอร์ไฮเปอร์โดยการตรวจสอบข้ามอาจทำให้ประสิทธิภาพแย่ลงถ้าคุณโชคไม่ดี ดูCawley และ Talbotสำหรับการสนทนาเกี่ยวกับเรื่องนี้

ความจริงที่ว่ามีค่าที่ราบสูงสำหรับพารามิเตอร์ไฮเปอร์ที่คุณได้รับค่าที่ดีในทำนองเดียวกันนั้นเป็นคุณสมบัติที่ดีของเครื่องเวกเตอร์สนับสนุนเนื่องจากมันแสดงให้เห็นว่าพวกเขาไม่ได้มีความเสี่ยงสูงเกินไปในการเลือกรุ่น หากคุณมีค่าสูงสุดที่คมชัดในค่าที่เหมาะสมนั่นอาจเป็นสิ่งที่ไม่ดีเนื่องจากจุดสูงสุดนั้นยากต่อการค้นหาโดยใช้ชุดข้อมูล จำกัด ซึ่งจะให้การบ่งชี้ที่ไม่น่าเชื่อถือว่าจุดสูงสุดนั้นอยู่จริง


BTW ฉันกำลังทำการศึกษาเกี่ยวกับการเลือกรุ่นที่มากเกินไปโดยใช้การค้นหาแบบกริดซึ่งกลายเป็นเรื่องที่น่าสนใจยิ่งกว่าที่ฉันเคยคิด แม้จะมีพารามิเตอร์ไฮเปอร์ไม่กี่ตัวคุณก็ยังสามารถปรับเกณฑ์การเลือกรุ่นให้เหมาะสมได้หากคุณปรับให้เหมาะสมกับกริดที่ดีเกินไป!
Dikran Marsupial

ตอนนี้ฉันกำลังจะถึงจุดสิ้นสุดของการจำลองสถานการณ์หวังว่าฉันจะสามารถส่งกระดาษได้ภายในหนึ่งหรือสองเดือน ...
Dikran Marsupial

ฉันสนใจที่จะอ่านบทความนั้นถ้ามันเสร็จแล้ว? ฉันเจอหนามแหลมแปลก ๆ ฯลฯ ในการเพิ่มประสิทธิภาพการค้นหากริดซึ่งดูเหมือนกับสิ่งที่คุณพูดถึงที่นี่
BGreene

งานจำลองทั้งหมดเสร็จสมบูรณ์ในตอนนี้ฉันแค่เอากระดาษมารวมกันในขณะนี้ ฉันบันทึกกริดทั้งหมดแล้วดังนั้นการวิเคราะห์บางอย่างควรเป็นไปได้ที่จะตรวจสอบคำถามอื่นที่ฉันไม่ได้คิดในขณะนั้น
Dikran Marsupial
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.