มีวิธีใดบ้างสำหรับการปรับจูนพารามิเตอร์พารามิเตอร์เคอร์เนล SVM


10

ผมมีข้อมูลบางอย่างที่มีอยู่บนกราฟ ) จุดยอดอยู่ในหนึ่งในสองคลาสy i{ - 1 , 1 }และฉันสนใจที่จะฝึกอบรม SVM เพื่อแยกความแตกต่างระหว่างสองคลาส หนึ่งเคอร์เนลที่เหมาะสมสำหรับการนี้คือการแพร่กระจายเคอร์เนล , K = ประสบการณ์( - β L ) ,ที่Lเป็นLaplacianของGและβเป็นปรับพารามิเตอร์G=(V,E)yi{1,1}K=exp(βL),LGβ

การปรับ SVM ต้องเลือกของ hyperparameters ดังนั้นฉันมีการปรับแต่งโดยทั่วไปเราใช้การตรวจสอบข้ามปัญหานี้ แต่ดูเหมือนจะไม่เหมาะสมที่นี่เนื่องจากการละเว้นจุดสุดยอดiจากGเปลี่ยนกราฟทั้งหมดอาจเพิ่มจำนวนของส่วนประกอบที่เชื่อมต่อ! หากจำนวนของส่วนประกอบที่เชื่อมต่อมีการเปลี่ยนแปลงจุดยอดบางอย่างจะไม่สามารถเข้าถึงได้จากจุดอื่นและเรากำลังเผชิญกับชุดข้อมูลที่แตกต่างจากที่เราเริ่มต้น นั่นคือไม่เพียง แต่เราจะหายไปจุดสุดยอดที่นำออกไปฉันแต่เรายังขาดข้อมูลเกี่ยวกับจุดอื่น ๆ ทั้งหมดที่ jθ=(β,C).iGij ในกราฟที่อยู่ติดกับจุดสุดยอดนั้น

แนวคิดพื้นฐานของการตรวจสอบข้ามคือเราต้องการประมาณว่าโมเดลจะทำงานอย่างไรเมื่อนำเสนอด้วยข้อมูลใหม่ ในปัญหามาตรฐานการละเว้นข้อมูลบางส่วนของคุณสำหรับการทดสอบจะไม่เปลี่ยนค่าของข้อมูลการฝึกอบรมที่เหลืออยู่ อย่างไรก็ตามในกรณีของข้อมูลกราฟมันไม่ชัดเจนว่ามันหมายถึงอะไรสำหรับรุ่นที่จะเห็นข้อมูล "ใหม่" ในการตั้งค่า CV การละเว้นจุดยอดหรือขอบมีแนวโน้มที่จะเปลี่ยนแปลงข้อมูลทั้งหมด ตัวอย่างเช่นลองนึกภาพกราฟซึ่งเป็นกราฟk- star ซึ่งหนึ่งจุดยอดมีk edge to kS=(VS,ES)kkkจุดยอดและจุดยอดอื่น ๆ ทั้งหมดมี 1 ขอบ การละเว้นจุดสุดยอดกลางเพื่อสร้างข้อมูลการฝึกอบรมจะตัดการเชื่อมต่อกราฟทั้งหมดและเมทริกซ์เคอร์เนลจะเป็นเส้นทแยงมุม! แต่แน่นอนว่ามันจะเป็นไปได้ในการฝึกอบรมแบบกับข้อมูลการฝึกอบรมนี้ให้ไว้ในS * สิ่งที่ชัดเจนน้อยกว่าคือการทดสอบประสิทธิภาพออกนอกตัวแบบของผลลัพธ์ ผู้ใช้คำนวณเมทริกซ์เคอร์เนลสำหรับSหรือไม่และให้คำทำนายนั้นหรือไม่SSS

SS y ของโหนที่ถูกละดังนั้นเราอาจรู้สึกสบายใจที่เราได้รับการประเมินจากตัวอย่างที่ไม่มีอคติอย่างสมเหตุสมผลจากการทำ CV ในลักษณะนี้

หนึ่งเลือกพารามิเตอร์สำหรับปัญหาประเภทนี้ได้อย่างไร CV เป็นข้อบกพร่องที่ยอมรับได้ แต่เราต้องการวิธีการเฉพาะหรือไม่? การปรับพารามิเตอร์ไฮเปอร์พารามิเตอร์เป็นไปได้หรือไม่ในบริบทของฉัน


ค้นหาส่วนขยายที่ไม่อยู่ในตัวอย่างสำหรับวิธีการทางสเปกตรัม ฉันใช้เทคนิคบางอย่างสำหรับการจัดหมวดหมู่ภาพในวิทยานิพนธ์ของฉัน (มองย้อนกลับไปตอนนี้ฉันจะทำอย่างนั้นแตกต่างกัน) ผลลัพธ์มีความน่าสนใจ แต่ตัวแบบเองนั้นค่อนข้างเปราะและไม่ง่ายต่อการปรับแต่ง
Vladislavs Dovgalecs

@xeon คำแนะนำใด ๆ ของการเริ่มดูวรรณกรรมนี้?
Sycorax พูดว่า Reinstate Monica

คำตอบ:


3

ข้อจำกัดความรับผิดชอบ: ฉันไม่คุ้นเคยกับเมล็ดกราฟดังนั้นคำตอบนี้อาจเป็นไปตามสมมติฐานที่ผิด ฉันยอมรับว่าการละเว้นจุดยอดในขณะที่คำนวณเคอร์เนลเมทริกซ์นั้นแย่มาก ที่กล่าวว่าฉันไม่แน่ใจว่าการตรวจสอบข้ามเป็นปัญหาที่จำเป็น บริบทการเรียนรู้ของคุณมีการถ่ายทอดหรืออุปนัย

β

βCβC


มาร์คขอบคุณสำหรับความสนใจของคุณ ปัญหาของฉันคืออุปนัย สัญชาตญาณของฉันคือคุณถูกต้องและเราคำนวณเมทริกซ์เคอร์เนลแบบเต็มสำหรับข้อมูลทั้งหมดจากนั้นให้ละเว้นแถวและคอลัมน์ตามต้องการเพื่อสร้างเคอร์เนล CV'd คุณจะต้องตระหนักถึงการอ้างอิงถึงผลกระทบนี้หรือไม่?
Sycorax พูดว่า Reinstate Monica

ไม่ทันที แต่ฉันมีเพื่อนร่วมงานบางคนที่ทำงานเกี่ยวกับปัญหาที่คล้ายกัน (การจัดกลุ่มเคอร์เนลสเปกตรัม) ที่ฉันสามารถถามได้ บางทีพวกเขามีการอ้างอิงและ / หรือความคิดที่ดีกว่า จะอัปเดตเมื่อฉันรู้เพิ่มเติม
Marc Claesen
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.