ช่วงการค้นหาใดในการพิจารณาพารามิเตอร์ C และ gamma ที่เหมาะสมที่สุดของ SVM

ฉันกำลังใช้ SVM เพื่อจัดหมวดหมู่และฉันกำลังพยายามหาพารามิเตอร์ที่เหมาะสมที่สุดสำหรับเมล็ดเชิงเส้นและ RBF สำหรับเคอร์เนลเชิงเส้นฉันใช้การเลือกพารามิเตอร์ที่ผ่านการตรวจสอบความถูกต้องเพื่อกำหนด C และสำหรับเคอร์เนล RBF ฉันใช้การค้นหากริดเพื่อกำหนด C และแกมม่า

ฉันมีคุณสมบัติ 20 (เป็นตัวเลข) และ 70 ตัวอย่างการฝึกอบรมที่ควรแบ่งออกเป็น 7 คลาส

ฉันควรใช้ช่วงการค้นหาใดในการพิจารณาค่าที่เหมาะสมที่สุดสำหรับพารามิเตอร์ C และแกมมา

ลองดูคำแนะนำที่เป็นประโยชน์เกี่ยวกับการจำแนกประเภท SVMสำหรับตัวชี้บางตัวโดยเฉพาะอย่างยิ่งหน้า 5

เราขอแนะนำ "กริดค้นหา" ในและγโดยใช้การตรวจสอบข้าม มีการลองใช้ค่าคู่( C , γ )หลายคู่และเลือกค่าที่มีความแม่นยำในการตรวจสอบข้ามที่ดีที่สุด เราพบว่าการพยายามเพิ่มลำดับของCและγเป็นวิธีการปฏิบัติเพื่อระบุพารามิเตอร์ที่ดี (ตัวอย่างเช่นC = 2 - 5 , 2 - 3 , … , 2 15 ; γ = 2 - 15 , 2 - 13$C$$\gamma$$(C,\gamma)$$C$$\gamma$ )$C = 2^{-5},2^{-3},\ldots,2^{15};\gamma = 2^{-15},2^{-13},\ldots,2^{3}$

อย่าลืมทำให้ข้อมูลของคุณเป็นมาตรฐานก่อนและถ้าเป็นไปได้ให้รวบรวมข้อมูลมากขึ้นเพราะจากรูปลักษณ์ของมันปัญหาของคุณอาจถูกบ่อนทำลายอย่างหนัก

ตรวจสอบส่วน 2.3.2 ของเอกสารนี้โดย Chapelle และ Zien พวกเขามีฮิวริสติกที่ดีในการเลือกช่วงการค้นหาที่ดีสำหรับของเคอร์เนล RBF และCสำหรับ SVM ฉันพูด$\sigma$$C$

ในการกำหนดค่าที่ดีของพารามิเตอร์อิสระที่เหลืออยู่ (เช่นโดย CV) สิ่งสำคัญคือการค้นหาในระดับที่เหมาะสม เราจึงแก้ไขค่าเริ่มต้นสำหรับและσที่มีลำดับความถูกต้อง ในค -class ปัญหาเราจะใช้1 /ค quantile ของระยะทางจากจำนวนD ρ ฉันเจทุกข้อมูลที่เป็นจุดเริ่มต้นสำหรับσ ค่าเริ่มต้นสำหรับCคือค่าผกผันของความแปรปรวนเชิงประจักษ์s 2ในพื้นที่ของคุณลักษณะซึ่งสามารถคำนวณได้โดยs 2 = $C$$\sigma$$c$$1/c$$D^\rho_{ij}$$\sigma$$C$$s^2$$s^2 = \frac{1}{n} \sum_i K_{ii} - \frac{1}{n^2}\sum_{i,j} K_{ij}$$n\times n$$K$

$2^k$$k\in \{-2,...,2\}$

แน่นอนเรา @ciri กล่าวว่าการทำให้ข้อมูลเป็นมาตรฐานและเป็นความคิดที่ดีอยู่เสมอ