ค้นหากริดบนการตรวจสอบความถูกต้องข้ามของ k-fold

ฉันมีชุดข้อมูล 120 ตัวอย่างในการตั้งค่าการตรวจสอบความถูกต้องไขว้ 10 เท่า ขณะนี้ฉันเลือกข้อมูลการฝึกอบรมของการค้างชำระครั้งแรกและทำการตรวจสอบความถูกต้องข้าม 5 เท่าเพื่อเลือกค่าของแกมม่าและ C โดยการค้นหากริด ฉันใช้ SVM กับเคอร์เนล RBF เนื่องจากฉันใช้การตรวจสอบข้าม 10 ครั้งเพื่อรายงานความแม่นยำการเรียกคืนฉันจะทำการค้นหากริดนี้ในข้อมูลการฝึกอบรมของแต่ละรายการที่ค้างอยู่ (มี 10 โฮลด์แต่ละคนมีการทดสอบ 10% และ 90% ข้อมูลการฝึกอบรม) นั่นจะไม่ใช้เวลานานเกินไปหรือ

ถ้าฉันใช้แกมม่าและ C ของสิ่งที่ค้างอยู่ครั้งแรกและใช้มันสำหรับส่วนที่เหลือจาก 9 การตรวจสอบความถูกต้องแบบข้าม k-fold นั่นคือการละเมิดเพราะฉันจะใช้ข้อมูลรถไฟเพื่อรับแกมม่าและ C และใช้อีกครั้ง ส่วนของข้อมูลรถไฟเป็นการทดสอบในช่วงที่สอง

ใช่นี่จะเป็นการละเมิดเนื่องจากข้อมูลการทดสอบสำหรับ folds 2-10 ของการตรวจสอบความถูกต้องจากภายนอกจะเป็นส่วนหนึ่งของข้อมูลการฝึกอบรมสำหรับ fold 1 ซึ่งใช้เพื่อกำหนดค่าของเคอร์เนลและพารามิเตอร์การทำให้เป็นมาตรฐาน ซึ่งหมายความว่าข้อมูลบางอย่างเกี่ยวกับข้อมูลทดสอบอาจรั่วไหลในการออกแบบโมเดลซึ่งอาจให้อคติในแง่ดีต่อการประเมินประสิทธิภาพซึ่งเป็นแง่ดีที่สุดสำหรับโมเดลที่มีความอ่อนไหวต่อการตั้งค่าพารามิเตอร์มากเกินไป (เช่น มันเป็นเรื่องหนักแน่นแก่รุ่นที่มีคุณสมบัติไม่พึงประสงค์)

อคตินี้มีแนวโน้มที่จะแข็งแกร่งที่สุดสำหรับชุดข้อมูลขนาดเล็กเช่นชุดนี้เนื่องจากความแปรปรวนของเกณฑ์การเลือกแบบจำลองนั้นมีขนาดใหญ่ที่สุดสำหรับชุดข้อมูลขนาดเล็กซึ่งกระตุ้นให้มีการปรับเกณฑ์การเลือกแบบจำลองให้เหมาะสมมากขึ้นซึ่งหมายถึงข้อมูลเพิ่มเติม ตลอด

ฉันเขียนบทความเกี่ยวกับเรื่องนี้เมื่อหนึ่งหรือสองปีก่อนเนื่องจากฉันค่อนข้างตกใจกับความเบี่ยงเบนของอคติจากการตรวจสอบความถูกต้องข้ามแบบซ้อนซึ่งสามารถแนะนำซึ่งสามารถแยกความแตกต่างของประสิทธิภาพระหว่างระบบตัวแยกประเภทได้อย่างง่ายดาย กระดาษคือ"เกินความเหมาะสมในการเลือกรูปแบบและอคติการคัดเลือกภายหลังในการประเมินประสิทธิภาพ" Gavin C. Cawley, Nicola LC Talbot; JMLR 11 (ก.ค. ): 2079−2107, 2010

การปรับค่าพารามิเตอร์ไฮเปอร์เป็นหลักควรได้รับการพิจารณาว่าเป็นส่วนสำคัญของการปรับโมเดลให้เหมาะสมดังนั้นทุกครั้งที่คุณฝึก SVM บนตัวอย่างข้อมูลใหม่ให้ปรับพารามิเตอร์ไฮเปอร์สำหรับตัวอย่างนั้นใหม่ หากคุณปฏิบัติตามกฎนั้นคุณอาจผิดพลาดไปไม่ได้ มันมีค่าใช้จ่ายในการคำนวณที่ดีเพื่อให้ได้การประเมินประสิทธิภาพที่เป็นกลางไม่เช่นนั้นคุณจะเสี่ยงต่อการสรุปข้อผิดพลาดจากการทดสอบของคุณ

หลังจากทำการค้นหากริดสำหรับโมเดลตัวแทนแต่ละแบบคุณสามารถและควรตรวจสอบบางสิ่ง:

• รูปแบบของพารามิเตอร์ที่ปรับให้เหมาะสม (ที่นี่และ$\gamma$$C$ )
  พารามิเตอร์ที่ดีที่สุดมีความเสถียรหรือไม่ ถ้าไม่คุณมีปัญหามาก
• เปรียบเทียบประสิทธิภาพที่รายงานของการตรวจสอบความถูกต้องภายในและภายนอก
  หากการตรวจสอบความถูกต้องไขว้ด้านใน (เช่นการปรับแต่ง) ดูดีกว่าด้านนอก (การตรวจสอบความถูกต้องของรุ่นสุดท้าย) แสดงว่าคุณกำลังมีปัญหาเช่นกัน: คุณกำลัง overfitting มีความเสี่ยงสูงที่พารามิเตอร์ที่ปรับไม่เหมาะสมเลย อย่างไรก็ตามถ้าการตรวจสอบไขว้ภายนอกทำเสร็จแล้วอย่างถูกต้อง (ชุดทดสอบทั้งหมดมีความเป็นอิสระจากแบบจำลองตัวแทนที่เกี่ยวข้อง) อย่างน้อยที่สุดคุณก็ยังมีการประเมินประสิทธิภาพของแบบจำลองที่เป็นกลาง แต่คุณไม่สามารถแน่ใจได้ว่าเหมาะสมที่สุด
• เด่นชัดแค่ไหน ประสิทธิภาพลดลงอย่างรวดเร็วสำหรับพารามิเตอร์ย่อยหรือไม่ ประสิทธิภาพที่ดีที่สุดนั้นดีแค่ไหน?

มีหลายสิ่งที่จะพูดเกี่ยวกับการเลือกรูปแบบมากเกินไป อย่างไรก็ตามมันเป็นสิ่งที่ดีที่จะจำไว้ว่าทั้งความแปรปรวนและอคติในแง่ดีสามารถทำร้ายได้

• ความแปรปรวนหมายความว่าคุณอาจเผลออยู่ไกลจากพารามิเตอร์ไฮเปอร์ที่ดีที่สุด
• แต่อคติก็สามารถทำให้เจ็บได้: ถ้าคุณกำลัง overfitting คุณสามารถพบกับสถานการณ์ที่มีหลายรุ่นที่ดูสมบูรณ์แบบสำหรับการตรวจสอบไขว้ด้านใน (แต่ไม่ใช่จริง ๆ ) ในกรณีดังกล่าวการปรับจูนอาจผิดเพี้ยนไปเนื่องจากไม่รู้จักความแตกต่างระหว่างโมเดล
• หากอคติขึ้นอยู่กับพารามิเตอร์หลายมิติแสดงว่าคุณมีปัญหาใหญ่

หากคุณมีความสนใจในตัวอย่างและคุณสามารถอ่านภาษาเยอรมันได้ฉันสามารถเขียนวิทยานิพนธ์ของฉันทางออนไลน์ได้

จากประสบการณ์ของฉันการปรับค่าพารามิเตอร์ไฮเปอร์เป็นความคิดที่มีประสิทธิภาพอย่างมากในการกำหนดราคาสูงเกินไป ...

ตอนนี้ถ้าคุณรู้ว่าคุณกำลัง overfitting คุณมีสองตัวเลือกหลัก:

• รายงานว่าการเพิ่มประสิทธิภาพมีปัญหากับการ overfitting แต่คุณได้ทำการตรวจสอบความถูกต้องภายนอกที่เหมาะสมซึ่งส่งผลให้ ... (ผลลัพธ์การตรวจสอบความถูกต้องจากภายนอก)
• จำกัดความซับซ้อนของแบบจำลอง วิธีหนึ่งในการทำเช่นนี้คือแก้ไขพารามิเตอร์ไฮเปอร์:

เป็นอีกทางเลือกหนึ่งในการปรับพารามิเตอร์ไฮเปอร์ให้กับชุดฝึกอบรมแต่ละชุดคุณสามารถระบุพารามิเตอร์ ( ไฮเปอร์)ล่วงหน้า (เช่นแก้ไขก่อน) ฉันทำอย่างนั้นให้มากที่สุดเท่าที่จะเป็นไปได้สำหรับโมเดลของฉันเพราะฉันมักจะมีเคสน้อยกว่าที่คุณมีให้ดูด้านล่าง
อย่างไรก็ตามการแก้ไขนี้จะต้องทำจริงและล่วงหน้า: เช่นฉันขอให้เพื่อนร่วมงานหาพารามิเตอร์ที่เหมาะสมของเขาในชุดข้อมูลที่คล้ายกัน (การทดลองอิสระ) หรือทำการทดลองล่วงหน้ารวมถึงการค้นหากริดกับพารามิเตอร์ จากนั้นการทดสอบครั้งแรกนั้นจะใช้เพื่อแก้ไขพารามิเตอร์การทดลองบางอย่างรวมถึงพารามิเตอร์แบบจำลองสำหรับการทดสอบจริงและการวิเคราะห์ข้อมูล ดูคำอธิบายเพิ่มเติมด้านล่าง

แน่นอนมันเป็นไปได้ที่จะดำเนินการทดสอบที่เหมาะสมในรูปแบบที่ดีที่สุดโดยอัตโนมัติ (ตรวจสอบคู่หรือซ้อนกัน) แต่คุณขนาดของกลุ่มตัวอย่างอาจไม่อนุญาตให้แยกข้อมูลสองครั้ง
ในสถานการณ์นั้น IMHO นั้นดีกว่ามากในการรายงานการประเมินแบบจำลองที่สร้างขึ้นโดยใช้ประสบการณ์ระดับมืออาชีพในการเลือกพารามิเตอร์การสร้างแบบจำลองมากกว่าการรายงานการประเมินแบบ overoptimistic ในแบบจำลองที่ได้รับการปรับปรุงอัตโนมัติบางประเภท
อีกมุมมองเกี่ยวกับสถานการณ์คือคุณต้องแลกเปลี่ยน

• ประสิทธิภาพที่แย่ลงเนื่องจากการตั้งค่าเผื่อไว้อีกหลายกรณีสำหรับการปรับพารามิเตอร์ให้เหมาะสม (ขนาดตัวอย่างการฝึกอบรมที่เล็กลง => แบบจำลองแย่ลง แต่พารามิเตอร์ "ดีที่สุด")
• ประสิทธิภาพแย่ลงเนื่องจากการแก้ไขพารามิเตอร์ย่อยโดยผู้เชี่ยวชาญ (แต่ในข้อมูลการฝึกอบรมขนาดใหญ่)

ความคิดที่คล้ายกันบางอย่างสำหรับคำถามที่คล้ายกัน: /stats//a/27761/4598

ในการแก้ไขพารามิเตอร์และความคิดเห็นของ Dikran Marsupial

ฉันใช้คำไฮเปอร์พารามิเตอร์เป็น Dikran Marsupial ใช้ในกระดาษของเขา (ลิงก์ในคำตอบของเขา)

ฉันทำงานกับข้อมูลทางสเปกโทรสโกปี นี่เป็นการวัดที่การวิเคราะห์และการสร้างแบบจำลองข้อมูลมักจะมีการประมวลผลล่วงหน้าค่อนข้างน้อย สิ่งนี้สามารถเห็นได้ว่าเป็นพารามิเตอร์แบบไฮเปอร์ (เช่นลำดับของพหุนามควรใช้เป็นพื้นฐานหรือไม่ควรรวมช่องการวัดใดบ้าง) มีการตัดสินใจอื่น ๆ ที่ใกล้เคียงกับพารามิเตอร์ svm ของคุณเช่นมีส่วนประกอบหลักจำนวนเท่าใดที่จะใช้หากทำ PCA สำหรับการลดขนาดข้อมูลก่อนที่จะมีการฝึกอบรมแบบ "จริง"? และบางครั้งฉันก็ใช้การจำแนกประเภท SVM ด้วยดังนั้นฉันต้องตัดสินใจเกี่ยวกับพารามิเตอร์ SVM

ตอนนี้ IMHO วิธีที่ดีที่สุดในการแก้ไขพารามิเตอร์ไฮเปอร์คือถ้าคุณมีเหตุผลที่มาจากแอปพลิเคชัน เช่นฉันมักจะตัดสินใจว่าพื้นฐานชนิดใดที่จะใช้โดยเหตุผลทางกายภาพ / เคมี / ชีวภาพ (เช่นความรู้เกี่ยวกับตัวอย่างและพฤติกรรมสเปกโทรสโกปีที่เกิดขึ้นหลังจากนั้น) อย่างไรก็ตามฉันไม่ทราบถึงข้อโต้แย้งดังกล่าวซึ่งช่วยด้วยพารามิเตอร์ SVM ...

กรณีของการทดสอบล่วงหน้าที่ฉันกล่าวถึงข้างต้นมีลักษณะดังนี้:

• เราใช้ข้อมูลของกลุ่มของเซลล์ (ต้องการแยกแยะเซลล์ต่าง ๆ )

• มีการวิเคราะห์ Spectra การตรวจสอบความถูกต้องซ้ำซ้อนแบบไขว้ SVM ถูกรัน (ใช้เวลาหนึ่งหรือสองคืนบนเซิร์ฟเวอร์การคำนวณ)

  • $\gamma$$C$
  • ฉันยังสังเกตเห็นการ overfitting บางอย่าง: การตรวจสอบความถูกต้องของไขว้ด้านนอกนั้นไม่ดีเท่าผลการจูน นั่นเป็นไปตามที่คาดไว้
  • ยังคงมีความแตกต่างของประสิทธิภาพการทำงานในช่วงการปรับแต่งของพารามิเตอร์ไฮเปอร์และประสิทธิภาพของตารางการปรับแต่งนั้นดูเรียบเนียนพอสมควร ดี.

• ข้อสรุปของฉันคือ: ในขณะที่ฉันไม่สามารถแน่ใจได้ว่าพารามิเตอร์ไฮเปอร์สุดท้ายนั้นดีที่สุดการตรวจสอบไขว้ภายนอกทำให้ฉันประเมินประสิทธิภาพของแบบจำลองตัวแทนได้อย่างเหมาะสม

• ในระหว่างการทดลองเราตัดสินใจเปลี่ยนแปลงการตั้งค่าการทดลองบางอย่าง (สิ่งที่ไม่ส่งผลกระทบต่อสัญญาณเสียงของข้อมูล แต่สิ่งนี้จะไปอีกขั้นหนึ่งโดยอัตโนมัติในการใช้เครื่องมือ)

• เราปรับปรุงการตั้งค่าการทดลองและรับสเปกตรัมใหม่ ในฐานะที่เป็นเซลล์พวกเขาจะต้องเติบโตขึ้นมาใหม่ นั่นคือชุดข้อมูลใหม่นั้นเป็นชุดของวัฒนธรรมที่เป็นอิสระ

ตอนนี้ฉันกำลังเผชิญกับการตัดสินใจ: ฉันควร "ข้าม" การตรวจสอบความถูกต้องของไขว้ภายในและไปกับพารามิเตอร์ไฮเปอร์ที่ฉันกำหนดด้วยข้อมูลเก่าหรือไม่

• ดังที่ได้กล่าวมาแล้วฉันใช้ความเสี่ยงที่พารามิเตอร์ไฮเปอร์ที่กำหนดไว้ล่วงหน้าเหล่านี้ไม่เหมาะสม
• แต่ฉันไม่สามารถแน่ใจได้ว่าจะได้รับพารามิเตอร์ไฮเปอร์ที่ดีที่สุดอย่างแท้จริงโดยทำการตรวจสอบความถูกต้องแบบไขว้ภายใน
• อย่างไรก็ตามการปรับจูนข้อมูลเก่านั้นมีเสถียรภาพ
• ทำการปรับให้เหมาะสมฉันจะฝึกตัวอย่างน้อย: เนื่องจากฉันมีตัวอย่างน้อยเกินไป (TM) ฉันต้องคาดหวังว่าจะได้แบบจำลองที่แย่ลงถ้าฉันตั้งตัวอย่างเพิ่มเติมสำหรับการตรวจสอบไขว้รอบที่สอง

ดังนั้นในกรณีนี้ฉันตัดสินใจที่จะใช้พารามิเตอร์คงที่ (จากประสบการณ์เกี่ยวกับข้อมูลที่คล้ายกันและรู้ว่าในอนาคตเราจะต้องทำการบ้านของเรารวมถึงการตรวจสอบการตัดสินใจเหล่านี้อีกครั้งด้วยข้อมูลขนาดใหญ่)

โปรดทราบว่าสิ่งสำคัญคือฉันข้ามการตรวจสอบภายใน ( การปรับการตรวจสอบไขว้) ไม่ใช่สิ่งที่อยู่ภายนอก ด้วยพารามิเตอร์ไฮเปอร์คงที่ฉันได้รับการประเมินแบบไม่เอนเอียงเกี่ยวกับประสิทธิภาพของโมเดลย่อยที่อาจเป็นไปได้ มันเป็นความจริงที่การประมาณนี้ขึ้นอยู่กับความแปรปรวนสูง แต่ความแปรปรวนนี้นั้นเหมือนกันไม่ว่าฉันจะทำการจูนภายในหรือไม่
การข้ามการข้ามภายนอกฉันจะได้รับการประเมินแบบเอนเอียงในแง่ดีของโมเดลที่ปรับ - ซึ่งขึ้นอยู่กับแอปพลิเคชันและข้อมูลอาจไร้ค่า (ถ้ามากเกินไป

$\gamma$$C$$k$$terr(\gamma,C)$. จากนั้นทำการค้นหากริดสองมิติ$\gamma$ และ $C$แยกต่างหากเพื่อสร้างเมทริกซ์ข้อผิดพลาดการทดสอบ เพื่อเร่งความเร็วสิ่งที่ผู้คนมักใช้กริดลอการิทึม$\gamma,C \in \{ 2^{-n_l}, 2^{-n_l+1}, \dots, 2^{n_u}\}$ (โดยปกติ $\gamma$ อยู่ในระดับที่เล็กกว่า)

กุญแจสำคัญที่ฉันคิดว่าคือการมองหาความเรียบเนียนบนพื้นผิวรอบ ๆ ต่ำสุดในท้องถิ่น (หรือการฉายภาพ 1 มิติแต่ละอัน) และไม่เพียงแค่ใช้ค่าต่ำสุดทั่วโลก

จำไว้ว่าสำหรับเคอร์เนล Gaussian SVMs $\gamma$ ก็เหมือน $(p\sigma)^{-1}$ พารามิเตอร์สำหรับ Multivariate Normal data ด้วย $p$ส่วนประกอบอิสระ ดังนั้นหากคุณมีความเข้าใจเกี่ยวกับความแปรปรวนของระยะทางตัวทำนายมันสามารถช่วยกำหนดกริดสำหรับ$\gamma$โดยเฉพาะอย่างยิ่งหากความสัมพันธ์ของคุณลักษณะไม่แรงเกินไป $C$ คุณจะได้รับหย่อนเท่าไรถ้าไม่มีระนาบการแยกที่สมบูรณ์แบบดังนั้นความสัมพันธ์ระหว่างตัวทำนายและคลาสเลเบลที่อ่อนแอลงในทางทฤษฎี $C$ ควรจะเป็น