คำถามติดแท็ก cross-validation

หัก ณ ที่จ่ายซ้ำชุดย่อยของข้อมูลในระหว่างการปรับแบบจำลองเพื่อวัดประสิทธิภาพของแบบจำลองในชุดย่อยข้อมูลที่ถูกระงับ

2
การทำให้เป็นมาตรฐานจะมีประโยชน์หรือไม่ถ้าเราสนใจเฉพาะการสร้างแบบจำลองไม่ใช่ในการคาดการณ์?
การทำให้เป็นมาตรฐานจะมีประโยชน์ถ้าเราสนใจเพียงการประมาณ (และการตีความ) พารามิเตอร์โมเดลไม่ใช่การพยากรณ์หรือการทำนาย? ฉันเห็นว่าการทำให้เป็นปกติ / การตรวจสอบข้ามมีประโยชน์มากเพียงใดหากเป้าหมายของคุณคือการคาดการณ์ที่ดีเกี่ยวกับข้อมูลใหม่ แต่ถ้าคุณทำเศรษฐศาสตร์แบบดั้งเดิมและสิ่งที่คุณสนใจก็คือการประมาณ ? การตรวจสอบข้ามจะมีประโยชน์ในบริบทนั้นได้หรือไม่ ความยากลำบากทางแนวคิดที่ฉันต่อสู้คือเราสามารถคำนวณจากข้อมูลการทดสอบ แต่เราไม่สามารถคำนวณเพราะจริง\ betaเป็นไปตามคำนิยามที่ไม่เคยสังเกต (รับตามข้อสันนิษฐานที่ว่าแม้จะมีจริง\ betaนั่นคือเรารู้ว่าครอบครัวของแบบจำลองที่สร้างข้อมูล)ββ\betaL(Y,Y^)L(Y,Y^)\mathcal{L}\left(Y, \hat{Y}\right)L(β,β^)L(β,β^)\mathcal{L}\left(\beta, \hat{\beta}\right)ββ\betaββ\beta สมมติว่าสูญเสียของคุณคือL(β,β^)=∥β−β^∥L(β,β^)=‖β−β^‖\mathcal{L}\left(\beta, \hat{\beta}\right) = \lVert \beta - \hat{\beta} \rVert\ คุณเผชิญกับการแลกเปลี่ยนอคติแปรปรวนใช่ไหม? ดังนั้นในทางทฤษฎีคุณน่าจะใช้การปรับให้เป็นมาตรฐานได้ดีกว่า แต่คุณจะเลือกพารามิเตอร์การทำให้เป็นมาตรฐานได้อย่างไร? ฉันยินดีที่จะเห็นตัวอย่างเชิงตัวเลขอย่างง่ายของตัวแบบการถดถอยเชิงเส้นพร้อมค่าสัมประสิทธิ์β≡(β1,β2,…,βk)β≡(β1,β2,…,βk)\beta \equiv (\beta_1, \beta_2, \ldots, \beta_k)ซึ่งฟังก์ชันการสูญเสียของนักวิจัยคือ∥β−β^∥‖β−β^‖\lVert \beta - \hat{\beta} \rVertหรือแม้เพียงแค่(β1−β^1)2(β1−β^1)2(\beta_1 - \hat{\beta}_1)^2 2 ในทางปฏิบัติเราสามารถใช้การตรวจสอบข้ามเพื่อปรับปรุงการสูญเสียที่คาดหวังในตัวอย่างเหล่านั้นได้อย่างไร แก้ไข : DJohnson ชี้ให้ฉันเห็นhttps://www.cs.cornell.edu/home/kleinber/aer15-prediction.pdfซึ่งเกี่ยวข้องกับคำถามนี้ ผู้เขียนเขียนว่า เทคนิคการเรียนรู้ของเครื่อง ... เป็นวิธีที่มีระเบียบวินัยในการทำนาย Y^Y^\hat{Y}ซึ่ง …

1
ช่วงเวลาการทำนายขึ้นอยู่กับการตรวจสอบข้าม (CV)
ในหนังสือข้อความและการบรรยาย youtube ฉันได้เรียนรู้มากมายเกี่ยวกับแบบจำลองซ้ำ ๆ เช่นการส่งเสริม แต่ฉันไม่เคยเห็นอะไรเลยเกี่ยวกับช่วงเวลาการทำนาย การตรวจสอบความถูกต้องไขว้ถูกใช้สำหรับสิ่งต่อไปนี้: การเลือกรุ่น : ลองใช้รุ่นที่แตกต่างกันและเลือกรุ่นที่เหมาะสมที่สุด ในกรณีของการส่งเสริมให้ใช้ CV เพื่อเลือกพารามิเตอร์การปรับ การประเมินโมเดล : ประเมินประสิทธิภาพของโมเดลที่เลือก พารามิเตอร์หลายตัวมีความสำคัญต่อการประเมินแบบจำลองโดยหนึ่งในนั้นคือข้อผิดพลาดในการทำนายที่คาดหวัง การตรวจสอบความถูกต้องของข้อมูลให้การประมาณที่ดีของข้อผิดพลาดในการทำนายเช่นเดียวกับที่อธิบายไว้ในหนังสือ "องค์ประกอบของการเรียนรู้ทางสถิติ" แต่เราจะใช้ข้อผิดพลาดการคาดการณ์เพื่อสร้างช่วงเวลาการทำนายได้อย่างไร และถ้าคุณทำนายราคาของบ้านตัวอย่างเช่นช่วงเวลาการทำนายจะสูงกว่าสำหรับบ้านที่ 500,000 ยูโรเมื่อเทียบกับบ้านที่มี 200,000 ยูโร เราจะประเมินช่วงเวลาการทำนายเหล่านี้โดยใช้การตรวจสอบความถูกต้องไขว้ได้อย่างไร

2
ความเสถียรของการตรวจสอบข้ามในแบบจำลองเบย์
ฉันเหมาะสม Bayesian HLM ใน JAGS โดยใช้การตรวจสอบความถูกต้องข้ามแบบ k-fold (k = 5) ฉันต้องการทราบว่าการประมาณค่าพารามิเตอร์นั้นเสถียรในทุกเท่าหรือไม่ วิธีที่ดีที่สุดในการทำเช่นนี้คืออะไร?ββ\beta แนวคิดหนึ่งคือการค้นหาความแตกต่างของ posteriorsและดูว่า 0 อยู่ใน 95% CI ของความแตกต่างหรือไม่ กล่าวอีกนัยหนึ่งคือ 0 ในช่วง 95% ของ (จากนั้นทำซ้ำสำหรับทุกคู่เท่า)ββ\betaβk=1−βk=2βk=1−βk=2\beta_{k=1}-\beta_{k=2} อีกแนวคิดหนึ่งคือปฏิบัติต่อผู้โพสต์จากแต่ละวงในฐานะโซ่ MCMC ที่แตกต่างกันและเพื่อคำนวณ (ศักยภาพการลดสเกลปัจจัย) ของเจลแมนทั่วโซ่หลอกเหล่านี้R^R^\hat{R} เป็นหนึ่งในสิ่งที่ดีกว่าและมีทางเลือกอื่นหรือไม่?

6
การปรับพารามิเตอร์ไฮเปอร์พารามิเตอร์ในตัวอย่างของชุดข้อมูลเป็นแนวคิดที่ไม่ดีหรือไม่?
ฉันมีชุดข้อมูลของตัวอย่าง 140000 ตัวอย่างและคุณลักษณะ 30 อย่างที่ฉันกำลังฝึกอบรมตัวแยกประเภทหลายตัวสำหรับการจำแนกเลขฐานสอง (SVM, การถดถอยโลจิสติก, การสุ่มป่า ฯลฯ ) ในหลายกรณีการปรับพารามิเตอร์แบบหลายมิติบนชุดข้อมูลทั้งหมดโดยใช้การค้นหาแบบกริดหรือแบบสุ่มนั้นใช้เวลานานเกินไป ฉันเริ่มใช้เทคนิคต่อไปนี้ ตัวอย่างชุดย่อยของฉัน ใช้เศษส่วนที่ได้รับเพื่อปรับพารามิเตอร์หลายมิติบน ใช้พารามิเตอร์ที่ได้รับเพื่อฝึกฝนโมเดลโดยใช้ชุดข้อมูลทั้งหมด เพื่อประเมินชุดของพารามิเตอร์แต่ละเกี่ยวกับการใช้ขั้นตอนที่สองผมsklearn's GridSearchCVกับพันธุ์ = 10 เพื่อประเมินรุ่นสุดท้ายที่ฉันจะสร้างในขั้นตอนที่สามผมใช้'ssklearn cross_val_predictในแง่นั้นฉันประเมินแบบจำลองของฉันที่ทิ้งข้อมูล 10% ของข้อมูลออกไปฉันทำการฝึกอบรมส่วนที่เหลือและวัดความแม่นยำในการทำนาย 10% หรือ 10 เท่าแล้วจึงเฉลี่ยคะแนน สิ่งที่ทำให้ฉันกังวลคือความแม่นยำในการทำนายที่ฉันได้รับจากการฝึกอบรมในชุดข้อมูลทั้งหมดของฉันใกล้เคียงกับการประเมินที่ฉันได้รับเมื่อทำการปรับพารามิเตอร์สำหรับชุดของพารามิเตอร์ที่ดีที่สุด (ชุดทดสอบแต่ละชุด ผลการตรวจสอบแบบพับข้าม) เกือบทุกครั้งที่ความแม่นยำที่cross_val_predictวัดได้โดยใช้ตัวอย่างการฝึกอบรมทั้งหมด (ชุดข้อมูลทั้งหมด) นั้นสูงกว่าการประเมินผลพารามิเตอร์ที่ดีที่สุดเล็กน้อย เพื่ออธิบายสิ่งนี้นี่คือการประเมินชุดของพารามิเตอร์ (ในชุดข้อมูลขนาดเล็กกว่าที่ฉันอธิบายไว้ข้างต้น แต่ผลเหมือนกัน) Best parameters set found on development set: {'kernel': 'rbf', 'C': 9, 'gamma': 0.1} Scores …

4
ทำไมการแยกข้อมูลออกเป็นชุดการฝึกอบรมและการทดสอบจึงไม่เพียงพอ
ฉันรู้ว่าในการเข้าถึงประสิทธิภาพของลักษณนามฉันต้องแบ่งข้อมูลออกเป็นชุดฝึกอบรม / ทดสอบ แต่อ่านนี้ : เมื่อประเมินการตั้งค่าที่แตกต่างกัน (“ พารามิเตอร์มากเกินไป”) สำหรับตัวประมาณเช่นการตั้งค่า C ที่ต้องตั้งค่าด้วยตนเองสำหรับ SVM ยังคงมีความเสี่ยงที่จะเกิดการล้นในชุดทดสอบเนื่องจากพารามิเตอร์สามารถปรับได้จนกว่าตัวประเมินจะทำงานอย่างเหมาะสมที่สุด ด้วยวิธีนี้ความรู้เกี่ยวกับชุดทดสอบสามารถ“ รั่วไหล” ลงในแบบจำลองและตัวชี้วัดการประเมินผลไม่ได้รายงานเกี่ยวกับประสิทธิภาพของการวางนัยทั่วไปอีกต่อไป เพื่อแก้ปัญหานี้ยังมีอีกส่วนหนึ่งของชุดข้อมูลที่สามารถเรียกได้ว่า "ชุดการตรวจสอบความถูกต้อง": การฝึกอบรมเกี่ยวกับชุดการฝึกอบรมหลังจากการประเมินเสร็จสิ้นในชุดการตรวจสอบความถูกต้องและเมื่อการทดสอบประสบความสำเร็จ การประเมินขั้นสุดท้ายสามารถทำได้ในชุดทดสอบ ฉันเห็นว่ามีการแนะนำชุดการตรวจสอบความถูกต้องอีกชุดที่สามซึ่งได้รับการพิสูจน์ด้วยการตั้งค่าการทดสอบที่มากเกินไประหว่างการปรับจูนพารามิเตอร์ ปัญหาคือฉันไม่สามารถเข้าใจได้ว่าการล้นเกินนี้จะปรากฏได้อย่างไรจึงไม่สามารถเข้าใจเหตุผลของชุดที่สามได้

1
พิสูจน์สูตร LOOCV
จากบทนำสู่การเรียนรู้เชิงสถิติโดย James et al. การประมาณค่าการตรวจสอบความถูกต้องแบบข้ามใบ (LOOCV) ถูกกำหนดโดย ที่ 2CV ( n ) = 1n n Σฉัน=1MSEฉันCV(n)=1n∑i=1nMSEi\text{CV}_{(n)} = \dfrac{1}{n}\sum\limits_{i=1}^{n}\text{MSE}_iMSEฉัน=(y ที่ฉัน - Yฉัน)2MSEi=(yi−y^i)2\text{MSE}_i = (y_i-\hat{y}_i)^2 โดยไม่มีการพิสูจน์สมการ (5.2) ระบุว่าสำหรับการถดถอยแบบพหุนามหรือพหุนามอย่างน้อยที่สุด (ไม่ว่าสิ่งนี้จะนำไปใช้กับการถดถอยของตัวแปรเพียงตัวเดียวไม่รู้จักกับฉัน) โดยที่ "คือ TH ค่าติดตั้งจากน้อยสแควร์เดิมพอดี ( ความคิดที่ไม่มีสิ่งนี้หมายความว่าโดยวิธีการที่มันไม่ได้หมายความว่าจากการใช้ทั้งหมดของจุดในชุดข้อมูล?) และคืองัด" ซึ่งถูกกำหนดโดยCV ( n ) = 1n n Σฉัน=1( Y ฉัน- Yฉัน1 - เอชฉัน )2ปีฉันฉันCV(n)=1n∑i=1n(yi−y^i1−hi)2\text{CV}_{(n)} = \dfrac{1}{n}\sum\limits_{i=1}^{n}\left(\dfrac{y_i …

1
เมทริกซ์ความสับสนรายงานจากการตรวจสอบข้าม K-fold อย่างไร
สมมติว่าฉันใช้การตรวจสอบความถูกต้องข้ามแบบ K-fold ด้วย K = 10 เท่า จะมีเมทริกซ์ความสับสนหนึ่งครั้งสำหรับแต่ละครั้ง เมื่อรายงานผลลัพธ์ฉันควรคำนวณเมทริกซ์ความสับสนเฉลี่ยหรือเพียงแค่รวมเมทริกซ์ความสับสน

5
ความแปรปรวนในผลลัพธ์ cv.glmnet
ฉันใช้cv.glmnetเพื่อค้นหาผู้ทำนาย การตั้งค่าที่ฉันใช้มีดังนี้: lassoResults&lt;-cv.glmnet(x=countDiffs,y=responseDiffs,alpha=1,nfolds=cvfold) bestlambda&lt;-lassoResults$lambda.min results&lt;-predict(lassoResults,s=bestlambda,type="coefficients") choicePred&lt;-rownames(results)[which(results !=0)] set.seed(1)เพื่อให้แน่ใจว่าผลจะทำซ้ำฉัน ผลลัพธ์มีความแปรปรวนสูง ฉันใช้รหัสเดียวกัน 100 เพื่อดูว่าผลลัพธ์เป็นอย่างไร ในการวิ่ง 98/100 มีตัวพยากรณ์หนึ่งตัวเลือกเสมอ (บางครั้งก็เป็นของตัวเอง); มีการเลือกตัวทำนายอื่น ๆ (co-efficient เป็น non-zero) โดยปกติ 50/100 ครั้ง ดังนั้นมันบอกกับฉันว่าทุกครั้งที่การตรวจสอบความถูกต้องไขว้ทำงานมันอาจจะเป็นการเลือกแลมบ์ดาที่ดีที่สุดเพราะการสุ่มเริ่มต้นของโฟลเดอร์สำคัญ คนอื่น ๆ ได้เห็นปัญหานี้ ( ผลลัพธ์ CV.glmnet ) แต่ไม่มีวิธีการแก้ไขที่แนะนำ ฉันคิดว่าบางทีสิ่งที่แสดงให้เห็นว่า 98/100 น่าจะสัมพันธ์กับคนอื่น ๆ ผลจะมีเสถียรภาพถ้าฉันเพียงแค่เรียกใช้ LOOCV ( fold-size=nfold-size=n\text{fold-size} = n ) แต่ผมอยากรู้ว่าทำไมพวกเขาจึงตัวแปรเมื่อnfold&lt;nnfold&lt;n\text{nfold} < n n

3
การใส่ร้ายก่อนหรือหลังแยกออกเป็นรถไฟและทดสอบ?
ฉันมีชุดข้อมูลที่มี N ~ 5,000 และประมาณ 1/2 หายไปกับตัวแปรสำคัญอย่างน้อยหนึ่งตัว วิธีการวิเคราะห์หลักจะเป็นอันตรายตามสัดส่วนของคอคส์ ฉันวางแผนที่จะใช้การใส่หลายแบบ ฉันจะแยกเป็นชุดรถไฟและชุดทดสอบ ฉันควรแยกข้อมูลแล้วใส่ข้อมูลแยกต่างหากหรือใส่ร้ายแล้วแยก? ถ้ามันเป็นเรื่องสำคัญผมจะใช้ในPROC MISAS

2
เราควรทำซ้ำ K-fold CV กี่ครั้ง?
ฉันได้พบกับเธรดนี้เพื่อดูความแตกต่างระหว่างการบูตสแตรปกับการตรวจสอบไขว้ - คำตอบที่ดีและการอ้างอิงตามวิธี สิ่งที่ผมสงสัยว่าในขณะนี้คือถ้าผมจะดำเนินการซ้ำ CV พูด 10 เท่าในการคำนวณความถูกต้องลักษณนามของกี่ครั้งnฉันควรทำซ้ำได้หรือไม่ ไม่nขึ้นอยู่กับจำนวนเท่า? เกี่ยวกับขนาดตัวอย่าง? มีกฎสำหรับสิ่งนี้หรือไม่? (ในกรณีของฉันฉันมีตัวอย่างใหญ่ถึง 5,000 และถ้าฉันเลือกสิ่งที่มีขนาดใหญ่กว่าn = 20คอมพิวเตอร์ของฉันใช้เวลาในการคำนวณนานเกินไป)

1
เราสามารถใช้การละทิ้งค่าเฉลี่ยและส่วนเบี่ยงเบนมาตรฐานเพื่อเปิดเผยค่าผิดปกติได้ไหม
สมมติว่าฉันมีการกระจายข้อมูลตามปกติ สำหรับแต่ละองค์ประกอบของข้อมูลฉันต้องการตรวจสอบว่ามี SDs จำนวนเท่าใดที่อยู่ห่างจากค่าเฉลี่ย อาจมีค่าผิดปกติในข้อมูล (น่าจะมีเพียงหนึ่ง แต่อาจมีสองหรือสาม) หรือไม่ แต่ค่าผิดปกตินี้เป็นสิ่งที่ฉันกำลังมองหา เป็นเรื่องที่สมเหตุสมผลหรือไม่ที่จะแยกองค์ประกอบที่ฉันกำลังดูจากการคำนวณค่าเฉลี่ยและ SD ชั่วคราว ความคิดของฉันคือถ้าใกล้เคียงกับค่าเฉลี่ยมันจะไม่มีผลกระทบใด ๆ หากเป็นค่าผิดปกติอาจมีอคติในการคำนวณค่าเฉลี่ยและ SD และลดความน่าจะเป็นที่ตรวจพบได้ ฉันไม่ใช่นักสถิติดังนั้นความช่วยเหลือใด ๆ ที่ชื่นชม!

4
การตรวจสอบความถูกต้องข้ามและการปรับพารามิเตอร์
ใครสามารถบอกฉันได้ว่าการวิเคราะห์การตรวจสอบความถูกต้องเป็นสิ่งที่ให้ผลลัพธ์ มันเป็นเพียงความแม่นยำเฉลี่ยหรือให้รุ่นใด ๆ ที่มีการปรับพารามิเตอร์? เพราะฉันได้ยินบางที่การตรวจสอบความถูกต้องไขว้ใช้สำหรับการปรับพารามิเตอร์

5
วิธีที่รวดเร็วในการค้นหา metaparameters ที่ดีที่สุดของ SVM (เร็วกว่าการค้นหาแบบกริด)
ฉันใช้โมเดล SVM เพื่อทำการพยากรณ์ระยะสั้นของมลพิษทางอากาศ ในการฝึกอบรมโมเดลใหม่ฉันต้องการค้นหาพารามิเตอร์ที่เหมาะสมสำหรับโมเดล SVM (ฉันหมายถึง C, แกมม่าและอื่น ๆ ) เอกสาร Libsvm (และหนังสืออื่น ๆ อีกมากมายที่ฉันได้อ่าน) แนะนำให้ใช้การค้นหากริดเพื่อค้นหาพารามิเตอร์เหล่านี้ - ดังนั้นโดยทั่วไปฉันจะฝึกแบบจำลองสำหรับการรวมกันของพารามิเตอร์เหล่านี้จากชุดที่กำหนดและเลือกแบบจำลองที่ดีที่สุด มีวิธีใดที่ดีกว่าในการหา metaparameters ที่ดีที่สุด (หรือใกล้เคียงที่สุด)? สำหรับฉันแล้วมันเป็นเรื่องของเวลาในการคำนวณ - การค้นหากริดหนึ่งครั้งของปัญหานี้ใช้เวลาประมาณสองชั่วโมง (หลังจากที่ฉันทำการปรับให้เหมาะสมแล้ว) ข้อดีของการค้นหากริด: มันสามารถทำให้ขนานได้ง่าย - ถ้าคุณมี 20 CPU มันจะทำงานเร็วขึ้น 20 เท่าการขนานวิธีอื่นยากกว่า คุณตรวจสอบพื้นที่ส่วนใหญ่ของ metaparameter ดังนั้นหากมีทางออกที่ดีคุณจะพบว่า

2
เหตุใดจึงต้องใช้มาตราส่วนของแพลต
เพื่อการปรับระดับความเชื่อมั่นความน่าจะเป็นในการเรียนรู้ภายใต้การดูแล (พูดกับแผนที่ความเชื่อมั่นจากนัก SVM หรือต้นไม้ตัดสินใจโดยใช้ข้อมูล oversampled) วิธีหนึ่งคือการใช้แพลตขูดหินปูน (เช่นได้รับการสอบเทียบความน่าจะเป็นจากการส่งเสริม ) โดยทั่วไปจะใช้การถดถอยโลจิสติกเพื่อทำแผนที่ถึง[ 0 ; 1 ] ตัวแปรตามคือป้ายจริงและตัวทำนายคือความมั่นใจจากแบบจำลองที่ไม่ผ่านการปรับเทียบ สิ่งที่ฉันไม่เข้าใจคือการใช้ตัวแปรเป้าหมายอื่นที่ไม่ใช่ 1 หรือ 0 วิธีการนี้เรียกร้องให้สร้าง "label" ใหม่:[ - ∞ ; ∞ ][-∞;∞][-\infty;\infty][ 0 ; 1 ][0;1][0;1] เพื่อหลีกเลี่ยงการ overfitting ไปยังชุดรถไฟ sigmoid จะใช้โมเดลตัวอย่างนอก หากมีตัวอย่างบวกและN -ตัวอย่างเชิงลบในชุดรถไฟสำหรับตัวอย่างการฝึกอบรมแต่ละการสอบเทียบแพลตใช้ค่าเป้าหมายy +และy - (แทน 1 และ 0 ตามลำดับ) โดยที่ y + = N + …

3
วิธีรับพารามิเตอร์ไฮเปอร์ในการตรวจสอบข้ามซ้อน
ฉันได้อ่านโพสต์ต่อไปนี้สำหรับการตรวจสอบความถูกต้องไขว้แบบซ้อนกันและยังไม่แน่ใจ 100% ว่าฉันต้องทำอย่างไรกับการเลือกแบบจำลองที่มีการตรวจสอบความถูกต้องไขว้แบบซ้อน: การตรวจสอบความถูกต้องไขว้แบบซ้อนสำหรับการเลือกโมเดล การเลือกรุ่นและการตรวจสอบข้าม: วิธีการที่ถูกต้อง เพื่ออธิบายความสับสนให้ฉันลองเดินผ่านการเลือกรุ่นด้วยวิธีการตรวจสอบข้ามซ้อนขั้นตอน สร้างวง CV ด้านนอกด้วย K-Fold สิ่งนี้จะถูกใช้เพื่อประเมินประสิทธิภาพของพารามิเตอร์ไฮเปอร์ที่ "ชนะ" แต่ละ CV วงใน ใช้ GridSearchCV เพื่อสร้างวง CV ภายในที่ในแต่ละวงด้านใน GSCV จะผ่านชุดค่าผสมที่เป็นไปได้ทั้งหมดของพื้นที่พารามิเตอร์และมาพร้อมกับชุดพารามิเตอร์ที่ดีที่สุด หลังจาก GSCV พบพารามิเตอร์ที่ดีที่สุดในลูปด้านในมันจะถูกทดสอบด้วยชุดทดสอบในลูปด้านนอกเพื่อรับการประมาณค่าประสิทธิภาพ จากนั้นวงรอบนอกจะอัพเดทเป็นรอยพับถัดไปในขณะที่ชุดทดสอบและส่วนที่เหลือเป็นชุดฝึกซ้อมและ 1-3 ครั้ง พารามิเตอร์ "ที่ชนะ" ทั้งหมดที่เป็นไปได้คือจำนวนการพับที่กำหนดในลูปภายนอก ดังนั้นถ้าลูปด้านนอกเท่ากับ 5 เท่าคุณจะมีการประมาณประสิทธิภาพของอัลกอริทึมที่มีพารามิเตอร์ไฮเปอร์5 ชุดที่แตกต่างกันไม่ใช่ประสิทธิภาพของไฮเปอร์เซ็ตพารามิเตอร์หนึ่งชุด วิธีนี้แสดงให้เห็นในหน้าตัวอย่างของ SKLearn: http://scikit-learn.org/stable/auto_examples/model_selection/plot_nested_cross_validation_iris.html คำถาม: หลังจาก4.คุณจะทราบได้อย่างไรว่าพารามิเตอร์ไฮเปอร์ใดที่ทำงานได้ดีที่สุด? ฉันเข้าใจว่าคุณต้องการฝึกอัลกอริทึมของคุณ (เช่น Logistic Regression, Random Forest เป็นต้น) ด้วยชุดข้อมูล COMPLETE …

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.