คำถามติดแท็ก cross-validation

หน้า Scikit Learn เกี่ยวกับการเลือกแบบจำลองกล่าวถึงการใช้การตรวจสอบความถูกต้องแบบซ้อน: >>> clf = GridSearchCV(estimator=svc, param_grid=dict(gamma=gammas), ... n_jobs=-1) >>> cross_validation.cross_val_score(clf, X_digits, y_digits) การข้ามการตรวจสอบความถูกต้องสองลูปถูกดำเนินการแบบขนาน: หนึ่งโดยตัวประมาณของ GridSearchCV เพื่อตั้งค่าแกมม่าและอีกอันหนึ่งโดย cross_val_score เพื่อวัดประสิทธิภาพการทำนายของตัวประมาณ คะแนนที่ได้นั้นเป็นค่าประมาณที่ไม่เอนเอียงของคะแนนการทำนายของข้อมูลใหม่ จากสิ่งที่ฉันเข้าใจclf.fitจะใช้การตรวจสอบข้ามแบบดั้งเดิมเพื่อกำหนดแกมมาที่ดีที่สุด ในกรณีนั้นทำไมเราต้องใช้ CV ที่ซ้อนกันตามที่ระบุข้างต้น บันทึกดังกล่าวระบุว่าพันธุ์ที่ซ้อนกันสร้าง "การประเมินที่เป็นกลาง" ของคะแนนการทำนาย นั่นไม่ได้เป็นอย่างนั้นclf.fitหรือ นอกจากนี้ฉันไม่สามารถรับค่า clf ที่ดีที่สุดจากcross_validation.cross_val_score(clf, X_digits, y_digits)ขั้นตอน คุณช่วยกรุณาแนะนำวิธีการที่สามารถทำได้?

14 machine-learning  cross-validation  scikit-learn 

มีใครช่วยอธิบายโมเดล Cox ของฉันให้ฉันฟังเป็นภาษาอังกฤษธรรมดาได้ไหม ฉันติดตั้งโมเดลการถดถอยของ Cox ต่อไปนี้กับข้อมูลทั้งหมดของฉันโดยใช้cphฟังก์ชั่น Dataข้อมูลของฉันจะถูกบันทึกไว้ในวัตถุที่เรียกว่า ตัวแปรw, xและyมีความต่อเนื่อง zเป็นปัจจัยสองระดับ เวลามีหน่วยวัดเป็นเดือน ผู้ป่วยบางรายของฉันขาดข้อมูลสำหรับตัวแปรz( หมายเหตุ : ฉันได้ระบุไว้อย่างชัดเจนว่าคำแนะนำของดร. ฮาร์เรลด้านล่างนี้ว่าฉันใส่ค่าเหล่านี้เพื่อหลีกเลี่ยงการทำให้ลำเอียงแบบของฉันและจะทำในอนาคต) > fit <- cph(formula = Surv(time, event) ~ w + x + y + z, data = Data, x = T, y = T, surv = T, time.inc = 12) Cox Proportional Hazards Model …

14 r  cross-validation  survival  cox-model 

ดูเหมือนว่าจะมีคำแนะนำที่ขัดแย้งกันเกี่ยวกับวิธีจัดการเปรียบเทียบข้อผิดพลาดของรถไฟและการทดสอบโดยเฉพาะเมื่อมีช่องว่างระหว่างทั้งสอง ดูเหมือนจะมีโรงเรียนแห่งความคิดสองแห่งสำหรับฉันดูเหมือนจะขัดแย้งกัน ฉันกำลังมองหาที่จะเข้าใจวิธีการกระทบยอดทั้งสอง (หรือเข้าใจสิ่งที่ฉันหายไปที่นี่) ความคิด # 1: ช่องว่างระหว่างรถไฟและประสิทธิภาพของชุดการทดสอบเพียงอย่างเดียวไม่ได้บ่งบอกถึงการมีน้ำหนักเกิน ก่อนอื่น (กล่าวถึงที่นี่: การเปรียบเทียบการฝึกอบรมและการทดสอบข้อผิดพลาดจะบ่งบอกถึงการมีน้ำหนักเกินได้อย่างไร ) แนวคิดที่ว่าความแตกต่างระหว่างรถไฟและชุดทดสอบเพียงอย่างเดียวไม่สามารถบ่งบอกถึงการล้นได้ สิ่งนี้เห็นด้วยกับประสบการณ์การใช้งานจริงของฉันตัวอย่างเช่นวิธีต้นไม้ทั้งมวลซึ่งแม้หลังจากการปรับแต่งพารามิเตอร์แบบไฮเปอร์ครอสข้ามการตรวจสอบข้ามช่องว่างระหว่างข้อผิดพลาดรถไฟและการทดสอบอาจยังคงค่อนข้างใหญ่ แต่ (โดยไม่คำนึงถึงประเภทของรุ่น) ตราบใดที่คุณตรวจสอบความผิดพลาดไม่ได้กลับมาคุณก็ดี อย่างน้อยนั่นคือความคิด ความคิด # 2: เมื่อคุณเห็นช่องว่างระหว่างรถไฟและประสิทธิภาพการทดสอบ: ทำสิ่งต่าง ๆ ที่จะต่อสู้กับการมีน้ำหนักเกิน อย่างไรก็ตามมีคำแนะนำที่คุณเห็นจากแหล่งข้อมูลที่ดีมากซึ่งชี้ให้เห็นว่าช่องว่างระหว่างรถไฟกับข้อผิดพลาดในการทดสอบนั้นบ่งบอกถึงการมีน้ำหนักเกิน นี่คือตัวอย่าง: การพูดคุยเรื่อง "นัทและโบลต์แห่งการเรียนรู้ลึก" โดย Andrew Ng (การพูดคุยที่ยอดเยี่ยม) https://www.youtube.com/watch?v=F1ka6a13S9Iที่เวลาประทับ 48:00 เขาวาดแผนภูมิการไหล ที่ระบุว่า "ถ้าข้อผิดพลาดชุดรถไฟของคุณต่ำและข้อผิดพลาดชุด Train-dev ของคุณสูงคุณควรเพิ่มการทำให้เป็นปกติรับข้อมูลเพิ่มเติมหรือเปลี่ยนสถาปัตยกรรมแบบจำลอง" ... ซึ่งเป็นการกระทำทั้งหมดที่คุณอาจต้องต่อสู้เพื่อเอาชนะ สิ่งใดที่ทำให้ฉัน ... : ฉันคิดถึงบางสิ่งที่นี่หรือไม่ นี่เป็นกฎเฉพาะของโมเดลหรือไม่ (โดยทั่วไปแล้วโมเดลที่เรียบง่ายกว่าจะมีช่องว่างระหว่างรถไฟและการทดสอบน้อยกว่า) หรือไม่? หรือว่ามีโรงเรียนแห่งความคิดที่แตกต่างกันสองแห่ง?

14 cross-validation  overfitting 

คำถามหลักของฉันคือการพยายามเข้าใจว่าการตรวจสอบข้าม k-fold เหมาะสมกับบริบทของการมีชุดฝึกอบรม / ตรวจสอบ / ทดสอบได้อย่างไร (ถ้าเหมาะสมในบริบทดังกล่าว) โดยทั่วไปแล้วผู้คนพูดถึงการแยกข้อมูลออกเป็นชุดฝึกอบรมการตรวจสอบความถูกต้องและการทดสอบ - พูดในอัตราส่วน 60/20/20 ต่อหลักสูตรของ Andrew Ng โดยชุดการตรวจสอบจะใช้เพื่อระบุพารามิเตอร์ที่เหมาะสมสำหรับการฝึกอบรมแบบจำลอง อย่างไรก็ตามหากต้องการใช้การตรวจสอบความถูกต้องข้ามแบบพับของ k-fold โดยหวังว่าจะได้รับการวัดความแม่นยำของตัวแทนมากขึ้นเมื่อปริมาณข้อมูลมีขนาดค่อนข้างเล็กสิ่งที่การตรวจสอบความถูกต้องไขว้แบบ k-fold นั้น สถานการณ์? ตัวอย่างเช่นนั่นหมายความว่าเราจะรวมชุดการฝึกอบรมและการทดสอบจริง ๆ (80% ของข้อมูล) และทำการตรวจสอบความถูกต้องด้วย k-fold เพื่อให้ได้การวัดความถูกต้องของเรา (ทิ้งอย่างมีประสิทธิภาพด้วยชุดทดสอบ ถ้าเป็นเช่นนั้นเราใช้โมเดล a) ในการผลิตและ b) เพื่อใช้กับชุดการตรวจสอบความถูกต้องและระบุพารามิเตอร์การฝึกอบรมที่เหมาะสมที่สุด? ตัวอย่างเช่นคำตอบหนึ่งที่เป็นไปได้สำหรับ a และ b อาจใช้โมเดลที่ดีที่สุด

14 cross-validation  dataset  overfitting 

ฉันมีคำถามเกี่ยวกับการปรับพารามิเตอร์ให้เหมาะสมเมื่อฉันใช้การตรวจสอบความถูกต้องไขว้ 10 เท่า ฉันต้องการถามว่าพารามิเตอร์ควรแก้ไขหรือไม่ในระหว่างการฝึกอบรมแบบจำลองของทุกครั้งหรือไม่เช่น (1) เลือกพารามิเตอร์ที่ปรับให้เหมาะสมหนึ่งชุดเพื่อความแม่นยำเฉลี่ยของการพับทุกครั้ง หรือ (2) ฉันควรค้นหาพารามิเตอร์ที่เหมาะสมสำหรับทุก ๆ เท่าและทุก ๆ เท่าจะใช้พารามิเตอร์ที่ปรับให้เหมาะสมที่สุดเพื่อฝึกโมเดลของมันจากนั้นทดสอบข้อมูลการทดสอบของโฟลด์ตามลำดับและในที่สุดก็เฉลี่ยความแม่นยำของทุกเท่า วิธีใดที่ถูกต้องสำหรับการตรวจสอบข้าม ขอบคุณมาก.

14 cross-validation  optimization  parameterization 

โดยปกติแล้วในการถดถอยโลจิสติกเราพอดีแบบและได้รับการคาดการณ์ในชุดการฝึกอบรม จากนั้นเราจะตรวจสอบความถูกต้องของการคาดการณ์การฝึกอบรมเหล่านี้ (บางอย่างเช่นที่นี่ ) และตัดสินใจค่าเกณฑ์ที่เหมาะสมโดยพิจารณาจาก ROC curve ทำไมเราไม่รวมการตรวจสอบข้ามเขตแดนเข้ากับรูปแบบที่แท้จริงและฝึกอบรมทุกสิ่งตั้งแต่ต้นจนจบ

13 logistic  cross-validation  optimization  roc  threshold 

เมื่อเราประเมินคุณภาพของป่าสุ่มตัวอย่างเช่นใช้ AUC มีความเหมาะสมกว่าหรือไม่ในการคำนวณปริมาณเหล่านี้ผ่านตัวอย่าง Out of Bag หรือชุดตรวจสอบข้ามที่ถูกระงับไว้? ฉันได้ยินมาว่าการคำนวณมันผ่านตัวอย่าง OOB ให้การประเมินในแง่ร้ายมากกว่า แต่ฉันไม่เห็นสาเหตุ

13 cross-validation  random-forest  auc 

ฉันเพิ่งเสร็จสิ้น"รู้เบื้องต้นเกี่ยวกับการเรียนรู้ทางสถิติ" ฉันสงสัยว่าการใช้การตรวจสอบข้ามเพื่อค้นหาพารามิเตอร์การปรับที่ดีที่สุดสำหรับเทคนิคการเรียนรู้ของเครื่องที่แตกต่างจากการสอดแนมข้อมูลหรือไม่ เรากำลังตรวจสอบซ้ำ ๆ ว่าค่าของพารามิเตอร์การปรับค่าใดให้ผลลัพธ์การทำนายที่ดีที่สุดในชุดทดสอบ จะเกิดอะไรขึ้นถ้าพารามิเตอร์การปรับแต่งที่เรามาถึงนั้นเกิดขึ้นเพื่อให้เหมาะสมกับการทดสอบเฉพาะที่กำหนดโดยบังเอิญและจะไม่ทำงานได้ดีในชุดการทดสอบในอนาคต กรุณายกโทษให้ฉันเข้าใจสามเณรของการเรียนรู้ของเครื่องและฉันอยากได้รับการศึกษา แก้ไข: โปรดดูคำตอบ @AdamO เกี่ยวกับคำจำกัดความของ "data snooping" ฉันใช้คำนั้นไม่ถูกต้องในคำถามของฉัน

13 machine-learning  cross-validation 

เมื่อดำเนินการตรวจสอบความถูกต้องของ k-fold ฉันเข้าใจว่าคุณได้รับเมตริกความถูกต้องโดยการชี้ทั้งหมดในโฟลด์ยกเว้นที่หนึ่งในนั้นและทำการคาดคะเนแล้วทำการทำซ้ำขั้นตอนนี้ครั้ง จากนั้นคุณสามารถเรียกใช้ตัวชี้วัดความถูกต้องในทุกอินสแตนซ์ของคุณ (ความแม่นยำการเรียกคืนการจำแนก% อย่างถูกต้อง) ซึ่งควรจะเหมือนกับว่าคุณคำนวณแต่ละครั้งแล้วเฉลี่ยผลลัพธ์ (แก้ไขฉันถ้าฉันผิด)kkk ผลลัพธ์สุดท้ายที่คุณต้องการคือรุ่นสุดท้าย คุณเฉลี่ยโมเดลที่ได้รับเพื่อทำให้ชุดการทำนายของคุณจบลงด้วยโมเดลที่มีการวัดความแม่นยำที่ได้จากวิธีการข้างต้นหรือไม่kkk

13 cross-validation 

ฉันคิดว่าฉันเข้าใจว่าพื้นฐานของการบูตสแตรปทำงานอย่างไร แต่ฉันไม่แน่ใจว่าฉันเข้าใจว่าฉันสามารถใช้การบูตสแตรปเพื่อการเลือกรูปแบบหรือเพื่อหลีกเลี่ยงการ overfitting ได้อย่างไร ตัวอย่างเช่นสำหรับการเลือกแบบจำลองคุณจะเลือกแบบจำลองที่ให้ข้อผิดพลาดต่ำสุด (อาจแปรปรวนหรือไม่) ในตัวอย่างบูตสแตรป มีข้อความใดบ้างที่กล่าวถึงวิธีใช้การบูตสแตรปปิ้งสำหรับการเลือกรุ่นหรือการตรวจสอบความถูกต้อง? แก้ไข:ดูกระทู้นี้และคำตอบโดย @ mark999 สำหรับบริบทเพิ่มเติมหลังคำถามนี้

13 model-selection  cross-validation  bootstrap 

ฉันตั้งค่าการค้นหากริดสำหรับกลุ่มของพารามิเตอร์ ฉันกำลังพยายามหาพารามิเตอร์ที่ดีที่สุดสำหรับ Keras neural net ที่จัดหมวดหมู่แบบไบนารี เอาต์พุตเป็น 1 หรือ 0 มีคุณลักษณะประมาณ 200 รายการ เมื่อฉันทำการค้นหากริดฉันได้รับแบบจำลองมากมายและพารามิเตอร์ของพวกเขา แบบจำลองที่ดีที่สุดมีพารามิเตอร์เหล่านี้: Epochs : 20 Batch Size : 10 First Activation : sigmoid Learning Rate : 1 First Init : uniform และผลลัพธ์สำหรับโมเดลนั้นคือ: loss acc val_loss val_acc 1 0.477424 0.768542 0.719960 0.722550 2 0.444588 0.788861 0.708650 0.732130 3 …

13 machine-learning  cross-validation  deep-learning  tensorflow  theano 

ฉันใช้ Scikit เรียนรู้เพื่อดำเนินการถดถอยโลจิสติกด้วย crossvalidation ในชุดของข้อมูล (ประมาณ 14 พารามิเตอร์ด้วย> 7000 การสังเกตปกติ) ฉันยังมีตัวจําแนกเป้าหมายที่มีค่าเป็น 1 หรือ 0 ปัญหาที่ฉันมีคือไม่ว่าจะใช้ตัวแก้ปัญหาแบบใดฉันก็จะได้รับคำเตือนการลู่เข้า ... model1 = linear_model.LogisticRegressionCV(cv=10,verbose=1,n_jobs=-1,scoring='roc_auc',solver='newton-cg',penalty='l2') /home/b/anaconda/lib/python2.7/site-packages/scipy/optimize/linesearch.py:285: LineSearchWarning: The line search algorithm did not converge warn('The line search algorithm did not converge', LineSearchWarning) /home/b/anaconda/lib/python2.7/site-packages/sklearn/utils/optimize.py:193: UserWarning: Line Search failed model2 = linear_model.LogisticRegressionCV(cv=10,verbose=1,n_jobs=-1,scoring='roc_auc',solver='sag',penalty='l2') max_iter reached after 2 seconds max_iter …

13 logistic  cross-validation  scikit-learn 

อะไรคือวิธีเลือกเคอร์เนลที่จะส่งผลให้มีการแยกข้อมูลที่ดีในเอาต์พุตข้อมูลขั้นสุดท้ายโดย kernel PCA (การวิเคราะห์องค์ประกอบหลัก) และวิธีใดที่จะปรับพารามิเตอร์ของเคอร์เนลให้เหมาะสม? เงื่อนไขของคนธรรมดาถ้าเป็นไปได้จะได้รับการชื่นชมอย่างมากและการเชื่อมโยงไปยังเอกสารที่อธิบายวิธีการดังกล่าวก็จะดี

13 pca  cross-validation  dimensionality-reduction  kernel-trick  manifold-learning 

คำถาม: การ บูตสแตรปจะดีกว่าการใช้แม่แรง อย่างไรก็ตามฉันสงสัยว่ามีบางกรณีที่ jackknifing เป็นตัวเลือกเดียวหรืออย่างน้อยที่เป็นไปได้สำหรับการจำแนกลักษณะความไม่แน่นอนจากการประมาณค่าพารามิเตอร์ นอกจากนี้ในสถานการณ์จริงที่ว่าวิธีการลำเอียง / คลาดเคลื่อนนั้นมีความสัมพันธ์กับการบีบรัดและความสามารถในการให้ความรู้เบื้องต้นก่อนการพัฒนา bootstrap ที่ซับซ้อนมากขึ้น? บริบทบางอย่าง: เพื่อนกำลังใช้อัลกอริทึมการเรียนรู้เครื่องดำ ( MaxEnt ) เพื่อจำแนกข้อมูลทางภูมิศาสตร์ที่เป็น "การแสดงตนเท่านั้น" หรือ "การบวกเท่านั้น" การประเมินรูปแบบทั่วไปโดยทั่วไปจะใช้ cross-validation และ ROC curves อย่างไรก็ตามเธอใช้เอาต์พุตของโมเดลเพื่อรับรายละเอียดตัวเลขเดียวของเอาต์พุตโมเดลและต้องการช่วงความมั่นใจรอบหมายเลขนั้น Jackknifing ดูเหมือนจะเป็นวิธีที่เหมาะสมในการอธิบายลักษณะของความไม่แน่นอนเกี่ยวกับค่านี้ การเริ่มการบูตไม่เกี่ยวข้องเนื่องจากจุดข้อมูลแต่ละจุดเป็นตำแหน่งที่ไม่ซ้ำกันบนแผนที่ที่ไม่สามารถสุ่มตัวอย่างได้ด้วยการแทนที่ โปรแกรมการสร้างแบบจำลองของตัวเองอาจจะสามารถให้สิ่งที่เธอต้องการในที่สุด; อย่างไรก็ตามฉันสนใจโดยทั่วไปหาก / เมื่อ jackknifing มีประโยชน์

12 machine-learning  cross-validation  bootstrap  maximum-entropy  jackknife 

ขณะนี้ฉันกำลังพยายามวิเคราะห์ชุดข้อความเอกสารที่ไม่มีความจริง มีคนบอกฉันว่าคุณสามารถใช้การตรวจสอบความถูกต้องข้ามของ k-fold เพื่อเปรียบเทียบวิธีการจัดกลุ่มที่แตกต่างกัน อย่างไรก็ตามตัวอย่างที่ฉันเห็นในอดีตใช้ความจริงพื้นฐาน มีวิธีใช้ k-fold ในชุดข้อมูลนี้เพื่อตรวจสอบผลลัพธ์ของฉันหรือไม่?

12 machine-learning  clustering  cross-validation  unsupervised-learning