คำถามติดแท็ก overfitting

มีคำจำกัดความทางคณิตศาสตร์หรืออัลกอริธึมเกี่ยวกับการบรรจุมากเกินไปหรือไม่? คำจำกัดความที่มีให้บ่อยครั้งคือพล็อต 2-D แบบคลาสสิกของจุดที่มีเส้นที่ผ่านทุกจุดและเส้นโค้งการสูญเสียการตรวจสอบจะขึ้นไป แต่มีนิยามที่เข้มงวดทางคณิตศาสตร์หรือไม่?

18 mathematical-statistics  optimization  overfitting 

ถ้าฉันมีข้อมูลและฉันเรียกใช้การจำแนกประเภท (สมมติว่าฟอเรสต์แบบสุ่มบนข้อมูลนี้) ด้วยการตรวจสอบความถูกต้องข้าม (สมมติ 5 เท่า) ฉันจะสรุปได้ไหมว่าไม่มีวิธีที่เหมาะสมกว่าในวิธีการของฉัน

17 cross-validation  overfitting 

ในขณะที่ผลลัพธ์ของชุดทดสอบส่วนตัวไม่สามารถใช้ในการปรับแต่งโมเดลเพิ่มเติมได้ แต่การเลือกรุ่นจากโมเดลจำนวนมากที่ดำเนินการตามผลลัพธ์ของชุดทดสอบส่วนตัวไม่ใช่หรือไม่ คุณจะไม่ผ่านกระบวนการนั้นเพียงอย่างเดียวจบลงด้วยการ overfitting ชุดทดสอบส่วนตัวหรือไม่? ตามที่"Pseudo-Mathematics และ Charlatanism การเงิน: ผลกระทบของการ Overtitting Backtest ต่อประสิทธิภาพออกตัวอย่าง" โดย Bailey et.al มันค่อนข้างง่ายที่จะ "overfit" เมื่อเลือกสิ่งที่ดีที่สุดจากโมเดลจำนวนมากที่ประเมินในชุดข้อมูลเดียวกัน นั่นไม่ได้เกิดขึ้นกับลีดเดอร์บอร์ดส่วนตัวของ Kaggle ใช่ไหม อะไรคือเหตุผลทางสถิติสำหรับโมเดลที่มีประสิทธิภาพดีที่สุดบนลีดเดอร์บอร์ดส่วนตัวซึ่งเป็นโมเดลที่สรุปข้อมูลที่ดีที่สุดออกมาจากตัวอย่าง? จริง ๆ แล้ว บริษัท ต่างๆใช้แบบจำลองที่ชนะหรือมีกระดานผู้นำส่วนตัวเพียงเพื่อให้ "กฎของเกม" และ บริษัท ต่าง ๆ ให้ความสนใจในข้อมูลเชิงลึกที่เกิดขึ้นจากการอภิปรายของปัญหาจริง ๆ หรือไม่

16 model-selection  overfitting  out-of-sample 

ลองพิจารณาปัญหาเกี่ยวกับการจำแนกชุดข้อมูล MNIST ตามหน้าเว็บ MNIST ของ Yann LeCun , 'Ciresan et al.' ได้รับอัตราความผิดพลาด 0.23% สำหรับชุดทดสอบ MNIST โดยใช้ Convolutional Neural Network การฝึกอบรมชุดแสดงว่า MNIST Let 's เป็น , MNIST ชุดทดสอบเป็นD ทีอีs Tสมมติฐานสุดท้ายที่พวกเขาได้ใช้D T r ฉันnเป็นเอช1และอัตราความผิดพลาดของพวกเขาใน MNIST ทดสอบตั้งค่าการใช้เอช1เป็นอีทีอีs T ( เอช1 ) = 0.0023DtrainDtrainD_{train}DtestDtestD_{test}DtrainDtrainD_{train}h1h1h_{1}h1h1h_{1}Etest(h1)=0.0023Etest(h1)=0.0023E_{test}(h_{1}) = 0.0023 ในมุมมองของพวกเขาเนื่องจากถูกสุ่มตัวอย่างชุดทดสอบจากพื้นที่อินพุตโดยไม่คำนึงถึงh 1พวกเขาสามารถยืนยันได้ว่าประสิทธิภาพข้อผิดพลาดนอกตัวอย่างของสมมติฐานสุดท้ายของพวกเขาE o u t ( h 1 …

16 machine-learning  classification  overfitting  probability-inequalities 

สมมติว่าเรามีแบบจำลอง mod <- Y ~ X*Condition + (X*Condition|subject) # Y = logit variable # X = continuous variable # Condition = values A and B, dummy coded; the design is repeated # so all participants go through both Conditions # subject = random effects for different subjects summary(model) Random effects: …

16 mixed-model  lme4-nlme  overfitting  singular 

ฉันค่อนข้างใหม่สำหรับป่าสุ่ม ในอดีตฉันมักจะเปรียบเทียบความถูกต้องของการพอดีกับการทดสอบเทียบกับการพอดีกับรถไฟเพื่อตรวจจับการ overfitting ใด ๆ แต่ฉันเพิ่งอ่านที่นี่ว่า: "ในฟอเรสต์แบบสุ่มไม่จำเป็นต้องมีการตรวจสอบความถูกต้องไขว้หรือชุดการทดสอบแยกต่างหากเพื่อรับการประมาณค่าที่ผิดพลาดของข้อผิดพลาดของชุดการทดสอบ วรรคเล็ก ๆ ข้างต้นสามารถพบได้ภายใต้ออกจากกระเป๋า (OOB) ข้อผิดพลาดประมาณการมาตรา แนวคิดเรื่อง Out of Bag Error นี้ใหม่สำหรับฉันอย่างสมบูรณ์และสิ่งที่สับสนเล็กน้อยคือข้อผิดพลาด OOB ในแบบจำลองของฉันคือ 35% (หรือความแม่นยำ 65%) แต่ถ้าฉันใช้การตรวจสอบความถูกต้องข้ามกับข้อมูลของฉัน วิธีการ) และเปรียบเทียบทั้งพอดีกับการทดสอบเทียบกับพอดีกับรถไฟฉันได้รับความแม่นยำ 65% และความแม่นยำ 96% ตามลำดับ จากประสบการณ์ของฉันนี่ถือเป็นการ overfitting แต่ OOB ถือข้อผิดพลาด 35% เช่นเดียวกับข้อผิดพลาดการทดสอบพอดีของฉัน ฉันกำลัง overfitting หรือไม่ ฉันควรจะใช้การตรวจสอบความถูกต้องข้ามเพื่อตรวจสอบการกำหนดราคาสูงเกินไปในป่าที่มีการสุ่มหรือไม่? ในระยะสั้นฉันไม่แน่ใจว่าฉันควรเชื่อถือ OOB เพื่อรับข้อผิดพลาดที่เป็นกลางของข้อผิดพลาดของชุดทดสอบเมื่อฉันพอดีกับรถไฟแสดงให้เห็นว่าฉันกำลังล้น!

15 cross-validation  random-forest  overfitting 

ขณะนี้ฉันกำลังปรับฟอเรสต์แบบสุ่มสำหรับปัญหาการจำแนกประเภทโดยใช้randomForestแพ็คเกจใน R และไม่แน่ใจเกี่ยวกับวิธีรายงานข้อผิดพลาดในการฝึกอบรมสำหรับโมเดลเหล่านี้ ข้อผิดพลาดในการฝึกอบรมของฉันใกล้เคียงกับ 0% เมื่อฉันคำนวณโดยใช้การคาดการณ์ที่ฉันได้รับจากคำสั่ง: predict(model, data=X_train) ที่X_trainเป็นข้อมูลการฝึกอบรม ในคำตอบของคำถามที่เกี่ยวข้องฉันอ่านว่าควรใช้ข้อผิดพลาดการฝึกอบรมนอกกระเป๋า (OOB) เป็นตัวชี้วัดข้อผิดพลาดการฝึกอบรมสำหรับฟอเรสต์แบบสุ่ม ปริมาณนี้คำนวณจากการทำนายที่ได้จากคำสั่ง: predict(model) ในกรณีนี้ข้อผิดพลาดในการฝึกอบรมของ OOB นั้นใกล้กับข้อผิดพลาดในการทดสอบ 10-CV เฉลี่ยซึ่งมากถึง 11% ฉันสงสัย: เป็นที่ยอมรับกันโดยทั่วไปในการรายงานข้อผิดพลาดการฝึกอบรมของ OOB ว่าเป็นข้อผิดพลาดในการฝึกอบรมสำหรับป่าสุ่มหรือไม่? ความจริงที่ว่าข้อผิดพลาดในการฝึกอบรมแบบดั้งเดิมนั้นต่ำเกินจริงหรือไม่? หากข้อผิดพลาดในการฝึกอบรมแบบดั้งเดิมอยู่ในระดับต่ำมาก ๆ ฉันจะเปรียบเทียบได้สองวิธีเพื่อตรวจสอบว่า RF กำลังเกินขนาดหรือไม่

15 r  machine-learning  classification  random-forest  overfitting 

ฉันเคยได้ยินนิพจน์ต่อไปนี้มาก่อน: "การเพิ่มประสิทธิภาพเป็นรากฐานของความชั่วร้ายทั้งหมดในสถิติ" ตัวอย่างเช่นคำตอบที่ดีที่สุดในหัวข้อนี้ทำให้คำสั่งนั้นอ้างอิงถึงอันตรายของการปรับให้เหมาะสมเกินไปในระหว่างการเลือกแบบจำลอง คำถามแรกของฉันคือต่อไปนี้: คำพูดนี้เป็นของใครโดยเฉพาะ? (เช่นในเอกสารสถิติ) จากสิ่งที่ฉันเข้าใจข้อความดังกล่าวหมายถึงความเสี่ยงของการมีน้ำหนักเกิน ภูมิปัญญาดั้งเดิมจะบอกว่าการตรวจสอบข้ามที่เหมาะสมได้ต่อสู้กับปัญหานี้อยู่แล้ว แต่ดูเหมือนว่าปัญหานี้จะมีมากกว่านั้น นักสถิติและผู้ปฏิบัติงาน ML ควรระมัดระวังในการเพิ่มประสิทธิภาพโมเดลของพวกเขาแม้ในขณะที่ปฏิบัติตามโปรโตคอลการตรวจสอบข้ามที่เข้มงวด (เช่น 100 ซ้อน CV 10 เท่า) ถ้าเป็นเช่นนั้นเราจะรู้ได้อย่างไรว่าเมื่อไรที่จะหยุดการค้นหานางแบบ "ดีที่สุด"?

14 cross-validation  optimization  overfitting 

เมื่อคุณเป็นคนหนึ่งในการทำงานตระหนักถึงสิ่งที่คุณกำลังทำอยู่คุณพัฒนาความรู้สึกเมื่อคุณมีแบบจำลองที่พอดี สิ่งหนึ่งที่คุณสามารถติดตามแนวโน้มหรือการเสื่อมสภาพได้ใน Adjusted R Square ของโมเดล คุณสามารถติดตามการเสื่อมสภาพที่คล้ายกันในค่า p ของสัมประสิทธิ์การถดถอยของตัวแปรหลัก แต่เมื่อคุณเพิ่งอ่านคนอื่นศึกษาและคุณไม่มีความเข้าใจในกระบวนการพัฒนาแบบจำลองภายในของพวกเขาเองคุณจะสามารถตรวจพบอย่างชัดเจนว่าแบบจำลองนั้นเหมาะสมหรือไม่อย่างไร

14 regression  multivariate-analysis  overfitting 

ดูเหมือนว่าจะมีคำแนะนำที่ขัดแย้งกันเกี่ยวกับวิธีจัดการเปรียบเทียบข้อผิดพลาดของรถไฟและการทดสอบโดยเฉพาะเมื่อมีช่องว่างระหว่างทั้งสอง ดูเหมือนจะมีโรงเรียนแห่งความคิดสองแห่งสำหรับฉันดูเหมือนจะขัดแย้งกัน ฉันกำลังมองหาที่จะเข้าใจวิธีการกระทบยอดทั้งสอง (หรือเข้าใจสิ่งที่ฉันหายไปที่นี่) ความคิด # 1: ช่องว่างระหว่างรถไฟและประสิทธิภาพของชุดการทดสอบเพียงอย่างเดียวไม่ได้บ่งบอกถึงการมีน้ำหนักเกิน ก่อนอื่น (กล่าวถึงที่นี่: การเปรียบเทียบการฝึกอบรมและการทดสอบข้อผิดพลาดจะบ่งบอกถึงการมีน้ำหนักเกินได้อย่างไร ) แนวคิดที่ว่าความแตกต่างระหว่างรถไฟและชุดทดสอบเพียงอย่างเดียวไม่สามารถบ่งบอกถึงการล้นได้ สิ่งนี้เห็นด้วยกับประสบการณ์การใช้งานจริงของฉันตัวอย่างเช่นวิธีต้นไม้ทั้งมวลซึ่งแม้หลังจากการปรับแต่งพารามิเตอร์แบบไฮเปอร์ครอสข้ามการตรวจสอบข้ามช่องว่างระหว่างข้อผิดพลาดรถไฟและการทดสอบอาจยังคงค่อนข้างใหญ่ แต่ (โดยไม่คำนึงถึงประเภทของรุ่น) ตราบใดที่คุณตรวจสอบความผิดพลาดไม่ได้กลับมาคุณก็ดี อย่างน้อยนั่นคือความคิด ความคิด # 2: เมื่อคุณเห็นช่องว่างระหว่างรถไฟและประสิทธิภาพการทดสอบ: ทำสิ่งต่าง ๆ ที่จะต่อสู้กับการมีน้ำหนักเกิน อย่างไรก็ตามมีคำแนะนำที่คุณเห็นจากแหล่งข้อมูลที่ดีมากซึ่งชี้ให้เห็นว่าช่องว่างระหว่างรถไฟกับข้อผิดพลาดในการทดสอบนั้นบ่งบอกถึงการมีน้ำหนักเกิน นี่คือตัวอย่าง: การพูดคุยเรื่อง "นัทและโบลต์แห่งการเรียนรู้ลึก" โดย Andrew Ng (การพูดคุยที่ยอดเยี่ยม) https://www.youtube.com/watch?v=F1ka6a13S9Iที่เวลาประทับ 48:00 เขาวาดแผนภูมิการไหล ที่ระบุว่า "ถ้าข้อผิดพลาดชุดรถไฟของคุณต่ำและข้อผิดพลาดชุด Train-dev ของคุณสูงคุณควรเพิ่มการทำให้เป็นปกติรับข้อมูลเพิ่มเติมหรือเปลี่ยนสถาปัตยกรรมแบบจำลอง" ... ซึ่งเป็นการกระทำทั้งหมดที่คุณอาจต้องต่อสู้เพื่อเอาชนะ สิ่งใดที่ทำให้ฉัน ... : ฉันคิดถึงบางสิ่งที่นี่หรือไม่ นี่เป็นกฎเฉพาะของโมเดลหรือไม่ (โดยทั่วไปแล้วโมเดลที่เรียบง่ายกว่าจะมีช่องว่างระหว่างรถไฟและการทดสอบน้อยกว่า) หรือไม่? หรือว่ามีโรงเรียนแห่งความคิดที่แตกต่างกันสองแห่ง?

14 cross-validation  overfitting 

คำถามหลักของฉันคือการพยายามเข้าใจว่าการตรวจสอบข้าม k-fold เหมาะสมกับบริบทของการมีชุดฝึกอบรม / ตรวจสอบ / ทดสอบได้อย่างไร (ถ้าเหมาะสมในบริบทดังกล่าว) โดยทั่วไปแล้วผู้คนพูดถึงการแยกข้อมูลออกเป็นชุดฝึกอบรมการตรวจสอบความถูกต้องและการทดสอบ - พูดในอัตราส่วน 60/20/20 ต่อหลักสูตรของ Andrew Ng โดยชุดการตรวจสอบจะใช้เพื่อระบุพารามิเตอร์ที่เหมาะสมสำหรับการฝึกอบรมแบบจำลอง อย่างไรก็ตามหากต้องการใช้การตรวจสอบความถูกต้องข้ามแบบพับของ k-fold โดยหวังว่าจะได้รับการวัดความแม่นยำของตัวแทนมากขึ้นเมื่อปริมาณข้อมูลมีขนาดค่อนข้างเล็กสิ่งที่การตรวจสอบความถูกต้องไขว้แบบ k-fold นั้น สถานการณ์? ตัวอย่างเช่นนั่นหมายความว่าเราจะรวมชุดการฝึกอบรมและการทดสอบจริง ๆ (80% ของข้อมูล) และทำการตรวจสอบความถูกต้องด้วย k-fold เพื่อให้ได้การวัดความถูกต้องของเรา (ทิ้งอย่างมีประสิทธิภาพด้วยชุดทดสอบ ถ้าเป็นเช่นนั้นเราใช้โมเดล a) ในการผลิตและ b) เพื่อใช้กับชุดการตรวจสอบความถูกต้องและระบุพารามิเตอร์การฝึกอบรมที่เหมาะสมที่สุด? ตัวอย่างเช่นคำตอบหนึ่งที่เป็นไปได้สำหรับ a และ b อาจใช้โมเดลที่ดีที่สุด

14 cross-validation  dataset  overfitting 

ในความคิดของฉันข้อมูลที่สัมพันธ์กันจะต้องนำไปสู่การ overfitting ในเครือข่ายประสาทเพราะเครือข่ายเรียนรู้ความสัมพันธ์เช่นเสียงในข้อมูล ถูกต้องหรือไม่

13 correlation  neural-networks  overfitting 

ฉันกำลังสร้างแบบจำลอง 15000 ทวีตสำหรับการคาดการณ์ความเชื่อมั่นโดยใช้เลเยอร์ LSTM เดียวกับหน่วยที่ซ่อนอยู่ 128 หน่วยโดยใช้การแทนคำที่เหมือนคำ 2vec ด้วย 80 มิติ ฉันได้รับความแม่นยำในการสืบเชื้อสาย (38% กับการสุ่ม = 20%) หลังจาก 1 ยุค การฝึกอบรมเพิ่มเติมทำให้ความถูกต้องในการตรวจสอบความถูกต้องเริ่มลดลงเนื่องจากความแม่นยำในการฝึกอบรมเริ่มขึ้น ฉันจึงคิดหาวิธีที่จะทำให้เป็นมาตรฐาน ฉันไม่ต้องการลดจำนวนหน่วยที่ซ่อนอยู่ (128 หน่วยดูเหมือนน้อยไปแล้ว) ขณะนี้ฉันใช้การออกกลางคันด้วยความน่าจะเป็น 50% แต่อาจเพิ่มขึ้นได้ เครื่องมือเพิ่มประสิทธิภาพคืออดัมพร้อมพารามิเตอร์เริ่มต้นสำหรับ Keras ( http://keras.io/optimizers/#adam ) วิธีที่มีประสิทธิภาพในการลดการ overfitting สำหรับโมเดลนี้ในชุดข้อมูลของฉันคืออะไร?

13 deep-learning  regularization  overfitting  lstm 

นี่คือคำถามเกี่ยวกับปรัชญา แต่ฉันสนใจว่าคนอื่น ๆ มีประสบการณ์มากขึ้นคิดอย่างไรเกี่ยวกับการเลือกการกระจาย ในบางกรณีดูเหมือนชัดเจนว่าทฤษฎีอาจทำงานได้ดีที่สุด (ความยาวหางของหนูจะกระจายตามปกติ) ในหลายกรณีอาจไม่มีทฤษฎีที่จะอธิบายชุดข้อมูลดังนั้นคุณเพียงใช้สิ่งที่เหมาะกับสิ่งที่คุณมีค่อนข้างดีโดยไม่คำนึงถึงสิ่งที่มันถูกพัฒนาขึ้นเพื่ออธิบาย? ฉันสามารถจินตนาการถึงข้อผิดพลาดบางอย่างของการไปกับสิ่งเหล่านี้และแน่นอนว่าดูเหมือนว่าจะมีปัญหาที่บางทีคุณควรใช้การกระจายเชิงประจักษ์ถ้าคุณไม่มีความคิด ดังนั้นฉันเดาสิ่งที่ฉันถามจริง ๆ : มีใครบางคนมีวิธีติดต่อกัน / คิดเกี่ยวกับปัญหานี้หรือไม่? และมีทรัพยากรใดบ้างที่คุณสามารถแนะนำได้ว่าให้การปฏิบัติที่ดีต่อสิ่งนี้?

12 distributions  overfitting  heuristic 

ในหนังสือ PRML ของบิชอปเขากล่าวว่าการให้ข้อมูลมากเกินไปเป็นปัญหากับการประมาณความน่าจะเป็นสูงสุด (MLE) และ Bayesian สามารถหลีกเลี่ยงได้ แต่ฉันคิดว่าการ overfitting เป็นปัญหาเพิ่มเติมเกี่ยวกับการเลือกแบบจำลองไม่ใช่วิธีการที่ใช้ในการประมาณค่าพารามิเตอร์ นั่นคือสมมติว่าฉันมีชุดข้อมูลซึ่งสร้างขึ้นผ่านตอนนี้ฉันอาจเลือกรุ่นที่แตกต่างเพื่อให้พอดีกับข้อมูลและค้นหา อันไหนดีที่สุด และโมเดลที่อยู่ในการพิจารณาคือพหุนามที่มีคำสั่งต่างกันคือคำสั่ง 1,คือคำสั่ง 2,คือคำสั่ง 9DDDf(x)=sin(x),x∈[0,1]f(x)=sin(x),x∈[0,1]f(x)=sin(x),\;x\in[0,1]HiHiH_iH1H1H_1H2H2H_2H3H3H_3 ตอนนี้ผมพยายามที่จะพอดีกับข้อมูลด้วยกัน 3 รุ่นแต่ละรุ่นมีพารามิเตอร์ของตนแสดงเป็นสำหรับH_iDDDwiwiw_iHiHiH_i ใช้ ML ผมจะมีการประมาณการจุดพารามิเตอร์แบบและง่ายเกินไปและจะเสมอ underfit ข้อมูลในขณะที่ซับซ้อนเกินไปและจะ overfit ข้อมูลเพียงจะพอดีกับข้อมูลที่ดีwwwH1H1H_1H3H3H_3H2H2H_2 คำถามของฉันคือ 1) รุ่นจะทำให้ข้อมูลเหมาะสม แต่ฉันไม่คิดว่ามันเป็นปัญหาของ ML แต่เป็นปัญหาของรุ่นต่อ se เนื่องจากการใช้ ML สำหรับจึงไม่ส่งผลให้เกิดการโอเวอร์โหลด ฉันถูกไหม?H3H3H_3H1,H2H1,H2H_1,H_2 2) เมื่อเปรียบเทียบกับ Bayesian แล้ว ML จะมีข้อเสียเนื่องจากมันเพิ่งจะให้ค่าประมาณของพารามิเตอร์แบบจำลองและมันเกินความจริง ในขณะที่ Bayesian ไม่ได้พึ่งเพียงค่าที่เป็นไปได้มากที่สุดของพารามิเตอร์ แต่ค่าที่เป็นไปได้ทั้งหมดของพารามิเตอร์ที่กำหนดจากข้อมูลที่สังเกตใช่ไหม?wwwDDD 3) เหตุใด Bayesian …

12 bayesian  model-selection  overfitting