คำถามติดแท็ก overfitting

ฉันสร้างcorr()df จาก df ดั้งเดิม corr()DF ออก 70 X 70 มาและมันเป็นไปไม่ได้ที่จะเห็นภาพ heatmap ส sns.heatmap(df)... ถ้าฉันพยายามที่จะแสดงcorr = df.corr()ตารางที่ไม่พอดีกับหน้าจอและฉันสามารถดูความสัมพันธ์ทั้งหมด มันเป็นวิธีที่จะพิมพ์ทั้งdfโดยไม่คำนึงถึงขนาดของมันหรือเพื่อควบคุมขนาดของ heatmap หรือไม่?

17 visualization  pandas  plotting  machine-learning  neural-network  svm  decision-trees  svm  efficiency  python  linear-regression  machine-learning  nlp  topic-model  lda  named-entity-recognition  naive-bayes-classifier  association-rules  fuzzy-logic  kaggle  deep-learning  tensorflow  inception  classification  feature-selection  feature-engineering  machine-learning  scikit-learn  tensorflow  keras  encoding  nlp  text-mining  nlp  rnn  python  neural-network  feature-extraction  machine-learning  predictive-modeling  python  r  linear-regression  clustering  r  ggplot2  neural-network  neural-network  training  python  neural-network  deep-learning  rnn  predictive-modeling  databases  sql  programming  distribution  dataset  cross-validation  neural-network  deep-learning  rnn  machine-learning  machine-learning  python  deep-learning  data-mining  tensorflow  visualization  tools  sql  embeddings  orange  feature-extraction  unsupervised-learning  gan  machine-learning  python  data-mining  pandas  machine-learning  data-mining  bigdata  apache-spark  apache-hadoop  deep-learning  python  convnet  keras  aggregation  clustering  k-means  r  random-forest  decision-trees  reference-request  visualization  data  pandas  plotting  neural-network  keras  rnn  theano  deep-learning  tensorflow  inception  predictive-modeling  deep-learning  regression  sentiment-analysis  nlp  encoding  deep-learning  python  scikit-learn  lda  convnet  keras  predictive-modeling  regression  overfitting  regression  svm  prediction  machine-learning  similarity  word2vec  information-retrieval  word-embeddings  neural-network  deep-learning  rnn 

ฉันมีโมเดล + LSTM แบบ convolutional ใน Keras คล้ายกับที่นี่ (อ้างอิง 1) ที่ฉันใช้สำหรับการแข่งขัน Kaggle สถาปัตยกรรมที่แสดงด้านล่าง ฉันได้ฝึกมันในชุดตัวอย่างที่มีป้ายกำกับของฉัน 11000 ตัวอย่าง (สองคลาสความชุกเริ่มต้นคือ ~ 9: 1 ดังนั้นฉันจึงเพิ่ม 1 ต่อ 1 เป็นอัตราส่วน 1/1) สำหรับ 50 epochs ที่มีการตรวจสอบความถูกต้อง 20% ชั่วครู่หนึ่ง แต่ฉันคิดว่ามันสามารถควบคุมเสียงและเลเยอร์กลางคันได้ แบบจำลองดูเหมือนว่าจะเป็นการฝึกอบรมที่ยอดเยี่ยมในตอนท้ายได้คะแนน 91% จากชุดฝึกอบรมทั้งหมด แต่เมื่อทดสอบชุดข้อมูลการทดสอบแล้วขยะสมบูรณ์ ข้อสังเกต: ความแม่นยำในการตรวจสอบความถูกต้องสูงกว่าความแม่นยำในการฝึกอบรม นี่คือสิ่งที่ตรงกันข้ามกับการ overfitting "ทั่วไป" ปรีชาญาณของฉันคือเมื่อแยกการตรวจสอบความถูกต้องของไอซ์เล็กโมเดลยังคงจัดการเพื่อให้พอดีกับชุดอินพุตและการสูญเสียลักษณะทั่วไปมากเกินไป เบาะแสอื่น ๆ คือ val_acc นั้นดีกว่ามาตรฐานดูเหมือนว่าคาว นั่นเป็นสถานการณ์ที่เป็นไปได้มากที่สุดที่นี่ใช่ไหม หากสิ่งนี้มากเกินไปจะเพิ่มการแยกการตรวจสอบที่ลดลงทั้งหมดหรือฉันจะพบปัญหาเดียวกันเนื่องจากโดยเฉลี่ยแต่ละตัวอย่างจะเห็นครึ่งยุคทั้งหมดยังคงอยู่หรือไม่ …

12 keras  cross-validation  overfitting 

ฉันหวังว่าข้อความที่ตัดตอนมาต่อไปนี้จะให้ข้อมูลเชิงลึกเกี่ยวกับสิ่งที่คำถามของฉันจะเป็น เหล่านี้มาจากhttp://neuralnetworksanddeeplearning.com/chap3.html การเรียนรู้จะค่อยๆช้าลง ในที่สุดเมื่อประมาณ 280 ยุคความแม่นยำในการจัดหมวดหมู่ก็ค่อนข้างดีขึ้น หลังจากนั้นก็เห็นความผันผวนเล็ก ๆ ใกล้เคียงกับค่าความถูกต้องที่ยุค 280 ตัดกันสิ่งนี้กับกราฟก่อนหน้าซึ่งค่าใช้จ่ายที่เกี่ยวข้องกับข้อมูลการฝึกอบรมยังคงลดลงอย่างราบรื่น หากเราเพียงแค่ดูค่าใช้จ่ายนั้นปรากฏว่าโมเดลของเรายังคง "ดีขึ้น" แต่ผลการทดสอบความแม่นยำแสดงว่าการปรับปรุงเป็นภาพลวงตา เช่นเดียวกับรุ่นที่ Fermi ไม่ชอบสิ่งที่เครือข่ายของเราเรียนรู้หลังจากยุค 280 ไม่ได้สรุปข้อมูลการทดสอบอีกต่อไป ดังนั้นการเรียนรู้จึงไม่มีประโยชน์ เราบอกว่าเครือข่ายกำลัง overfitting หรือ overtraining เกินยุค 280 เรากำลังฝึกอบรมเครือข่ายประสาทและค่าใช้จ่าย (จากข้อมูลการฝึกอบรม) ลดลงจนถึงยุค 400 แต่ความถูกต้องของการจัดหมวดหมู่กลายเป็นแบบคงที่ (ยกเว้นความผันผวนสุ่มเล็กน้อย) หลังจากยุค 280 ดังนั้นเราจึงสรุปได้ว่า เราสามารถเห็นได้ว่าค่าใช้จ่ายในข้อมูลการทดสอบเพิ่มขึ้นจนถึงราว ๆ ยุค 15 แต่หลังจากนั้นมันก็เริ่มแย่ลงถึงแม้ว่าค่าใช้จ่ายในข้อมูลการฝึกอบรมจะดีขึ้นเรื่อย ๆ นี่เป็นอีกสัญญาณว่าโมเดลของเรากำลัง overfitting มันเป็นปริศนาที่ว่าเราควรพิจารณายุค 15 หรือยุค 280 ว่าเป็นจุดที่ overfitting กำลังเข้าครอบงำการเรียนรู้หรือไม่ …

12 neural-network  overfitting 

ฉันเพิ่งเสร็จสิ้นการเรียนรู้ของเครื่องสำหรับหลักสูตร R ใน cognitiveclass.ai และได้เริ่มทำการทดลองด้วยการสุ่ม ฉันสร้างแบบจำลองโดยใช้ไลบรารี่ "randomForest" ในอาร์โมเดลแบ่งเป็นสองคลาสคือดีและไม่ดี ฉันรู้ว่าเมื่อแบบจำลองมีความเหมาะสมมากเกินไปมันทำงานได้ดีกับข้อมูลจากชุดฝึกอบรมของตัวเอง แต่มีข้อมูลที่ไม่อยู่ในเกณฑ์ตัวอย่าง ในการฝึกอบรมและทดสอบแบบจำลองของฉันฉันได้สับและแยกชุดข้อมูลที่สมบูรณ์เป็น 70% สำหรับการฝึกอบรมและ 30% สำหรับการทดสอบ คำถามของฉัน: ฉันได้รับความแม่นยำ 100% จากการทำนายที่ทำไว้ในชุดการทดสอบ มันแย่ใช่ไหม? ดูเหมือนดีเกินกว่าที่จะเป็นจริง วัตถุประสงค์คือการจดจำรูปแบบของคลื่นในสี่ซึ่งกันและกันขึ้นอยู่กับรูปคลื่น คุณสมบัติของชุดข้อมูลนั้นเป็นผลจากต้นทุนของการวิเคราะห์สัญญาณเวลาแบบไดนามิกของรูปคลื่นด้วยรูปคลื่นเป้าหมาย

11 r  random-forest  prediction  overfitting