คำถามติดแท็ก cross-validation

AIC และ BIC เป็นทั้งสองวิธีในการประเมินแบบจำลองที่ถูกลงโทษสำหรับจำนวนพารามิเตอร์โดยประมาณ ดังที่ฉันเข้าใจ BIC จะลงโทษโมเดลสำหรับพารามิเตอร์ฟรีมากกว่า AIC นอกเหนือจากการตั้งค่าตามความเข้มงวดของเกณฑ์แล้วมีเหตุผลอื่นอีกไหมที่จะชอบ AIC มากกว่า BIC หรือในทางกลับกัน?

222 modeling  aic  cross-validation  bic  model-selection 

ฉันสงสัยว่าจะเลือกแบบจำลองการทำนายได้อย่างไรหลังจากทำการตรวจสอบความถูกต้องข้ามแบบ K-fold นี่อาจเป็นประโยคที่เชื่องช้าดังนั้นให้ฉันอธิบายรายละเอียดเพิ่มเติม: เมื่อใดก็ตามที่ฉันรันการตรวจสอบความถูกต้องข้าม K-fold ฉันใช้ K ชุดย่อยของข้อมูลการฝึกอบรมและจบลงด้วย K โมเดลที่แตกต่างกัน ฉันอยากรู้วิธีเลือกหนึ่งในรุ่น K เพื่อที่ฉันจะได้นำเสนอให้ใครบางคนและพูดว่า "นี่เป็นรุ่นที่ดีที่สุดที่เราสามารถผลิตได้" ตกลงไหมที่จะเลือกรุ่นใดรุ่นหนึ่ง K? หรือมีแนวปฏิบัติที่ดีที่สุดบางประเภทที่เกี่ยวข้องเช่นการเลือกแบบจำลองที่ทำให้เกิดข้อผิดพลาดในการทดสอบค่ามัธยฐาน?

148 cross-validation  model-selection 

เป็นความคิดที่ดีหรือไม่ที่จะทำการฝึกอบรมกับชุดข้อมูลแบบเต็มหลังจากการตรวจสอบข้าม ? นำไปทางอื่นมันก็โอเคในการฝึกอบรมกับทุกกลุ่มตัวอย่างในชุดของฉันและไม่สามารถที่จะตรวจสอบว่ามีการติดตั้งอุปกรณ์นี้โดยเฉพาะoverfits ? พื้นหลังบางส่วนเกี่ยวกับปัญหา: บอกว่าฉันมีครอบครัวของแบบจำลอง parametrized โดย\บอกฉันด้วยว่าฉันมีชุดของจุดข้อมูลและฉันทำการเลือกแบบจำลองด้วยการตรวจสอบความถูกต้องไขว้ของ k-fold เพื่อเลือกรูปแบบที่ดีที่สุดในการสรุปข้อมูล Nα⃗ α→\vec\alphaNNN สำหรับการเลือกแบบจำลองฉันสามารถทำการค้นหา (เช่นการค้นหากริด) บนโดยตัวอย่างเช่นการรันการตรวจสอบความถูกต้องไขว้กันของ k-fold สำหรับผู้สมัครแต่ละคน ในแต่ละเท่าในการตรวจสอบข้ามผมจบลงด้วยรูปแบบการเรียนรู้ \บีตาอัลฟ่าα⃗ α→\vec\alpha βαβα\beta_\alpha จุดของการตรวจสอบข้ามคือสำหรับแต่ละเท่านี้ฉันสามารถตรวจสอบว่ารูปแบบการเรียนรู้มีมากเกินไปโดยการทดสอบกับ "ข้อมูลที่มองไม่เห็น" ขึ้นอยู่กับผลลัพธ์ฉันสามารถเลือกโมเดลเรียนรู้สำหรับพารามิเตอร์ที่ได้รับการสรุปที่ดีที่สุดระหว่างการตรวจสอบข้ามในการค้นหากริด→ α bestβbestβbest\beta_\text{best}α⃗ bestα→best\vec\alpha_\text{best} ตอนนี้บอกว่าหลังจากที่เลือกรูปแบบที่ผมต้องการที่จะใช้ทุกจุดในชุดของฉันและหวังว่าจะได้เรียนรู้รูปแบบที่ดีขึ้น สำหรับวันนี้ผมสามารถใช้พารามิเตอร์ที่สอดคล้องกับรูปแบบที่ผมเลือกระหว่างการเลือกรูปแบบแล้วหลังการฝึกอบรมในชุดข้อมูลที่เต็มผมจะได้รับใหม่ได้เรียนรู้รูปแบบ{เต็ม} ปัญหาคือว่าถ้าฉันใช้คะแนนทั้งหมดในชุดข้อมูลของฉันสำหรับการฝึกอบรม ฉันไม่สามารถตรวจสอบว่าชุดการเรียนรู้แบบใหม่ชุดนี้กับข้อมูลที่มองไม่เห็นหรือไม่ วิธีที่ถูกต้องในการคิดเกี่ยวกับปัญหานี้คืออะไร?→ α b e s t β f u l l β f u l lNNNα⃗ bestα→best\vec\alpha_{best}βfullβfull\beta_{full} βfullβfull\beta_{full}

139 machine-learning  cross-validation  model-selection 

ฉันเคยใช้การตรวจสอบความถูกต้องไขว้ของ -fold สองสามครั้งในขณะนี้เพื่อประเมินประสิทธิภาพของอัลกอริทึมการเรียนรู้บางอย่าง แต่ฉันก็ยังงงอยู่เสมอว่าฉันควรเลือกค่าอย่างไรเคKKKKKK ฉันมักจะเห็นและใช้ค่าแต่ดูเหมือนว่าจะเป็นเรื่องที่ไม่ชอบใจสำหรับฉันและตอนนี้ฉันเพิ่งใช้โดยนิสัยแทนที่จะคิดมากกว่า สำหรับฉันดูเหมือนว่าคุณจะได้รับเมล็ดพันธุ์ที่ดีขึ้นในขณะที่คุณปรับปรุงคุณค่าของดังนั้นคุณควรทำให้ของคุณใหญ่มาก แต่ก็มีความเสี่ยงที่จะลำเอียง10 K KK=10K=10K = 10101010KKKKKK ฉันต้องการทราบว่ามูลค่าของควรขึ้นอยู่กับอะไรและฉันควรคิดอย่างไรเมื่อฉันประเมินอัลกอริทึมของฉัน มันเปลี่ยนบางอย่างหรือไม่ถ้าฉันใช้การตรวจสอบข้ามรุ่นที่มีการแบ่งชั้นหรือไม่KKK

136 machine-learning  classification  cross-validation 

ฉันต้องการความคิดของคุณเกี่ยวกับความแตกต่างระหว่างการตรวจสอบความถูกต้องระหว่างกันและการบูตสแตรปเพื่อประเมินข้อผิดพลาดในการทำนาย ทำงานได้ดีกว่าสำหรับชุดข้อมูลขนาดเล็กหรือชุดข้อมูลขนาดใหญ่หรือไม่

102 cross-validation  predictive-models  bootstrap 

หนึ่งจะใช้การตรวจสอบข้ามซ้อนสำหรับการเลือกรูปแบบได้อย่างไร จากสิ่งที่ฉันอ่านทางออนไลน์ CV ที่ซ้อนกันทำงานได้ดังต่อไปนี้: มีวง CV ภายในซึ่งเราอาจทำการค้นหากริด (เช่นใช้ K-fold สำหรับทุกรุ่นที่มีเช่นการรวมกันของพารามิเตอร์ / คุณสมบัติ) มีลูป CV ด้านนอกที่เราวัดประสิทธิภาพของโมเดลที่ชนะในโฟลด์ภายในโดยแยกจากภายนอก ในตอนท้ายของกระบวนการนี้เราจบลงด้วยรุ่น (เป็นจำนวนเท่าในวงด้านนอก) โมเดลเหล่านี้เป็นรุ่นที่ได้รับรางวัลในการค้นหากริดภายใน CV ภายในและมีแนวโน้มที่แตกต่างกัน (เช่น SVM ที่มีเมล็ดที่แตกต่างกันได้รับการฝึกฝนด้วยคุณสมบัติที่แตกต่างกันขึ้นอยู่กับการค้นหากริด)เคKKKKKK ฉันจะเลือกรุ่นจากผลลัพธ์นี้ได้อย่างไร สำหรับฉันแล้วการเลือกรุ่นที่ดีที่สุดจากรุ่นชนะนั้นจะไม่เป็นการเปรียบเทียบที่ยุติธรรมเนื่องจากแต่ละรุ่นได้รับการฝึกอบรมและทดสอบในส่วนต่าง ๆ ของชุดข้อมูลKKK ดังนั้นฉันจะใช้ CV ที่ซ้อนกันสำหรับการเลือกรุ่นได้อย่างไร นอกจากนี้ฉันได้อ่านหัวข้อที่พูดถึงการเลือกแบบจำลองที่ซ้อนกันมีประโยชน์สำหรับการวิเคราะห์ขั้นตอนการเรียนรู้ การวิเคราะห์ / ตรวจสอบประเภทใดที่ฉันสามารถทำกับคะแนนที่ฉันได้รับจากการพับ K ภายนอก

91 cross-validation  model-selection 

วิธีการตรวจสอบข้ามที่แตกต่างกันอย่างไรเปรียบเทียบในแง่ของความแปรปรวนของโมเดลและอคติ คำถามของฉันได้รับแรงบันดาลใจบางส่วนจากหัวข้อนี้: จำนวนการพับที่เหมาะสมที่สุดในการตรวจสอบความถูกต้องข้าม -fold: CV แบบปล่อยครั้งเดียวเป็นตัวเลือกที่ดีที่สุดเสมอหรือไม่ KKKเค. คำตอบนั้นแสดงให้เห็นว่าแบบจำลองที่เรียนรู้ด้วยการตรวจสอบข้ามแบบลาหนึ่ง - ออกนั้นมีความแปรปรวนสูงกว่าแบบเรียนรู้ด้วยการตรวจสอบความถูกต้องแบบเท่าปกติKKK อย่างไรก็ตามสัญชาตญาณของฉันบอกฉันว่าใน CV แบบปล่อยครั้งเดียวควรเห็นความแปรปรวนค่อนข้างต่ำระหว่างแบบจำลองกว่าใน -fold CV เนื่องจากเราเปลี่ยนจุดข้อมูลเพียงจุดเดียวในส่วนการพับและดังนั้นชุดการฝึกอบรมKKK หรือไปในอีกทางหนึ่งถ้าต่ำใน -fold CV ชุดการฝึกอบรมจะแตกต่างกันมากในโฟลด์และโมเดลที่ได้จะมีความแตกต่างกันมากขึ้น (ดังนั้นความแปรปรวนที่สูงขึ้น)เคKKKKKK หากอาร์กิวเมนต์ข้างต้นถูกต้องทำไมรูปแบบการเรียนรู้ที่มีประวัติย่อแบบลาออกมีความแปรปรวนสูงกว่า

83 machine-learning  variance  cross-validation  bias  bias-variance-tradeoff 

คุณจะอธิบายการตรวจสอบข้ามความถูกต้องกับบุคคลที่ไม่มีพื้นฐานการวิเคราะห์ข้อมูลอย่างไร

77 cross-validation 

ฉันเพิ่งอ่านจำนวนมากบนไซต์นี้ (@Aniko, @Dikran Marsupial, @Erik) และที่อื่น ๆ เกี่ยวกับปัญหาการ overfitting ที่เกิดขึ้นกับการตรวจสอบข้าม - (Smialowski et al 2010 ชีวสารสนเทศศาสตร์, Hastie, องค์ประกอบของการเรียนรู้ทางสถิติ) ข้อเสนอแนะคือการที่ใด ๆการเลือกคุณลักษณะภายใต้การดูแล (โดยใช้ความสัมพันธ์ที่มีป้ายชื่อ class) ดำเนินการด้านนอกของประมาณการผลการดำเนินงานรูปแบบการใช้การตรวจสอบข้าม (หรือรูปแบบวิธีการอื่นเช่นการประเมินความร่วมมือ) อาจส่งผลให้อิง สิ่งนี้ดูเหมือนจะไม่ง่ายสำหรับฉัน - แน่นอนถ้าคุณเลือกชุดคุณลักษณะและประเมินโมเดลของคุณโดยใช้เฉพาะคุณสมบัติที่เลือกโดยใช้การตรวจสอบความถูกต้องไขว้กันคุณจะได้รับการประเมินแบบไม่เอนเอียง ของประชากร) ด้วยขั้นตอนนี้เราไม่สามารถอ้างสิทธิ์ชุดคุณลักษณะที่ดีที่สุด แต่สามารถรายงานประสิทธิภาพของคุณลักษณะที่เลือกซึ่งตั้งค่าไว้บนข้อมูลที่มองไม่เห็นว่าถูกต้องได้หรือไม่ ฉันยอมรับว่าการเลือกคุณสมบัติตามชุดข้อมูลทั้งหมดอาจมีการรั่วไหลของข้อมูลระหว่างชุดทดสอบและชุดรถไฟ แต่ถ้าชุดคุณลักษณะเป็นแบบคงที่หลังจากการเลือกเริ่มต้นและไม่มีการปรับแต่งอื่น ๆ แน่นอนว่ามันถูกต้องที่จะรายงานตัวชี้วัดประสิทธิภาพข้ามการตรวจสอบแล้ว? ในกรณีของฉันฉันมี 56 คุณสมบัติและ 259 เคสดังนั้น #case> #features คุณสมบัติที่ได้รับมาจากข้อมูลเซ็นเซอร์ ขออภัยถ้าคำถามของฉันดูเหมือนอนุพันธ์ แต่นี่เป็นจุดสำคัญที่จะชี้แจง แก้ไข: ในการดำเนินการเลือกคุณลักษณะภายในการตรวจสอบข้ามในชุดข้อมูลรายละเอียดข้างต้น (ขอบคุณคำตอบดังต่อไปนี้) ผมสามารถยืนยันได้ว่าคุณสมบัติการเลือกก่อนที่จะข้ามการตรวจสอบในชุดข้อมูลนี้แนะนำอย่างมีนัยสำคัญอคติ ความลำเอียง …

76 cross-validation  feature-selection 

ฉันสับสนเล็กน้อยเกี่ยวกับการเลือกคุณสมบัติและการเรียนรู้ของเครื่องและฉันสงสัยว่าคุณจะช่วยฉันออกไปได้ไหม ฉันมีชุดข้อมูลขนาดเล็กที่แบ่งออกเป็นสองกลุ่มและมีคุณสมบัติ 1,000 รายการ เป้าหมายของฉันคือการได้รับยีนจำนวนเล็กน้อย (คุณสมบัติของฉัน) (10-20) ในลายเซ็นที่ฉันจะใช้กับชุดข้อมูลอื่น ๆ ในทางทฤษฎีเพื่อจำแนกตัวอย่างเหล่านั้นอย่างเหมาะสมที่สุด เนื่องจากฉันไม่มีตัวอย่างจำนวนมาก (<100) ฉันไม่ได้ใช้ชุดการทดสอบและการฝึกอบรม แต่ใช้การตรวจสอบความถูกต้องแบบลาออกหนึ่งครั้งเพื่อช่วยในการกำหนดความทนทาน ฉันได้อ่านแล้วว่าควรดำเนินการเลือกคุณสมบัติสำหรับตัวอย่างแต่ละตัวอย่าง เลือกหนึ่งตัวอย่างเป็นชุดทดสอบ ในตัวอย่างที่เหลือดำเนินการเลือกคุณสมบัติ ใช้อัลกอริทึมการเรียนรู้ของเครื่องกับตัวอย่างที่เหลือโดยใช้คุณสมบัติที่เลือก ทดสอบว่าชุดการทดสอบนั้นได้รับการจัดประเภทอย่างถูกต้องหรือไม่ ไปที่ 1 หากคุณทำสิ่งนี้คุณอาจได้รับยีนที่แตกต่างกันในแต่ละครั้งดังนั้นคุณจะได้รับตัวจําแนกยีนที่เหมาะสมที่สุดได้อย่างไร? นั่นคือขั้นตอนที่ 6 สิ่งที่ฉันหมายถึงอย่างดีที่สุดคือการรวบรวมยีนที่ควรมีการศึกษาเพิ่มเติม ตัวอย่างเช่นสมมติว่าฉันมีชุดข้อมูลมะเร็ง / ปกติและฉันต้องการค้นหา 10 อันดับแรกของยีนที่จะจัดประเภทเนื้องอกตาม SVM ฉันต้องการทราบชุดของยีนรวมถึงพารามิเตอร์ SVM ที่สามารถใช้ในการทดลองเพิ่มเติมเพื่อดูว่าสามารถใช้เป็นการทดสอบวินิจฉัยได้หรือไม่

76 machine-learning  classification  cross-validation  feature-selection  genetics 

คำถาม: ฉันต้องการความมั่นใจในบางสิ่งบางอย่างการใช้การตรวจสอบความถูกต้องข้ามของ k-fold กับอนุกรมเวลานั้นตรงไปตรงมาหรือไม่หรือเราจำเป็นต้องให้ความสนใจเป็นพิเศษก่อนใช้งานหรือไม่ แบ็คกราวน์: ฉันกำลังสร้างโมเดลอนุกรมเวลา 6 ปี (ที่มีลูกโซ่กึ่งมาร์คอฟ) โดยมีตัวอย่างข้อมูลทุก 5 นาที ในการเปรียบเทียบหลายรุ่นฉันใช้การตรวจสอบข้ามแบบ 6 เท่าโดยแยกข้อมูลใน 6 ปีดังนั้นชุดฝึกอบรมของฉัน (เพื่อคำนวณพารามิเตอร์) มีความยาว 5 ปีและชุดทดสอบมีความยาว 1 ปี. ฉันไม่ได้คำนึงถึงลำดับเวลาดังนั้นชุดที่แตกต่างของฉันคือ: พับ 1: ฝึก [1 2 3 4 5] ทดสอบ [6] เท่าที่ 2: การฝึก [1 2 3 4 6] ทดสอบ [5] เท่า 3: การฝึก [1 2 3 …

70 time-series  modeling  cross-validation 

กลยุทธ์ที่เหมาะสมสำหรับการแยกชุดข้อมูลคืออะไร? ผมขอให้ความคิดเห็นเกี่ยวกับวิธีการดังต่อไปนี้ (ไม่ได้อยู่ในแต่ละพารามิเตอร์เหมือนtest_sizeหรือn_iterแต่ถ้าผมใช้X, y, X_train, y_train, X_testและy_testเหมาะสมและถ้าลำดับทำให้รู้สึก): (ขยายตัวอย่างนี้จากเอกสาร scikit-Learn) 1. โหลดชุดข้อมูล from sklearn.datasets import load_digits digits = load_digits() X, y = digits.data, digits.target 2. แบ่งออกเป็นชุดฝึกอบรมและทดสอบ (เช่น 80/20) from sklearn.cross_validation import train_test_split X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0) 3. เลือกเครื่องมือประมาณ from sklearn.svm import SVC estimator = SVC(kernel='linear') 4. …

69 machine-learning  cross-validation  python  scikit-learn 

ฉันมีข้อมูลที่ไม่สมดุลในชั้นเรียน & ฉันต้องการปรับแต่งพารามิเตอร์หลายมิติของปอยผมที่เพิ่มขึ้นโดยใช้ xgboost คำถาม มีเทียบเท่าของ gridsearchcv หรือ randomsearchcv สำหรับ xgboost? หากไม่ใช่วิธีการที่แนะนำให้ปรับพารามิเตอร์ของ xgboost คืออะไร?

68 machine-learning  cross-validation  xgboost  boosting 

สมมติว่าเรามีใครบางคนกำลังสร้างแบบจำลองการทำนาย แต่บางคนไม่จำเป็นต้องมีความรอบรู้ในหลักการทางสถิติหรือการเรียนรู้ของเครื่องที่เหมาะสม บางทีเราอาจช่วยคน ๆ นั้นขณะที่พวกเขากำลังเรียนรู้หรือบางทีคนนั้นก็กำลังใช้แพคเกจซอฟต์แวร์บางประเภทที่ต้องการความรู้น้อยที่สุดในการใช้งาน ตอนนี้บุคคลนี้อาจจำได้ดีว่าการทดสอบจริงมาจากความถูกต้อง (หรืออะไรก็ตามที่วัดอื่น ๆ ) จากข้อมูลที่ไม่อยู่ในกลุ่มตัวอย่าง อย่างไรก็ตามความกังวลของฉันคือมีจำนวนมากรายละเอียดย่อยที่ต้องกังวลเกี่ยวกับ ในกรณีที่ง่ายพวกเขาสร้างแบบจำลองของพวกเขาและประเมินบนข้อมูลการฝึกอบรมและประเมินบนข้อมูลการทดสอบที่จัดขึ้น น่าเสียดายที่บางครั้งมันง่ายเกินไปที่จะย้อนกลับไปและปรับแต่งพารามิเตอร์การสร้างแบบจำลองและตรวจสอบผลลัพธ์ในข้อมูล "การทดสอบ" เดียวกันนั้น ณ จุดนี้ข้อมูลไม่ได้เป็นข้อมูลนอกตัวอย่างที่แท้จริงอีกต่อไปและการมีน้ำหนักเกินอาจกลายเป็นปัญหาได้ วิธีหนึ่งที่เป็นไปได้ในการแก้ไขปัญหานี้คือการแนะนำให้สร้างชุดข้อมูลที่ไม่อยู่ในกลุ่มตัวอย่างจำนวนมากซึ่งชุดทดสอบแต่ละชุดสามารถถูกทิ้งหลังการใช้งานและไม่ได้นำมาใช้ซ้ำเลย วิธีนี้ต้องใช้การจัดการข้อมูลจำนวนมากโดยเฉพาะอย่างยิ่งการแยกที่ต้องทำก่อนการวิเคราะห์ (ดังนั้นคุณจะต้องรู้จำนวนการแยกก่อนล่วงหน้า) บางทีวิธีการทั่วไปที่มากขึ้นก็คือการตรวจสอบความถูกต้องด้วย k-fold อย่างไรก็ตามในบางแง่ที่สูญเสียความแตกต่างระหว่างชุดข้อมูล "การฝึกอบรม" และ "การทดสอบ" ที่ฉันคิดว่าจะมีประโยชน์โดยเฉพาะอย่างยิ่งกับผู้ที่ยังคงเรียนรู้ นอกจากนี้ฉันไม่มั่นใจว่าสิ่งนี้เหมาะสมสำหรับแบบจำลองการทำนายทุกประเภท มีวิธีที่ฉันมองข้ามเพื่อช่วยเอาชนะปัญหาการ overfitting และการทดสอบการรั่วไหลในขณะที่ยังคงค่อนข้างชัดเจนกับผู้ใช้ที่ไม่มีประสบการณ์?

60 machine-learning  classification  predictive-models  cross-validation  out-of-sample 

ฉันพบคำถามสองข้อที่นี่และที่นี่เกี่ยวกับปัญหานี้ แต่ยังไม่มีคำตอบหรือคำอธิบายที่ชัดเจนฉันบังคับใช้ปัญหาเดียวกันที่ข้อผิดพลาดในการตรวจสอบความถูกต้องน้อยกว่าข้อผิดพลาดการฝึกอบรมในเครือข่าย Convolution Neural นั่นหมายความว่าอย่างไร?

57 machine-learning  mathematical-statistics  neural-networks  cross-validation