คำถามติดแท็ก cross-validation

ในการเรียนรู้อย่างลึกซึ้งกับFrançois Chollet กับ Python มันบอกว่า: ดังนั้นการปรับการกำหนดค่าของโมเดลตามประสิทธิภาพของชุดการตรวจสอบความถูกต้องสามารถส่งผลให้ overfitting เป็นชุดการตรวจสอบได้อย่างรวดเร็วแม้ว่าโมเดลของคุณจะไม่ได้รับการฝึกฝนโดยตรง ศูนย์กลางของปรากฏการณ์นี้คือแนวคิดของการรั่วไหลของข้อมูล ทุกครั้งที่คุณปรับแต่ง hyperparameter ของรูปแบบของคุณขึ้นอยู่กับประสิทธิภาพของแบบจำลองในชุดการตรวจสอบ, ข้อมูลบางอย่างเกี่ยวกับการรั่วไหลของข้อมูลการตรวจสอบลงในรูปแบบ หากคุณทำสิ่งนี้เพียงครั้งเดียวสำหรับหนึ่งพารามิเตอร์ข้อมูลที่น้อยมากจะรั่วไหลและชุดการตรวจสอบของคุณจะยังคงเชื่อถือได้ในการประเมินรูปแบบ แต่ถ้าคุณทำซ้ำหลาย ๆ ครั้ง - ทำการทดสอบหนึ่งครั้งประเมินผลชุดการตรวจสอบความถูกต้องและแก้ไขแบบจำลองของคุณจากนั้นคุณก็จะรั่วไหลข้อมูลจำนวนมากเกี่ยวกับการตรวจสอบความถูกต้องที่ตั้งไว้ในแบบจำลอง เหตุใดข้อมูลเกี่ยวกับข้อมูลการตรวจสอบจึงรั่วไหลหากฉันประเมินประสิทธิภาพของแบบจำลองกับข้อมูลการตรวจสอบความถูกต้องเมื่อทำการปรับพารามิเตอร์ไฮเปอร์พารามิเตอร์

9 neural-networks  cross-validation  hyperparameter 

ฉันเพิ่งดูการพูดคุยนี้โดยเอริคเจ Maและการตรวจสอบของเขารายการบล็อกที่เขาพูดราดโอนีลว่ารูปแบบเบส์ไม่ overfit ( แต่พวกเขาสามารถ overfit ) และเมื่อใช้พวกเขาเราไม่จำเป็นต้องใช้ชุดทดสอบสำหรับการตรวจสอบพวกเขา (สำหรับ ฉันพูดดูเหมือนจะพูดค่อนข้างเกี่ยวกับการใช้ชุดการตรวจสอบเพื่อปรับพารามิเตอร์) ความจริงแล้วข้อโต้แย้งนั้นไม่ทำให้ฉันและฉันไม่สามารถเข้าถึงหนังสือได้ดังนั้นคุณจะให้ข้อโต้แย้งที่ละเอียดและเข้มงวดมากขึ้นหรือคัดค้านข้อความดังกล่าวหรือไม่? ในขณะเดียวกัน Eric Ma ได้ชี้ให้ฉันสนทนาในหัวข้อเดียวกัน

9 machine-learning  bayesian  cross-validation  deep-learning 

ตัวอย่าง: ฉันมีประโยคในรายละเอียดงาน: "วิศวกรอาวุโสของ Java ในสหราชอาณาจักร" ฉันต้องการที่จะใช้รูปแบบการเรียนรู้ที่ลึกที่จะคาดการณ์ว่ามันเป็น 2 ประเภทและEnglish IT jobsถ้าฉันใช้รูปแบบการจำแนกแบบดั้งเดิมมันสามารถทำนายได้เพียง 1 ฉลากที่มีsoftmaxฟังก์ชั่นที่ชั้นสุดท้าย ดังนั้นฉันสามารถใช้โครงข่ายประสาทเทียม 2 แบบในการทำนาย "ใช่" / "ไม่" กับทั้งสองหมวดหมู่ แต่ถ้าเรามีหมวดหมู่มากขึ้นมันก็แพงเกินไป ดังนั้นเราจึงมีรูปแบบการเรียนรู้หรือการเรียนรู้ด้วยเครื่องเพื่อคาดการณ์ 2 หมวดหมู่ขึ้นไปพร้อมกันหรือไม่ "แก้ไข": ด้วย 3 ป้ายกำกับโดยวิธีดั้งเดิมมันจะถูกเข้ารหัสโดย [1,0,0] แต่ในกรณีของฉันมันจะถูกเข้ารหัสโดย [1,1,0] หรือ [1,1,1] ตัวอย่าง: หากเรามี 3 ป้ายกำกับและประโยคอาจเหมาะกับป้ายกำกับเหล่านี้ทั้งหมด ดังนั้นถ้าผลลัพธ์จากฟังก์ชัน softmax คือ [0.45, 0.35, 0.2] เราควรแบ่งมันออกเป็น 3 label หรือ 2 label หรืออาจเป็นหนึ่ง? ปัญหาหลักเมื่อเราทำคือ: …

9 machine-learning  deep-learning  natural-language  tensorflow  sampling  distance  non-independent  application  regression  machine-learning  logistic  mixed-model  control-group  crossover  r  multivariate-analysis  ecology  procrustes-analysis  vegan  regression  hypothesis-testing  interpretation  chi-squared  bootstrap  r  bioinformatics  bayesian  exponential  beta-distribution  bernoulli-distribution  conjugate-prior  distributions  bayesian  prior  beta-distribution  covariance  naive-bayes  smoothing  laplace-smoothing  distributions  data-visualization  regression  probit  penalized  estimation  unbiased-estimator  fisher-information  unbalanced-classes  bayesian  model-selection  aic  multiple-regression  cross-validation  regression-coefficients  nonlinear-regression  standardization  naive-bayes  trend  machine-learning  clustering  unsupervised-learning  wilcoxon-mann-whitney  z-score  econometrics  generalized-moments  method-of-moments  machine-learning  conv-neural-network  image-processing  ocr  machine-learning  neural-networks  conv-neural-network  tensorflow  r  logistic  scoring-rules  probability  self-study  pdf  cdf  classification  svm  resampling  forecasting  rms  volatility-forecasting  diebold-mariano  neural-networks  prediction-interval  uncertainty 

ในองค์ประกอบของการเรียนรู้ทางสถิติฉันพบคำสั่งต่อไปนี้: มีคุณสมบัติหนึ่งประการ: ขั้นตอนการคัดกรองเบื้องต้นที่ไม่มีผู้ดูแลสามารถทำได้ก่อนที่จะปล่อยตัวอย่าง ตัวอย่างเช่นเราสามารถเลือกตัวทำนาย 1,000 รายการที่มีความแปรปรวนสูงสุดในตัวอย่าง 50 ทั้งหมดก่อนเริ่มการตรวจสอบความถูกต้องข้าม เนื่องจากตัวกรองนี้ไม่เกี่ยวข้องกับป้ายกำกับของชั้นเรียนจึงไม่ได้ให้ข้อได้เปรียบที่ไม่เป็นธรรม มันถูกต้องจริงเหรอ? ฉันหมายถึงโดยการกรองคุณลักษณะไว้ก่อนหน้านี้เราไม่ได้เลียนแบบข้อมูลการฝึกอบรม / สภาพแวดล้อมข้อมูลใหม่ - ดังนั้นเรื่องนี้ที่การกรองที่เราดำเนินการอยู่จะไม่ได้รับการดูแลหรือไม่? การทำกระบวนการpreprocessing ทั้งหมดในกระบวนการตรวจสอบข้ามจริง ๆ ดีกว่าหรือไม่ หากไม่ใช่กรณีดังกล่าวหมายความว่าการดำเนินการประมวลผลล่วงหน้าที่ไม่ได้รับการจัดการทั้งหมดสามารถทำได้ล่วงหน้ารวมถึงคุณสมบัติการทำให้เป็นมาตรฐาน / PCA เป็นต้น แต่ด้วยการทำสิ่งเหล่านี้ในชุดฝึกอบรมทั้งหมดเราจะรั่วข้อมูลบางส่วนไปยังชุดฝึกอบรม ฉันเห็นด้วยกับชุดข้อมูลที่ค่อนข้างคงที่ความแตกต่างเหล่านี้น่าจะเล็กมาก - แต่ไม่ได้หมายความว่ามันไม่มีอยู่ใช่ไหม? วิธีที่ถูกต้องในการคิดเกี่ยวกับเรื่องนี้คืออะไร?

9 machine-learning  cross-validation  feature-selection 

คำถามของฉัน: ฉันควรทำ CV สำหรับชุดข้อมูลที่ค่อนข้างใหญ่หรือไม่? ฉันมีชุดข้อมูลที่ค่อนข้างใหญ่และฉันจะใช้อัลกอริทึมการเรียนรู้ของเครื่องกับชุดข้อมูล เนื่องจากพีซีของฉันไม่เร็ว CV บางครั้งอาจใช้เวลานานเกินไป โดยเฉพาะ SVM ไม่สิ้นสุดเพราะมีพารามิเตอร์การปรับแต่งมากมาย ดังนั้นถ้าฉันทำ CV ฉันต้องเลือกข้อมูลที่ค่อนข้างเล็ก ในทางกลับกันชุดตรวจสอบควรมีขนาดใหญ่เช่นกันดังนั้นฉันคิดว่าเป็นความคิดที่ดีที่จะใช้ชุดตรวจสอบที่มีขนาดเท่ากัน (หรือใหญ่กว่า) ชุดฝึกอบรม (คือ CV แทนฉันใช้ชุดการตรวจสอบความถูกต้องขนาดใหญ่สำหรับการปรับพารามิเตอร์) ตอนนี้ฉันมีอย่างน้อยสองตัวเลือก ทำ CV ในชุดข้อมูลขนาดเล็ก ใช้ชุดฝึกอบรมที่มีขนาดค่อนข้างใหญ่และชุดการตรวจสอบโดยไม่มีประวัติย่อ ความคิดอื่น ๆ ความคิดที่ดีที่สุดคืออะไร? ความคิดเห็นทั้งภาคทฤษฎีและภาคปฏิบัติยินดีต้อนรับ

9 machine-learning  cross-validation 

ฉันได้อ่านลักษณนามพีชคณิต: วิธีการทั่วไปในการตรวจสอบข้ามอย่างรวดเร็วการฝึกอบรมออนไลน์และการฝึกอบรมแบบขนานและรู้สึกทึ่งกับประสิทธิภาพของอัลกอริทึมที่ได้รับ อย่างไรก็ตามดูเหมือนว่าเกินกว่า Naive Bayes (และ GBM) มีอัลกอริธึมไม่มากที่ปรับให้เข้ากับกรอบงาน มีเอกสารอื่น ๆ ที่ใช้ตัวแยกประเภทที่แตกต่างกันหรือไม่ (SVMs ป่าสุ่ม)

9 cross-validation  references  random-forest  computational-statistics  naive-bayes 

เมื่อใช้ k-fold CV เพื่อเลือกระหว่างโมเดลการถดถอยฉันมักจะคำนวณข้อผิดพลาด CV แยกต่างหากสำหรับแต่ละรุ่นพร้อมกับข้อผิดพลาดมาตรฐาน SE และฉันเลือกรุ่นที่ง่ายที่สุดภายใน 1 SE ของรุ่นที่มีข้อผิดพลาด CV ต่ำสุด (1 กฎข้อผิดพลาดมาตรฐานดูตัวอย่างได้ที่นี่ ) อย่างไรก็ตามเมื่อเร็ว ๆ นี้ฉันได้รับแจ้งว่าด้วยวิธีนี้ฉันประเมินค่าความแปรปรวนสูงเกินไปและในกรณีเฉพาะในการเลือกระหว่างสองรุ่น A และ B ฉันควรดำเนินการต่อไปในลักษณะที่แตกต่างกัน: สำหรับแต่ละเท่าของความยาวให้คำนวณความแตกต่างจุดระหว่างทั้งสองแบบจำลองการทำนายจากนั้นคำนวณความแตกต่างของค่าเฉลี่ยกำลังสองสำหรับการพับKKKยังไม่มีข้อความKNKN_KMSDK=Σยังไม่มีข้อความKi = 1(Y^ฉัน-Y^B i)2ยังไม่มีข้อความK---------------√MSDK=∑i=1NK(y^Ai−y^Bi)2NKMSD_K=\sqrt{\frac{\sum_{i=1}^{N_K}\left(\hat{y}_{Ai}-\hat{y}_{Bi}\right)^2}{N_K}} ค่าเฉลี่ยข้ามเท่าปกติและใช้ข้อผิดพลาดความแตกต่าง CV นี้ (พร้อมกับข้อผิดพลาดมาตรฐาน) เป็นตัวประมาณสำหรับข้อผิดพลาดทั่วไปMSDKMSDKMSD_K คำถาม: สิ่งนี้สมเหตุสมผลสำหรับคุณหรือไม่ ฉันรู้ว่ามีเหตุผลทางทฤษฎีที่อยู่เบื้องหลังการใช้ข้อผิดพลาด CV เป็นตัวประมาณข้อผิดพลาดในการวางนัยทั่วไป (ฉันไม่ทราบว่าเหตุผลเหล่านี้คืออะไร แต่ฉันรู้ว่ามีอยู่จริง!) ฉันไม่รู้ว่ามีเหตุผลทางทฤษฎีที่อยู่เบื้องหลังการใช้ข้อผิดพลาด CV "แตกต่าง" นี้หรือไม่ ฉันไม่รู้ว่าสิ่งนี้สามารถนำมาเปรียบเทียบกับแบบจำลองมากกว่าสองรุ่นได้หรือไม่ การคำนวณความแตกต่างของแบบจำลองทุกคู่ดูเหมือนจะมีความเสี่ยง (การเปรียบเทียบหลายทาง): คุณจะทำอย่างไรถ้าคุณมีมากกว่าสองแบบ? แก้ไข: สูตรของฉันผิดทั้งหมดตัวชี้วัดที่ถูกต้องอธิบายไว้ที่นี่และมันซับซ้อนกว่ามาก ฉันมีความสุขที่ฉันถามที่นี่ก่อนที่จะใช้สูตรไม่ได้! …

9 regression  cross-validation  model-selection 

ในฟอเรสต์ฟอเรสต์ต้นไม้แต่ละต้นจะเติบโตขนานกันบนตัวอย่าง Boostrap ที่เป็นเอกลักษณ์ของข้อมูล เนื่องจากตัวอย่าง Boostrap แต่ละอันคาดว่าจะมีการสังเกตการณ์ที่เป็นเอกลักษณ์ประมาณ 63% ทำให้มีการสำรวจประมาณ 37% ของการสังเกตออกซึ่งสามารถใช้สำหรับการทดสอบต้นไม้ ตอนนี้ดูเหมือนว่าใน Stochastic Gradient Boosting ยังมีการคล้ายกับค่าใน RF:ต. ตBe r r o rOOBอีRRโอROOB_{error} หาก bag.fraction ถูกตั้งค่าเป็นมากกว่า 0 (แนะนำให้ 0.5) gbm จะคำนวณการประมาณค่าแบบไม่อยู่ในถุงเพื่อปรับปรุงประสิทธิภาพการทำนาย มันประเมินการลดความเบี่ยงเบนของข้อสังเกตเหล่านั้นที่ไม่ได้ใช้ในการเลือกแผนผังการถดถอยถัดไป แหล่งที่มา: Ridgeway (2007) , ส่วน 3.3 (หน้า 8) ฉันมีปัญหาในการเข้าใจวิธีการทำงาน / ใช้ได้ สมมติว่าฉันกำลังเพิ่มต้นไม้ในลำดับ ฉันกำลังปลูกต้นไม้นี้ในกลุ่มย่อยสุ่มของชุดข้อมูลดั้งเดิม ฉันสามารถทดสอบต้นไม้ต้นเดียวนี้ได้จากการสังเกตที่ไม่ได้นำมาปลูก ตกลง แต่เนื่องจากการส่งเสริมเป็นลำดับฉันจึงค่อนข้างใช้ลำดับของต้นไม้ทั้งหมดที่สร้างขึ้นเพื่อให้การคาดการณ์สำหรับการสังเกตจากซ้ายเหล่านั้น และมีโอกาสสูงที่ต้นไม้ก่อนหน้านี้จำนวนมากได้เห็นการสังเกตเหล่านี้แล้ว ดังนั้นรูปแบบนั้นไม่ได้ถูกทดสอบจริง ๆ ในแต่ละรอบจากการสังเกตการณ์ที่มองไม่เห็นเช่นเดียวกับ …

9 machine-learning  cross-validation  data-mining  random-forest  boosting 

ฉันมีตัวแบบทำนายผลซึ่งฉันต้องการทดสอบกลับ (เช่นนำชุดข้อมูลของฉัน "ย้อนกลับ" ไปยังจุดก่อนหน้าในเวลาและดูว่าตัวแบบนั้นจะทำแบบมุ่งหวังได้อย่างไร) ปัญหาคือว่าบางรุ่นของฉันถูกสร้างขึ้นผ่านกระบวนการโต้ตอบ ตัวอย่างเช่นทำตามคำแนะนำในกลยุทธ์การสร้างแบบจำลองการถดถอยของ Frank Harrell ในแบบจำลองหนึ่งฉันใช้ splines ลูกบาศก์แบบ จำกัด เพื่อจัดการความสัมพันธ์แบบไม่เชิงเส้นที่เป็นไปได้ระหว่างคุณลักษณะและการตอบสนอง ฉันจัดสรรระดับความเป็นอิสระของแต่ละอิสระขึ้นอยู่กับการรวมกันของความรู้ในโดเมนและการวัดความแข็งแกร่งของสมาคม แต่องศาอิสระที่ฉันต้องการอนุญาตให้แบบจำลองของฉันขึ้นอยู่กับขนาดของชุดข้อมูลซึ่งแตกต่างกันอย่างมากเมื่อทำการทดสอบย้อนหลัง หากฉันไม่ต้องการแยกองศาอิสระแยกจากกันในแต่ละครั้งที่รุ่นถูกทดสอบซ้ำตัวเลือกอื่นของฉันคืออะไร สำหรับตัวอย่างอื่นฉันกำลังตรวจจับค่าผิดปกติผ่านการหาจุดที่มีเลเวอเรจสูง ถ้าฉันมีความสุขที่จะทำสิ่งนี้ด้วยมือฉันจะดูที่จุดข้อมูลที่มีประโยชน์สูงแต่ละจุดตรวจสอบอย่างมีเหตุผลว่าข้อมูลนั้นสะอาดและกรองออกหรือทำความสะอาดด้วยมือ แต่สิ่งนี้ขึ้นอยู่กับความรู้เกี่ยวกับโดเมนจำนวนมากดังนั้นฉันจึงไม่ทราบวิธีการดำเนินการอัตโนมัติ ฉันขอขอบคุณคำแนะนำและวิธีแก้ปัญหาทั้งสอง (ก) ถึงปัญหาทั่วไปของการสร้างส่วนโต้ตอบอัตโนมัติของกระบวนการสร้างแบบจำลองหรือ (ข) คำแนะนำเฉพาะสำหรับสองกรณีนี้ ขอบคุณ!

9 cross-validation  modeling  outliers  splines  overfitting 

ฉันกำลังทำงานกับการตรวจสอบความถูกต้องของการทำนายข้อมูลของฉันกับ 200 วิชาและ 1,000 ตัวแปร ฉันสนใจการถดถอยตามจำนวนตัวแปร (ฉันต้องการใช้) มากกว่าจำนวนตัวอย่าง ดังนั้นฉันต้องการใช้ตัวประมาณค่าการหดตัว ข้อมูลตัวอย่างประกอบด้วยข้อมูลต่อไปนี้: #random population of 200 subjects with 1000 variables M <- matrix(rep(0,200*100),200,1000) for (i in 1:200) { set.seed(i) M[i,] <- ifelse(runif(1000)<0.5,-1,1) } rownames(M) <- 1:200 #random yvars set.seed(1234) u <- rnorm(1000) g <- as.vector(crossprod(t(M),u)) h2 <- 0.5 set.seed(234) y <- g …

9 r  cross-validation  prediction  ridge-regression 

ฉันรู้ว่ามีพารามิเตอร์การปรับแต่ง 3 แบบในรูปแบบต้นไม้ที่เพิ่มขึ้นเช่น จำนวนต้นไม้ (จำนวนการวนซ้ำ) พารามิเตอร์การหดตัว จำนวนของการแยก (ขนาดของต้นไม้แต่ละต้น) คำถามของฉันคือ: สำหรับพารามิเตอร์การปรับแต่ละค่าฉันจะหาค่าที่ดีที่สุดได้อย่างไร และวิธีการอะไร โปรดทราบว่า: พารามิเตอร์การหดตัวและจำนวนพารามิเตอร์ trees ทำงานร่วมกันเช่นค่าที่น้อยกว่าสำหรับพารามิเตอร์การหดตัวจะนำไปสู่ค่าที่สูงขึ้นสำหรับจำนวนต้นไม้ และเราต้องคำนึงเรื่องนี้ด้วย ฉันสนใจเป็นพิเศษในวิธีการค้นหาค่าที่เหมาะสมที่สุดสำหรับจำนวนการแบ่ง มันควรจะขึ้นอยู่กับการตรวจสอบข้ามหรือความรู้เกี่ยวกับรูปแบบโดเมนที่อยู่เบื้องหลัง? และสิ่งเหล่านี้ถูกนำไปใช้ในgbmแพ็คเกจใน R อย่างไร

9 machine-learning  cross-validation  computational-statistics  boosting  gbm 

นี่อาจเป็นคำถามที่งี่เง่า แต่เมื่อสร้างแบบจำลองที่มีเครื่องหมายรูปหมวกและใช้บางอย่างเช่นLOOCVหรือ (ยิ่งไปกว่านั้น) LGOCVสิ่งที่เป็นประโยชน์ของการแยกข้อมูลออกเป็นชุดรถไฟและชุดทดสอบถ้านี่คือขั้นตอนการตรวจสอบความถูกต้อง ทำอย่างไร ผมอ่านบางส่วนของคำถามที่เกี่ยวข้องและพวกเขาชี้ให้เห็นว่าบางส่วนของวิธีการตรวจสอบข้าม (เช่นสิ่งที่อธิบายนี่ที่เว็บไซต์ของลูกศร ) เป็นเพื่อวัตถุประสงค์ในการเลือกคุณลักษณะ แต่ในกรณีของฉันฉันกำลังใช้randomForest( method = "rf") และkernlab( method = svmRadial) ซึ่งไม่ได้อยู่ในกลุ่มที่พยายามล้างคำทำนาย ดังนั้นคำถามของฉันคือถ้าฉันใช้สิ่งที่ชอบcross_val <- trainControl(method = "LGOCV", p = 0.8)ไม่เหมือนกับการฝึกอบรมที่ 80% ของข้อมูลของฉันทดสอบแบบจำลองผลลัพธ์ในส่วนที่เหลืออีก 20% และทำสิ่งนั้นซ้ำไปซ้ำมาเพื่อให้ได้แนวคิดว่า รูปแบบการทำงานหรือไม่ ถ้าเป็นเช่นนั้นมีความจำเป็นที่จะต้องแยกข้อมูลของฉันออกเป็นชุดรถไฟ / ชุดทดสอบหรือไม่? PS ฉันถามบางส่วนในขณะที่ฉันกำลังทำแบบจำลองเกี่ยวกับต้นแบบ DOE ที่สร้างขึ้นเชิงประจักษ์ (คิดว่าสินค้าหนักที่เราปรับแต่งอินพุตและจากนั้นใช้วิธีการทดสอบเพื่อวัดคุณลักษณะต่างๆเกี่ยวกับต้นแบบ) ดังนั้นฉันไม่ได้มีชุดข้อมูลขนาดใหญ่ที่มีระดับตัวทำนายที่ทับซ้อนกันจำนวนมากเพื่อเป็นแบบจำลอง - เรามักเรียกใช้การทดลองหนึ่งครั้งในแต่ละจุดที่น่าสนใจของ DOE เนื่องจากการสร้างข้อมูลมีราคาแพงในกรณีนี้ ดังนั้นฉันต้องการใช้ข้อมูลทั้งหมดที่ฉันสามารถทำได้สำหรับโมเดลที่ถูกต้อง แต่ต้องการตรวจสอบที่นี่ว่าฉันไม่ได้พลาดอะไรบางอย่างที่ชัดเจนและสร้างโมเดลที่ไม่ดีโดยไม่แยกสิ่งต่าง ๆ ออกมา แก้ไข:เพื่อตอบสนองต่อคำถามของ @ …

9 r  machine-learning  cross-validation  caret 

สมมติว่าฉันมีตัวอย่างหนึ่งความถี่ของเหตุการณ์ที่เป็นไปได้ 4 เหตุการณ์: Event1 - 5 E2 - 1 E3 - 0 E4 - 12 และฉันมีโอกาสที่จะเกิดเหตุการณ์ที่คาดหวัง: p1 - 0.2 p2 - 0.1 p3 - 0.1 p4 - 0.6 ด้วยผลรวมของความถี่ที่สังเกตได้จากเหตุการณ์ทั้งสี่ของฉัน (18) ฉันสามารถคำนวณความถี่ที่คาดหวังของเหตุการณ์ได้ใช่ไหม expectedE1 - 18 * 0.2 = 3.6 expectedE2 - 18 * 0.1 = 1.8 expectedE1 - 18 * 0.1 …

9 r  statistical-significance  chi-squared  multivariate-analysis  exponential  joint-distribution  statistical-significance  self-study  standard-deviation  probability  normal-distribution  spss  interpretation  assumptions  cox-model  reporting  cox-model  statistical-significance  reliability  method-comparison  classification  boosting  ensemble  adaboost  confidence-interval  cross-validation  prediction  prediction-interval  regression  machine-learning  svm  regularization  regression  sampling  survey  probit  matlab  feature-selection  information-theory  mutual-information  time-series  forecasting  simulation  classification  boosting  ensemble  adaboost  normal-distribution  multivariate-analysis  covariance  gini  clustering  text-mining  distance-functions  information-retrieval  similarities  regression  logistic  stata  group-differences  r  anova  confidence-interval  repeated-measures  r  logistic  lme4-nlme  inference  fiducial  kalman-filter  classification  discriminant-analysis  linear-algebra  computing  statistical-significance  time-series  panel-data  missing-data  uncertainty  probability  multivariate-analysis  r  classification  spss  k-means  discriminant-analysis  poisson-distribution  average  r  random-forest  importance  probability  conditional-probability  distributions  standard-deviation  time-series  machine-learning  online  forecasting  r  pca  dataset  data-visualization  bayes  distributions  mathematical-statistics  degrees-of-freedom 

ฉันมีคำถามเกี่ยวกับการเลือกแบบจำลองและประสิทธิภาพของตัวแบบในการถดถอยโลจิสติก ฉันมีสามแบบซึ่งตั้งอยู่บนสมมติฐานที่แตกต่างกันสามแบบ สองรุ่นแรก (ให้ตั้งชื่อพวกเขาว่า z และ x) จะมีตัวแปรอธิบายเพียงตัวเดียวในแต่ละรุ่นและรุ่นที่สาม (ให้ชื่อมันด้วย) มีความซับซ้อนมากขึ้น ฉันใช้ AIC สำหรับการเลือกตัวแปรสำหรับรุ่น w แล้ว AIC เพื่อเปรียบเทียบว่าสามรุ่นใดที่อธิบายตัวแปรตามได้ดีที่สุด ฉันพบว่าโมเดล w มีค่า AIC ต่ำที่สุดและตอนนี้ต้องการทำสถิติประสิทธิภาพสำหรับโมเดลนั้นเพื่อให้ได้แนวคิดเกี่ยวกับพลังการทำนายของโมเดล เนื่องจากทั้งหมดที่ฉันรู้คือว่ารุ่นนี้ดีกว่าอีกสองคน แต่ไม่ดีเท่าไหร่ เนื่องจากฉันใช้ข้อมูลทั้งหมดเพื่อเรียนรู้รูปแบบ (เพื่อให้สามารถเปรียบเทียบทั้งสามรุ่น) ฉันจะทำอย่างไรกับประสิทธิภาพของโมเดล จากสิ่งที่ฉันรวบรวมฉันไม่สามารถทำการตรวจสอบความถูกต้องไขว้กันของ k-fold ในรุ่นสุดท้ายที่ฉันได้รับจากการเลือกแบบจำลองโดยใช้ AIC แต่ต้องเริ่มจากจุดเริ่มต้นด้วยตัวแปรอธิบายรวมอยู่ด้วยใช่ไหม ฉันคิดว่ามันเป็นรุ่นสุดท้ายที่ฉันเลือกกับ AIC ที่ฉันต้องการทราบว่ามันทำงานได้ดีเพียงใด แต่ตระหนักว่าฉันได้รับการฝึกอบรมเกี่ยวกับข้อมูลทั้งหมดเพื่อให้โมเดลนั้นมีความลำเอียง ดังนั้นถ้าฉันควรเริ่มจากจุดเริ่มต้นด้วยตัวแปรอธิบายทั้งหมดในทุกเท่าฉันจะได้แบบจำลองขั้นสุดท้ายที่แตกต่างกันสำหรับบางเท่าฉันสามารถเลือกแบบจำลองจากการพับซึ่งให้พลังการทำนายที่ดีที่สุดและนำไปใช้กับชุดข้อมูลแบบเต็มเพื่อเปรียบเทียบ AIC กับอีกสองรุ่น (z และ x)? หรือมันทำงานอย่างไร ส่วนที่สองของคำถามของฉันคือคำถามพื้นฐานเกี่ยวกับการกำหนดพารามิเตอร์มากเกินไป ฉันมี 156 จุดข้อมูล 52 เป็น 1 …

9 logistic  model-selection  cross-validation 

เพื่อนร่วมงานของฉันและฉันกำลังปรับรุ่นของเอฟเฟกต์แบบผสมทั้งแบบเชิงเส้นและแบบไม่เชิงเส้นในอาร์เราถูกขอให้ทำการตรวจสอบความถูกต้องของแบบจำลองที่มีการติดตั้งเพื่อให้สามารถตรวจสอบได้ว่า นี่เป็นภารกิจที่ไม่สำคัญ แต่ในกรณีของเราเราต้องแบ่งข้อมูลทั้งหมดออกเป็นส่วนการฝึกอบรมและส่วนการทดสอบ (สำหรับจุดประสงค์ CV) ที่ไม่มีระดับร่วมกัน ตัวอย่างเช่น, ข้อมูลการฝึกอบรมอาจขึ้นอยู่กับกลุ่ม 1,2,3,4; โมเดลที่ถูกติดตั้งจะถูกตรวจสอบความถูกต้องข้ามกลุ่ม 5 ดังนั้นสิ่งนี้จึงสร้างปัญหาเนื่องจากเอฟเฟกต์แบบกลุ่มอ้างอิงที่ประเมินจากข้อมูลการฝึกอบรมไม่ได้ใช้กับข้อมูลการทดสอบ ดังนั้นเราไม่สามารถ CV โมเดล มีวิธีแก้ปัญหาที่ค่อนข้างตรงไปตรงมาหรือไม่? หรือมีใครเขียนแพคเกจเพื่อแก้ไขปัญหานี้หรือยัง คำใบ้ใด ๆ ยินดีต้อนรับ! ขอบคุณ!

9 mixed-model  cross-validation