คำถามติดแท็ก model-selection

ฉันได้ฝึกสองรุ่น (ตัวแยกประเภทไบนารีโดยใช้ h2o AutoML) และฉันต้องการเลือกหนึ่งตัวที่จะใช้ ฉันมีผลลัพธ์ต่อไปนี้: model_id auc logloss logloss_train logloss_valid gini_train gini_valid DL_grid_1 0.542694 0.287469 0.092717 0.211956 0.872932 0.312975 DL_grid_2 0.543685 0.251431 0.082616 0.186196 0.900955 0.312662 aucและloglossคอลัมน์ที่เป็นตัวชี้วัดการตรวจสอบข้าม (การตรวจสอบข้ามใช้เฉพาะข้อมูลการฝึกอบรม) พบ..._trainและ..._validตัวชี้วัดโดยการเรียกใช้การฝึกอบรมและการตรวจสอบความถูกต้องผ่านรูปแบบตามลำดับ ฉันต้องการใช้logloss_validหรือgini_validเพื่อเลือกรุ่นที่ดีที่สุด รุ่น 1 มี gini ที่ดีกว่า (เช่น AUC ที่ดีขึ้น) แต่รุ่นที่สองมี logloss ที่ดีกว่า คำถามของฉันคือแบบใดที่ฉันจะเลือกซึ่งฉันคิดว่าจะเป็นคำถามอะไรคือข้อดี / ข้อเสียของการใช้ gini (AUC) หรือ logloss เพื่อการตัดสินใจ

15 model-selection  validation  auc  gini  log-loss 

ฉันแค่อยากจะถามว่าหนังสือที่ดีที่สุดใน bootstrap นั้นในความคิดของคุณ โดยสิ่งนี้ฉันไม่ได้หมายถึงเฉพาะสิ่งที่นักเขียนเขียน คุณช่วยกรุณาระบุว่าหนังสือเล่มใดที่ดีที่สุดสำหรับคุณสำหรับ bootstrap ที่ครอบคลุมเกณฑ์ต่อไปนี้ พื้นฐานทางปรัชญา / ญาณวิทยาสำหรับเทคนิคที่แสดงโดเมนของการบังคับใช้จุดแข็งและจุดอ่อนสำคัญสำหรับการเลือกแบบจำลองหรือไม่ ชุดตัวอย่างง่ายๆที่แสดงการใช้งานการวางรากฐานทางปรัชญาโดยเฉพาะกับ Matlab?

14 sampling  model-selection  bootstrap  references  resampling 

จากการเปลี่ยนแปลงล่าสุดของสถิติการเลือกแบบจำลองเริ่มต้นในแพ็คเกจการพยากรณ์ของ R จาก AIC เป็น AICc ฉันสงสัยว่าอันหลังนั้นสามารถใช้งานได้ทุกที่ในอดีต ฉันมีคำถามหลายข้อเกี่ยวกับความเคารพและนี่คือคำถามแรก ฉันรู้ว่าการแทนที่ AIC ด้วย AICc ทุกที่เป็นสิ่งที่หนังสือที่มีชื่อเสียงใน (1)โดย Burnham และ Anderson (ไม่ใช่นักสถิติ) ตามที่สรุปไว้ที่นี่แนะนำ บางครั้งหนังสือเล่มนี้ถูกอ้างถึงโดยนักสถิติรุ่นเยาว์อย่างไร้ความปราณีดูความคิดเห็นต่อบล็อกโพสต์นี้โดย Rob Hyndmanแต่นักสถิติ Brian Brian Ripley ได้ให้คำแนะนำในลักษณะที่แตกต่างกันอย่างสิ้นเชิง: “Burnham and Anderson (2002) is a book I would recommend people NOT read until they have read the primary literature. I see no evidence …

14 model-selection  references  aic 

ในด้านจิตวิทยาและสาขาอื่น ๆ รูปแบบของการถดถอยแบบขั้นตอนมักถูกใช้ซึ่งเกี่ยวข้องกับสิ่งต่อไปนี้: ดูตัวทำนายที่เหลือ (ไม่มีตัวแบบในตอนแรก) และระบุตัวทำนายที่ทำให้เกิดการเปลี่ยนแปลง r-square ที่ใหญ่ที่สุด หากค่า p ของการเปลี่ยนแปลง r-square น้อยกว่าอัลฟา (โดยทั่วไปคือ. 05) ให้รวมตัวทำนายนั้นและกลับไปที่ขั้นตอนที่ 1 มิฉะนั้นหยุด ตัวอย่างเช่นดูขั้นตอนนี้ในโปรแกรม SPSS ขั้นตอนการวิพากษ์วิจารณ์เป็นประจำด้วยเหตุผลที่หลากหลาย (ดูการสนทนานี้ในเว็บไซต์ Stata พร้อมการอ้างอิง ) โดยเฉพาะอย่างยิ่งเว็บไซต์ Stata สรุปความคิดเห็นหลายประการโดย Frank Harrell ฉันสนใจข้อเรียกร้อง: [การถดถอยแบบขั้นตอน] ให้ค่า R-squared ที่มีความเอนเอียงไม่ดีที่จะสูง โดยเฉพาะบางส่วนของการวิจัยในปัจจุบันของฉันมุ่งเน้นไปที่การประมาณการประชากร R-ตาราง จากประชากร r-square ฉันอ้างถึงเปอร์เซ็นต์ของความแปรปรวนที่อธิบายโดยข้อมูลประชากรที่สร้างสมการในประชากร วรรณกรรมที่มีอยู่ส่วนใหญ่ที่ฉันกำลังตรวจสอบได้ใช้ขั้นตอนการถดถอยแบบขั้นตอนและฉันต้องการทราบว่าการประเมินที่ให้นั้นมีความลำเอียงหรือไม่และถ้าเป็นเช่นนั้น โดยเฉพาะอย่างยิ่งการศึกษาทั่วไปจะมีตัวทำนาย 30 ตัว n = 200 อัลฟาของการป้อน. 05 และการประมาณ …

14 regression  model-selection  bias  r-squared  stepwise-regression 

ฉันมีคำถามบางอย่างเกี่ยวกับ AIC และหวังว่าคุณจะสามารถช่วยฉันได้ ฉันใช้การเลือกแบบจำลอง (ย้อนกลับหรือไปข้างหน้า) ตาม AIC กับข้อมูลของฉัน และตัวแปรที่เลือกบางตัวก็จบลงด้วยค่า p> 0.05 ฉันรู้ว่าผู้คนกำลังพูดว่าเราควรเลือกแบบจำลองตาม AIC แทนค่า p ดังนั้นดูเหมือนว่า AIC และค่า p เป็นแนวคิดสองประการที่แตกต่างกัน มีคนบอกฉันว่าอะไรคือความแตกต่าง? สิ่งที่ฉันเข้าใจคือ: สำหรับการเลือกย้อนหลังโดยใช้ AIC สมมติว่าเรามี 3 ตัวแปร (var1, var2, var3) และ AIC ของรุ่นนี้คือ AIC * หากไม่รวมหนึ่งในสามของตัวแปรเหล่านี้จะไม่จบลงด้วย AIC ซึ่งต่ำกว่า AIC * อย่างมาก (ในแง่ของการกระจาย ch-square ด้วย df = 1) จากนั้นเราจะบอกว่าตัวแปรทั้งสามนี้เป็นผลลัพธ์สุดท้าย p-value ที่สำคัญสำหรับตัวแปร …

14 model-selection  p-value  aic 

ขั้นตอนการคัดเลือกแบบจำลอง Box-Jenkins ในการวิเคราะห์อนุกรมเวลาเริ่มต้นขึ้นโดยดูที่ฟังก์ชันการหาค่าความสัมพันธ์และฟังก์ชั่นความสัมพันธ์แบบกึ่งอัตโนมัติบางส่วนของชุดข้อมูล พล็อตเหล่านี้สามารถแนะนำและqที่เหมาะสมในโมเดลARMA ( p , q ) ขั้นตอนดำเนินการต่อโดยขอให้ผู้ใช้ใช้เกณฑ์ AIC / BIC เพื่อเลือกแบบจำลองที่เป็นทางเลือกมากที่สุดในบรรดารุ่นที่สร้างแบบจำลองที่มีเงื่อนไขข้อผิดพลาดของสัญญาณรบกวนสีขาวพีพีpQQq( p , q)(พี,Q)(p,q) ฉันสงสัยว่าขั้นตอนเหล่านี้ของการตรวจสอบด้วยภาพและการเลือกแบบจำลองตามเกณฑ์นั้นมีผลต่อข้อผิดพลาดมาตรฐานโดยประมาณของรุ่นสุดท้ายอย่างไร ฉันรู้ว่าขั้นตอนการค้นหาจำนวนมากในโดเมนแบบตัดขวางอาจมีอคติข้อผิดพลาดมาตรฐานลดลงเช่น ในขั้นตอนแรกการเลือกจำนวนล่าช้าที่เหมาะสมโดยการดูข้อมูล (ACF / PACF) ส่งผลต่อข้อผิดพลาดมาตรฐานสำหรับรุ่นอนุกรมเวลาอย่างไร ฉันเดาว่าการเลือกรูปแบบตามคะแนน AIC / BIC จะมีผลกระทบคล้ายกับวิธีการแบบตัดขวาง จริง ๆ แล้วฉันไม่ทราบเกี่ยวกับพื้นที่นี้มากนักดังนั้นความคิดเห็นใด ๆ ก็จะได้รับการชื่นชมในจุดนี้เช่นกัน สุดท้ายหากคุณจดบันทึกเกณฑ์ที่แม่นยำซึ่งใช้สำหรับแต่ละขั้นตอนคุณสามารถบูตกระบวนการทั้งหมดเพื่อประเมินข้อผิดพลาดมาตรฐานและกำจัดข้อกังวลเหล่านี้ได้หรือไม่

14 regression  time-series  arima  model-selection  box-jenkins 

ขณะนี้ฉันกำลังทำงานกับปัญหาที่เรามีชุดข้อมูลขนาดเล็กและมีความสนใจในลักษณะพิเศษเวรกรรมของการรักษาผล ที่ปรึกษาของฉันได้สั่งให้ฉันทำการถดถอยแบบไม่มีการเปลี่ยนแปลงบนตัวทำนายแต่ละตัวโดยให้ผลลัพธ์เป็นคำตอบจากนั้นให้การกำหนดการรักษาเป็นการตอบสนอง คือฉันกำลังถูกขอให้พอดีกับการถดถอยกับตัวแปรหนึ่งตัวในแต่ละครั้งและสร้างตารางผลลัพธ์ ฉันถามว่า "ทำไมเราต้องทำสิ่งนี้?" และคำตอบก็คือสิ่งที่เกิดขึ้นจาก "เราสนใจว่าตัวทำนายใดที่เกี่ยวข้องกับการกำหนดการรักษาและผลที่เกิดขึ้น ที่ปรึกษาของฉันเป็นนักสถิติที่ผ่านการฝึกอบรมไม่ใช่นักวิทยาศาสตร์ในสาขาอื่นดังนั้นฉันจึงเชื่อใจพวกเขา สิ่งนี้สมเหตุสมผล แต่ยังไม่ชัดเจนว่าจะใช้ผลลัพธ์ของการวิเคราะห์ที่ไม่แปรปรวนได้อย่างไร จะไม่เลือกตัวเลือกแบบจำลองจากผลลัพธ์นี้ในอคติที่สำคัญของการประมาณการและช่วงความเชื่อมั่นที่แคบลงหรือไม่ ทำไมทุกคนควรทำเช่นนี้? ฉันสับสนและที่ปรึกษาของฉันค่อนข้างทึบแสงในประเด็นเมื่อฉันนำมันมา ใครบ้างมีทรัพยากรเกี่ยวกับเทคนิคนี้ (NB: ที่ปรึกษาของฉันบอกว่าเราไม่ได้ใช้ค่า p เป็นค่าตัด แต่เราต้องการพิจารณา "ทุกอย่าง")

13 regression  multivariate-analysis  model-selection  causality  univariate 

จากสิ่งที่ฉันเข้าใจการเลือกตัวแปรตามค่า p (อย่างน้อยในบริบทการถดถอย) มีข้อบกพร่องสูง ดูเหมือนว่าการเลือกตัวแปรตาม AIC (หรือคล้ายกัน) ก็ถือว่ามีข้อบกพร่องบางอย่างด้วยเหตุผลที่คล้ายกันแม้ว่าจะดูเหมือนไม่ชัดเจน (เช่นดูคำถามของฉันและลิงก์บางส่วนในหัวข้อนี้ที่นี่: "การเลือกรุ่นตามขั้นตอน" คืออะไร? ) แต่สมมติว่าคุณเลือกหนึ่งในสองวิธีนี้เพื่อเลือกชุดพยากรณ์ที่ดีที่สุดในแบบจำลองของคุณ อัมและแอนเดอร์สัน 2002 (การเลือกแบบจำลองและการอนุมานหลายรูปแบบ: วิธีปฏิบัติเชิงทฤษฎีสารสนเทศ, หน้า 83) ระบุว่าไม่ควรผสมการเลือกตัวแปรตาม AIC กับการทดสอบสมมติฐาน : "การทดสอบสมมติฐานว่างและแนวทางสารสนเทศเชิงทฤษฎีควร ไม่ใช้ร่วมกันพวกเขาเป็นกระบวนทัศน์การวิเคราะห์ที่แตกต่างกันมาก " ในอีกทางหนึ่ง Zuur และคณะ 2009 (โมเดลเอฟเฟ็กต์ผสมกับส่วนขยายในระบบนิเวศด้วย R, หน้า 541) ดูเหมือนจะสนับสนุนการใช้AIC เพื่อค้นหาแบบจำลองที่ดีที่สุดก่อนแล้วจึงทำการ "ปรับจูน" โดยใช้การทดสอบสมมติฐาน : "ข้อเสียคือ AIC และคุณอาจต้องใช้การปรับแต่งแบบละเอียด (โดยใช้การทดสอบสมมติฐานจากแนวทางที่หนึ่ง) เมื่อ AIC ได้เลือกแบบจำลองที่ดีที่สุด " คุณสามารถดูว่าสิ่งนี้ทำให้ผู้อ่านหนังสือทั้งสองเล่มสับสนอย่างไร 1) "ค่าย" …

13 hypothesis-testing  multiple-regression  feature-selection  model-selection  aic 

ฉันมีชุดของค่าและที่เกี่ยวข้องในทางทฤษฎีชี้แจง:xxxyyy y=axby=axby = ax^b วิธีหนึ่งในการรับค่าสัมประสิทธิ์คือการใช้ลอการิทึมธรรมชาติทั้งสองด้านและปรับโมเดลเชิงเส้นให้เหมาะสม: > fit <- lm(log(y)~log(x)) > a <- exp(fit$coefficients[1]) > b <- fit$coefficients[2] อีกวิธีหนึ่งในการได้มาซึ่งสิ่งนี้คือการใช้การถดถอยแบบไม่เชิงเส้นโดยกำหนดค่าเริ่มต้นตามทฤษฎี: > fit <- nls(y~a*x^b, start=c(a=50, b=1.3)) การทดสอบของฉันแสดงผลลัพธ์ที่เกี่ยวข้องกับทฤษฎีได้ดีขึ้นและมากขึ้นถ้าฉันใช้อัลกอริทึมที่สอง อย่างไรก็ตามฉันต้องการทราบความหมายทางสถิติและความหมายของแต่ละวิธี อันไหนดีกว่ากัน?

13 r  regression  linear-model  model-selection  nonlinear-regression 

ในการตอบคำถามเกี่ยวกับการเลือกรูปแบบในการปรากฏตัวของพหุ , แฟรงก์ Harrell แนะนำ : วางตัวแปรทั้งหมดในแบบจำลอง แต่ไม่ทดสอบผลของตัวแปรเดียวที่ปรับสำหรับผลกระทบของตัวแปรที่แข่งขันกัน ... การทดสอบกลุ่มของตัวแปรที่แข่งขันกันนั้นมีประสิทธิภาพเพราะตัวแปร collinear รวมเข้าด้วยกันในการทดสอบความสัมพันธ์แบบอิสระหลายระดับโดยรวม แข่งขันกับแต่ละอื่น ๆ เช่นเมื่อคุณทดสอบตัวแปรแต่ละรายการ การทดสอบชิ้นอะไรคืออะไร? คุณสามารถยกตัวอย่างการใช้งานของพวกเขาได้rหรือไม่?

13 r  model-selection  multicollinearity 

ฉันคิดว่าฉันเข้าใจว่าพื้นฐานของการบูตสแตรปทำงานอย่างไร แต่ฉันไม่แน่ใจว่าฉันเข้าใจว่าฉันสามารถใช้การบูตสแตรปเพื่อการเลือกรูปแบบหรือเพื่อหลีกเลี่ยงการ overfitting ได้อย่างไร ตัวอย่างเช่นสำหรับการเลือกแบบจำลองคุณจะเลือกแบบจำลองที่ให้ข้อผิดพลาดต่ำสุด (อาจแปรปรวนหรือไม่) ในตัวอย่างบูตสแตรป มีข้อความใดบ้างที่กล่าวถึงวิธีใช้การบูตสแตรปปิ้งสำหรับการเลือกรุ่นหรือการตรวจสอบความถูกต้อง? แก้ไข:ดูกระทู้นี้และคำตอบโดย @ mark999 สำหรับบริบทเพิ่มเติมหลังคำถามนี้

13 model-selection  cross-validation  bootstrap 

ฉันกำลังใช้โมเดลโลจิสติก ชุดข้อมูลโมเดลจริงมีตัวแปรมากกว่า 100 ตัว แต่ฉันเลือกชุดข้อมูลทดสอบที่มีตัวแปรประมาณ 25 ตัว ก่อนหน้านั้นฉันยังสร้างชุดข้อมูลซึ่งมีตัวแปร 8-9 ตัว ฉันถูกบอกว่าค่า AIC และ SC สามารถนำมาใช้เพื่อเปรียบเทียบแบบจำลอง ฉันสังเกตว่าโมเดลมีค่า SC สูงกว่าแม้ว่าตัวแปรจะมีค่า p ต่ำ (เช่น 0053) สำหรับสัญชาตญาณของฉันแบบจำลองที่มีตัวแปรที่มีระดับนัยสำคัญที่ดีควรทำให้ค่า SC และ AIC ต่ำ แต่นั่นไม่ได้เกิดขึ้น ใครก็ได้ช่วยอธิบายให้ฟังหน่อยได้ไหม ในระยะสั้นฉันต้องการถามคำถามต่อไปนี้: จำนวนตัวแปรเกี่ยวข้องกับ SC AIC หรือไม่ ฉันควรมุ่งเน้นที่ค่า p หรือค่า SC AIC ต่ำหรือไม่ อะไรคือวิธีทั่วไปในการลดค่า SC AIC

13 model-selection  logistic  aic 

ฉันมาข้ามขนาดใหญ่ร่างกายของวรรณกรรมซึ่งสนับสนุนโดยใช้สารสนเทศฟิชเชอร์เมตริกเป็นธรรมชาติในท้องถิ่นตัวชี้วัดในพื้นที่ของการกระจายความน่าจะเป็นแล้วการบูรณาการมากกว่านั้นเพื่อกำหนดระยะทางและปริมาณ แต่ปริมาณเหล่านี้ "รวม" มีประโยชน์จริง ๆ สำหรับอะไร? ฉันพบว่าไม่มีเหตุผลทางทฤษฎีและการใช้งานจริงน้อยมาก หนึ่งคือผู้ชายของเลบานอนการทำงานที่เขาใช้ "ระยะทางฟิชเชอร์" เอกสารประเภทและอีกคนหนึ่งคือโรดริเก' เอบีซีของรุ่นเลือก ...ที่ 'ฟิชเชอร์ไดรฟ์' ถูกนำมาใช้สำหรับการเลือกรูปแบบ เห็นได้ชัดว่าการใช้ "ปริมาณข้อมูล" ให้คำสั่ง "ปรับปรุงขนาด" เหนือ AIC และ BIC สำหรับการเลือกแบบจำลอง แต่ฉันไม่ได้เห็นงานใด ๆ ที่ติดตามมา เหตุผลทางทฤษฎีอาจจะมีการวางนัยทั่วไปซึ่งใช้การวัดระยะทางหรือปริมาตรนี้และดีกว่าขอบเขตที่ได้จาก MDL หรือการโต้แย้งแบบอะซิมโทติคหรือวิธีการที่ใช้ปริมาณหนึ่งในนั้นที่ดีขึ้นในสถานการณ์จริงที่เหมาะสม ผลลัพธ์ใด ๆ ของชนิดนี้

13 model-selection  information-geometry 

การถดถอยแบบขั้นตอนได้รับการใช้มากเกินไปในเอกสารชีวการแพทย์จำนวนมากในอดีต แต่สิ่งนี้ดูเหมือนว่าจะดีขึ้นด้วยการศึกษาที่ดีขึ้นของปัญหามากมาย ผู้ตรวจสอบรุ่นเก่าหลายคนยังคงขอมัน สถานการณ์ใดที่การถดถอยแบบขั้นตอนมีบทบาทและควรใช้ถ้ามี

13 regression  multiple-regression  feature-selection  model-selection  stepwise-regression 

ฉันเข้าใจหลักการพื้นฐานที่อยู่เบื้องหลังอัลกอริทึมสำหรับ LLE ประกอบด้วยสามขั้นตอน การค้นหาย่านที่คุ้นเคยของแต่ละจุดข้อมูลด้วยตัวชี้วัดบางอย่างเช่น k-nn ค้นหาน้ำหนักสำหรับแต่ละเพื่อนบ้านซึ่งแสดงถึงผลกระทบที่เพื่อนบ้านมีต่อจุดข้อมูล สร้างการฝังข้อมูลในระดับต่ำตามน้ำหนักที่คำนวณ แต่คำอธิบายทางคณิตศาสตร์ของขั้นตอนที่ 2 และ 3 นั้นสร้างความสับสนในหนังสือเรียนและแหล่งข้อมูลออนไลน์ทั้งหมดที่ฉันได้อ่าน ฉันไม่สามารถให้เหตุผลว่าทำไมจึงใช้สูตรนี้ ขั้นตอนเหล่านี้มีการปฏิบัติอย่างไรในทางปฏิบัติ มีวิธีที่เข้าใจง่าย ๆ ในการอธิบายสูตรทางคณิตศาสตร์ที่ใช้หรือไม่? ข้อมูลอ้างอิง: http://www.cs.nyu.edu/~roweis/lle/publications.html

13 machine-learning  model-selection  feature-selection  dimensionality-reduction  nonlinear