คำถามติดแท็ก model-selection

ฉันได้คำนวณ AIC และ AICc เพื่อเปรียบเทียบโมเดลเชิงเส้นผสมสองแบบทั่วไป AICs เป็นค่าบวกกับรุ่น 1 ที่มี AIC ต่ำกว่ารุ่น 2 อย่างไรก็ตามค่าสำหรับ AICc นั้นเป็นค่าลบทั้งคู่ (รุ่น 1 ยังคงเป็น <รุ่น 2) การใช้และเปรียบเทียบค่า AICc เชิงลบใช้ได้หรือไม่

39 mixed-model  model-selection  aic 

มีการศึกษาเชิงประจักษ์ที่แสดงให้เห็นถึงการใช้กฎข้อผิดพลาดมาตรฐานเดียวเพื่อสนับสนุนการประหยัดเงินหรือไม่? เห็นได้ชัดว่ามันขึ้นอยู่กับกระบวนการสร้างข้อมูล แต่สิ่งใดก็ตามที่วิเคราะห์คลังข้อมูลขนาดใหญ่จะเป็นการอ่านที่น่าสนใจมาก "กฎข้อผิดพลาดมาตรฐานหนึ่งข้อ" จะถูกนำไปใช้เมื่อเลือกรุ่นผ่านการตรวจสอบข้าม (หรือโดยทั่วไปผ่านขั้นตอนการสุ่มใด ๆ ) สมมติเราพิจารณารุ่นการจัดทำดัชนีความซับซ้อนพารามิเตอร์เช่นว่าคือ "ความซับซ้อนมากขึ้น" กว่าว่าเมื่อtau' สมมติว่าเราประเมินคุณภาพของโมเดลโดยกระบวนการสุ่มตัวอย่างเช่นการตรวจสอบข้าม ให้แสดงถึงคุณภาพ "เฉลี่ย" ของเช่นค่าความผิดพลาดการทำนายค่าเฉลี่ยของการข้ามการตรวจสอบความถูกต้องจำนวนมาก เราต้องการลดปริมาณนี้MτMτM_\tauτ∈Rτ∈R\tau\in\mathbb{R}MτMτM_\tauMτ′Mτ′M_{\tau'}τ>τ′τ>τ′\tau>\tau'MMMq(M)q(M)q(M)MMM อย่างไรก็ตามเนื่องจากการวัดคุณภาพของเรานั้นมาจากขั้นตอนการสุ่มตัวอย่างบางอย่างจึงมาพร้อมกับความแปรปรวน อนุญาตให้แสดงถึงข้อผิดพลาดมาตรฐานของคุณภาพของในการดำเนินการสุ่มเช่นค่าเบี่ยงเบนมาตรฐานของข้อผิดพลาดการคาดการณ์นอกถุงของในการดำเนินการตรวจสอบข้ามs(M)s(M)s(M)MMMMMM จากนั้นเราก็เลือกรูปแบบที่เป็นที่เล็กที่สุดดังกล่าวว่าMτMτM_\tauττ\tauττ\tau q(Mτ)≤q(Mτ′)+s(Mτ′),q(Mτ)≤q(Mτ′)+s(Mτ′),q(M_\tau)\leq q(M_{\tau'})+s(M_{\tau'}), ที่ดัชนี (โดยเฉลี่ย) แบบที่ดีที่สุด,tau)τ′τ′\tau'q(Mτ′)=minτq(Mτ)q(Mτ′)=minτq(Mτ)q(M_{\tau'})=\min_\tau q(M_\tau) นั่นคือเราเลือกแบบจำลองที่ง่ายที่สุด ( เล็กที่สุด ττ\tau ) ซึ่งไม่เกินหนึ่งข้อผิดพลาดมาตรฐานที่แย่กว่าแบบจำลองที่ดีที่สุดMτ′Mτ′M_{\tau'}ในขั้นตอนการสุ่ม ฉันพบ "กฎข้อผิดพลาดมาตรฐานหนึ่งข้อ" ที่อ้างถึงในที่ต่อไปนี้ แต่ไม่เคยมีเหตุผลที่ชัดเจน: หน้า 80 ในการจำแนกและต้นไม้ถดถอยโดย Breiman, Friedman, Stone & Olshen (1984) หน้า 415 ในการประมาณจำนวนกลุ่มในชุดข้อมูลผ่านสถิติ Gapโดย Tibshirani, Walther …

38 cross-validation  model-selection  regularization 

เมื่อใช้การตรวจสอบข้ามที่จะทำแบบเลือก (เช่นเช่น hyperparameter จูน) และการประเมินประสิทธิภาพของรูปแบบที่ดีที่สุดควรใช้ซ้อนกันตรวจสอบข้าม ลูปภายนอกคือการประเมินประสิทธิภาพของโมเดลและลูปด้านในคือเลือกโมเดลที่ดีที่สุด รุ่นจะถูกเลือกในชุดฝึกอบรมภายนอก (โดยใช้วง CV ภายใน) และวัดประสิทธิภาพของชุดการทดสอบภายนอกที่สอดคล้องกัน สิ่งนี้ได้รับการพูดคุยและอธิบายในหลาย ๆ หัวข้อ (เช่นที่นี่การฝึกอบรมกับชุดข้อมูลแบบเต็มหลังจากการตรวจสอบข้ามได้หรือไม่ , ดูคำตอบโดย @DikranMarsupial) และชัดเจนสำหรับฉันทั้งหมด การทำเฉพาะการตรวจสอบความถูกต้องไขว้แบบง่าย (ไม่ซ้อนกัน) สำหรับการเลือกทั้งโมเดลและการประมาณประสิทธิภาพสามารถให้ผลการประเมินประสิทธิภาพแบบเอนเอียงในเชิงบวก @DikranMarsupial มีกระดาษ 2010 ว่าหัวข้อนี้ ( ในกว่ากระชับในรุ่นต่อมาการคัดเลือกและการคัดเลือกอคติในการประเมินผลการปฏิบัติงาน ) มาตรา 4.3 ถูกเรียกว่าเป็นมากกว่ากระชับในรุ่นเลือกจริงๆกังวลของแท้ในการปฏิบัติ? - และกระดาษแสดงว่าคำตอบคือใช่ จากทั้งหมดที่กล่าวมาตอนนี้ฉันกำลังทำงานกับหลายตัวแปรการถดถอยหลายสันเขาและฉันไม่เห็นความแตกต่างระหว่าง CV ที่เรียบง่ายและซ้อนกันและ CV ที่ซ้อนกันดังนั้นในกรณีนี้ดูเหมือนว่าเป็นภาระการคำนวณที่ไม่จำเป็น คำถามของฉันคือ: ภายใต้เงื่อนไขใด CV ง่าย ๆ จะให้อคติที่สังเกตได้ซึ่งหลีกเลี่ยงด้วย CV แบบซ้อน? CV ที่ซ้อนกันมีความสำคัญในทางปฏิบัติเมื่อใดและจะไม่สำคัญมากเมื่อไหร่? มีกฎของหัวแม่มือหรือไม่? …

36 cross-validation  model-selection  ridge-regression 

ฉันกำลังทำงานเพื่อสร้างแบบจำลองโดยใช้การถดถอยเชิงเส้นหลายครั้ง หลังจากเล่นซอกับโมเดลของฉันฉันไม่แน่ใจว่าจะกำหนดตัวแปรที่จะเก็บได้ดีที่สุดและควรลบอย่างไร แบบจำลองของฉันเริ่มต้นด้วยตัวพยากรณ์ 10 ตัวสำหรับ DV เมื่อใช้ตัวทำนายทั้ง 10 ตัวสี่คนถือว่ามีนัยสำคัญ หากฉันลบตัวพยากรณ์ที่ไม่ถูกต้องออกไปบางตัวเท่านั้นตัวพยากรณ์บางตัวที่ไม่ได้มีนัยสำคัญในตอนแรกจะกลายเป็นสิ่งสำคัญ สิ่งใดทำให้ฉันมีคำถามของฉัน: ใครจะไปพิจารณาตัวทำนายที่จะรวมในแบบจำลอง สำหรับฉันแล้วคุณควรใช้แบบจำลองนี้กับผู้ทำนายทุกคนเอาสิ่งที่ไม่สำคัญออกแล้วจึงรันใหม่อีกครั้ง แต่ถ้าการลบตัวพยากรณ์เหล่านี้ออกไปทำให้ผู้อื่นมีความสำคัญฉันก็ยังสงสัยว่าฉันกำลังใช้วิธีการที่ผิดทั้งหมดหรือไม่ ผมเชื่อว่านี้ด้ายคล้ายกับคำถามของฉัน แต่ฉันไม่แน่ใจว่าฉันกำลังตีความอภิปรายได้อย่างถูกต้อง บางทีนี่อาจเป็นหัวข้อการออกแบบเชิงทดลอง แต่อาจมีบางคนมีประสบการณ์ที่พวกเขาสามารถแบ่งปันได้

35 regression  multiple-regression  feature-selection  modeling  model-selection 

ฉันได้เห็นคำถามบางอย่างที่นี่เกี่ยวกับความหมายในแง่คนธรรมดา แต่สิ่งเหล่านี้มันธรรมดาเกินไปสำหรับวัตถุประสงค์ของฉันที่นี่ ฉันกำลังพยายามที่จะเข้าใจทางคณิตศาสตร์ว่าคะแนน AIC หมายถึงอะไร แต่ในเวลาเดียวกันฉันไม่ต้องการหลักฐานที่เข้มงวดซึ่งจะทำให้ฉันไม่เห็นประเด็นที่สำคัญกว่านี้ ตัวอย่างเช่นถ้านี่คือแคลคูลัสฉันจะมีความสุขกับ infinitesimals และถ้านี่เป็นทฤษฎีความน่าจะเป็น ความพยายามของฉัน โดยอ่านที่นี่และสัญกรณ์น้ำตาลของฉันเองเป็นเกณฑ์ AIC ของรุ่นบนชุดข้อมูลดังนี้: ที่เป็นจำนวนพารามิเตอร์ของแบบจำลองและเป็นค่าฟังก์ชั่นความน่าจะเป็นสูงสุดของรุ่นบนชุดDAICm,DAICm,D\text{AIC}_{m,D}mmmDDDAICm,D=2km−2ln(Lm,D)AICm,D=2km−2ln⁡(Lm,D) \text{AIC}_{m,D} = 2k_m - 2 \ln(L_{m,D}) kmkmk_mmmmLm,DLm,DL_{m,D}mmmDDD นี่คือความเข้าใจของฉันในสิ่งที่ข้างต้นหมายถึง: m=arg maxθPr(D|θ)m=arg maxθPr(D|θ) m = \underset{\theta}{\text{arg max}\,} \Pr(D|\theta) ทางนี้: kmkmk_mเป็นจำนวนพารามิเตอร์ของม.mmm Lm,D=Pr(D|m)=L(m|D)Lm,D=Pr(D|m)=L(m|D)L_{m,D} = \Pr(D|m) = \mathcal{L}(m|D)D) ตอนนี้ลองเขียน AIC: AICm,D===2km−2ln(Lm,D)2km−2ln(Pr(D|m))2km−2loge(Pr(D|m))AICm,D=2km−2ln⁡(Lm,D)=2km−2ln⁡(Pr(D|m))=2km−2loge⁡(Pr(D|m))\begin{split} \text{AIC}_{m,D} =& 2k_m - 2 \ln(L_{m,D})\\ =& 2k_m - 2 …

34 self-study  model-selection  aic  entropy  information-theory 

มีหลายเธรดใน CrossValidated ในหัวข้อการเลือกรุ่นและการตรวจสอบความถูกต้อง นี่คือบางส่วน: การตรวจสอบความถูกต้องไขว้ภายนอกและการเลือกรุ่น คำตอบยอดนิยมของ @ @ DikranMarsupial สำหรับการเลือกคุณสมบัติและการตรวจสอบความถูกต้องข้าม อย่างไรก็ตามคำตอบของเธรดเหล่านั้นค่อนข้างทั่วไปและเน้นประเด็นด้วยวิธีการเฉพาะเพื่อการตรวจสอบข้ามและการเลือกแบบจำลอง ในการทำสิ่งต่าง ๆ ให้เป็นรูปธรรมมากที่สุดให้พูดเช่นว่าเรากำลังทำงานกับ SVM ด้วยเคอร์เนล RBF: และนั่น ฉันมีชุดข้อมูลของคุณสมบัติXและป้ายกำกับyและฉันต้องการK(x,x′)=(γ|x−x′|)2K(x,x′)=(γ|x−x′|)2K(x, x' ) = (\gamma \, \vert x - x'\vert)^2 ค้นหาค่าที่ดีที่สุดเท่าที่จะเป็นไปได้ในโมเดลของฉัน (และγγ\gammaCCC ) ฝึกอบรม SVM ด้วยชุดข้อมูลของฉัน (สำหรับการปรับใช้ขั้นสุดท้าย) ประเมินข้อผิดพลาดทั่วไปและความไม่แน่นอน (ความแปรปรวน) รอบข้อผิดพลาดนี้ ในการทำเช่นนั้นฉันจะค้นหากริดเป็นการส่วนตัวเช่นฉันลองชุดค่าผสม และไปได้ทั้งหมด เพื่อความง่ายเราสามารถสมมติช่วงต่อไปนี้:CCCγγ\gamma C∈{10,100,1000}C∈{10,100,1000}C \in \{10, 100, 1000\} γ∈{0.1,0.2,0.5,1.0}γ∈{0.1,0.2,0.5,1.0}\gamma \in \{0.1, 0.2, …

34 cross-validation  model-selection 

เหตุใดขั้นตอนการตรวจสอบข้ามจึงเอาชนะปัญหาการ overfitting แบบจำลอง?

34 regression  model-selection  cross-validation 

ฉันอยากรู้เกี่ยวกับขั้นตอนการทำซ้ำที่สามารถใช้เพื่อค้นหารูปแบบการทำงานของฟังก์ชัน y = f(A, B, C) + error_termที่การป้อนข้อมูลของฉันเท่านั้นเป็นชุดของการสังเกต ( y, A, BและC) โปรดทราบว่ารูปแบบการทำงานของfไม่เป็นที่รู้จัก พิจารณาชุดข้อมูลต่อไปนี้: AA BB CC DD EE FF == == == == == == 98 11 66 84 67 10500 71 44 48 12 47 7250 54 28 90 73 95 5463 34 95 15 45 75 2581 …

34 regression  machine-learning  algorithms  model-selection  data-mining 

ฉันเข้าใจว่าการกระจายการคาดการณ์หลังคืออะไรและฉันได้อ่านเกี่ยวกับการตรวจสอบการคาดการณ์หลังแม้ว่ามันจะไม่ชัดเจนสำหรับฉันว่ามันทำอะไร การตรวจสอบการคาดการณ์หลังคืออะไร? เหตุใดผู้เขียนบางคนกล่าวว่าการเรียกใช้การตรวจสอบการคาดการณ์หลังคือ "ใช้ข้อมูลสองครั้ง" และไม่ควรถูกทำร้าย (หรือแม้กระทั่งว่าไม่ใช่ Bayesian)? (เช่นดูสิ่งนี้หรือสิ่งนี้ ) การตรวจสอบนี้มีประโยชน์อะไรบ้าง? สามารถใช้กับการเลือกแบบจำลองได้จริงหรือไม่? (เช่นมีปัจจัยทั้งในเรื่องความฟิตและความซับซ้อนของโมเดลหรือไม่)

33 bayesian  model-selection  posterior 

ฉันมักจะใช้ BIC เป็นความเข้าใจของฉันก็คือว่ามันให้ความสำคัญกับความแตกต่างอย่างยิ่งกว่า AIC อย่างไรก็ตามฉันตัดสินใจที่จะใช้วิธีการที่ครอบคลุมมากขึ้นในตอนนี้และต้องการใช้ AIC ด้วยเช่นกัน ฉันรู้ว่า Raftery (1995) นำเสนอแนวทางที่ดีสำหรับความแตกต่างของ BIC: 0-2 อ่อนแอ 2-4 เป็นหลักฐานเชิงบวกสำหรับแบบจำลองที่ดีกว่า ฯลฯ ฉันดูในตำราเรียนและพวกเขาดูแปลก ๆ ใน AIC (ดูเหมือนความแตกต่างที่มากขึ้นนั้นอ่อนแอและความแตกต่างเล็กน้อยใน AIC หมายถึงแบบจำลองที่ดีกว่า) สิ่งนี้ขัดกับสิ่งที่ฉันรู้ว่าฉันได้รับการสอนแล้ว ความเข้าใจของฉันคือคุณต้องการ AIC ที่ต่ำกว่า ไม่มีใครทราบว่าแนวทางของ Raftery ขยายไปถึง AIC ด้วยหรือฉันอาจอ้างอิงแนวทางบางประการสำหรับ "ความแข็งแกร่งของหลักฐาน" สำหรับรุ่นหนึ่งเทียบกับอีกรุ่นหนึ่งหรือไม่? และใช่การตัดไม่ได้ยอดเยี่ยม (ฉันคิดว่ามันน่ารำคาญ) แต่มันมีประโยชน์เมื่อเปรียบเทียบหลักฐานประเภทต่าง ๆ

32 r  model-selection  references  aic  bic 

แค่ความคิด: แบบจำลองทางเลือกมักเป็นตัวเลือกเริ่มต้นในการเลือกรุ่น แต่วิธีนี้ล้าสมัยไปมากแค่ไหน? ฉันอยากรู้ว่าแนวโน้มของเราที่มีต่อช่วงเวลาที่เป็น parsimony นั้นเป็นเพียงช่วงเวลาหนึ่งของกฎ abaci และสไลด์ (หรือคอมพิวเตอร์ที่ไม่ทันสมัยอย่างจริงจังมากขึ้น) พลังการคำนวณของวันนี้ทำให้เราสามารถสร้างแบบจำลองที่ซับซ้อนมากขึ้นพร้อมความสามารถในการทำนายที่มากขึ้น จากผลของเพดานที่เพิ่มขึ้นในพลังการคำนวณนี้เรายังคงต้องหันเหความสนใจไปยังความเรียบง่ายหรือไม่ แน่นอนว่าโมเดลที่เรียบง่ายนั้นง่ายต่อการเข้าใจและตีความ แต่ในยุคของชุดข้อมูลที่มีจำนวนเพิ่มขึ้นเรื่อย ๆ พร้อมกับจำนวนตัวแปรที่มากขึ้นและการเปลี่ยนไปสู่การมุ่งเน้นที่ความสามารถในการทำนายมากขึ้น คิด?

31 predictive-models  model-selection  model 

เป็นไปได้หรือไม่ที่จะคำนวณค่า AIC หรือ BIC สำหรับตัวแบบการถดถอยแบบบ่วงบาศและตัวแบบที่ทำให้เป็นมาตรฐานอื่นที่พารามิเตอร์จะเข้าสู่สมการเพียงบางส่วนเท่านั้น เรากำหนดระดับของเสรีภาพได้อย่างไร ฉันใช้ R เพื่อให้พอดีกับแบบจำลองการถดถอยแบบ lasso กับglmnet()ฟังก์ชันจากglmnetแพ็คเกจและฉันต้องการทราบวิธีคำนวณค่า AIC และ BIC สำหรับแบบจำลอง ด้วยวิธีนี้ฉันอาจเปรียบเทียบค่ากับแบบจำลองที่พอดีโดยไม่มีการทำให้เป็นมาตรฐาน เป็นไปได้ที่จะทำ?

31 r  model-selection  lasso  aic  bic 

เมื่อเร็ว ๆ นี้ฉันเจอกระดาษที่เสนอให้ใช้ตัวจําแนกk-NNบนชุดข้อมูลเฉพาะ ผู้เขียนใช้ตัวอย่างข้อมูลทั้งหมดที่มีเพื่อดำเนินการตรวจสอบความถูกต้องข้าม k-fold สำหรับค่าk ที่แตกต่างกันและรายงานผลการตรวจสอบความถูกต้องข้ามของการกำหนดค่าพารามิเตอร์พารามิเตอร์ที่ดีที่สุด สำหรับความรู้ของฉันผลลัพธ์นี้มีความลำเอียงและพวกเขาควรจะมีชุดการทดสอบแยกต่างหากเพื่อให้ได้การประเมินความถูกต้องของตัวอย่างที่ไม่ได้ใช้ในการเพิ่มประสิทธิภาพพารามิเตอร์มากเกินไป ฉันถูกไหม? คุณสามารถให้ข้อมูลอ้างอิงบางส่วน (ควรเป็นบทความวิจัย) ที่อธิบายการใช้การตรวจสอบไขว้ในทางที่ผิดหรือไม่?

30 cross-validation  references  model-selection  model-evaluation 

สำหรับ LASSO (และขั้นตอนการเลือกรุ่นอื่น ๆ ) มันเป็นสิ่งสำคัญที่จะช่วยลดการคาดการณ์ ทั่วไป คำแนะนำของ ผมต่อไปนี้เป็นเพียงการใช้ 0 เฉลี่ย 1 การฟื้นฟูส่วนเบี่ยงเบนมาตรฐานของตัวแปรอย่างต่อเนื่อง แต่จะทำอย่างไรกับหุ่น? เช่นบางตัวอย่างที่นำมาใช้จากโรงเรียนภาคฤดูร้อน (ยอดเยี่ยม) เดียวกันฉันเชื่อมโยงกับ rescales ตัวแปรต่อเนื่องให้อยู่ระหว่าง 0 และ 1 (ไม่ดีกับค่าผิดปกติแม้ว่า) อาจเทียบได้กับหุ่น แต่ถึงอย่างนั้นก็ไม่ได้รับประกันว่าสัมประสิทธิ์ควรจะมีขนาดเท่ากันและทำให้ถูกลงโทษในทำนองเดียวกันเหตุผลสำคัญสำหรับการช่วยชีวิตไม่ใช่?

30 predictive-models  model-selection  lasso  standardization  multidimensional-scaling 

คุณจะเลือกรุ่นจากรุ่นที่แตกต่างกันซึ่งเลือกโดยวิธีการที่แตกต่างกัน (เช่นการเลือกถอยหลังหรือการส่งต่อ) นอกจากนี้แบบจำลองทางการเงินคืออะไร?

28 regression  model-selection