คำถามติดแท็ก modeling

AIC และ BIC เป็นทั้งสองวิธีในการประเมินแบบจำลองที่ถูกลงโทษสำหรับจำนวนพารามิเตอร์โดยประมาณ ดังที่ฉันเข้าใจ BIC จะลงโทษโมเดลสำหรับพารามิเตอร์ฟรีมากกว่า AIC นอกเหนือจากการตั้งค่าตามความเข้มงวดของเกณฑ์แล้วมีเหตุผลอื่นอีกไหมที่จะชอบ AIC มากกว่า BIC หรือในทางกลับกัน?

222 modeling  aic  cross-validation  bic  model-selection 

ลองนึกภาพสถานการณ์การเรียนรู้ของเครื่องมาตรฐาน: คุณกำลังเผชิญหน้ากับชุดข้อมูลหลายตัวแปรขนาดใหญ่และคุณมีความเข้าใจที่ไม่ชัดเจน สิ่งที่คุณต้องทำคือการคาดเดาเกี่ยวกับตัวแปรตามสิ่งที่คุณมี ตามปกติคุณจะต้องล้างข้อมูลดูสถิติเชิงพรรณนาเรียกใช้บางรุ่นตรวจสอบความถูกต้องของข้อมูลเป็นต้น แต่หลังจากผ่านไปหลายครั้งพยายามกลับไปกลับมาและลองใช้แบบจำลองหลาย ๆ แบบซึ่งดูเหมือนว่าจะไม่มีอะไรเกิดขึ้น คุณสามารถใช้เวลาหลายชั่วโมงหลายวันหรือหลายสัปดาห์สำหรับปัญหาดังกล่าว ... คำถามคือเมื่อจะหยุด? คุณจะรู้ได้อย่างไรว่าข้อมูลของคุณสิ้นหวังจริง ๆ และโมเดลแฟนซีทั้งหมดจะไม่ทำให้คุณดีไปกว่าการคาดการณ์ผลลัพธ์เฉลี่ยสำหรับทุกกรณีหรือวิธีแก้ปัญหาเล็กน้อยอื่น ๆ แน่นอนว่านี่เป็นปัญหาการคาดการณ์ แต่เท่าที่ฉันรู้มันยากที่จะประเมินการคาดการณ์สำหรับข้อมูลหลายตัวแปรก่อนที่จะลองทำบางสิ่ง หรือฉันผิด คำเตือน:คำถามนี้ได้รับแรงบันดาลใจจากคำถามนี้ เมื่อไหร่ที่ฉันจะหยุดหานางแบบ? ที่ไม่ดึงดูดความสนใจมาก มันจะดีที่มีคำตอบรายละเอียดสำหรับคำถามดังกล่าวสำหรับการอ้างอิง

207 machine-learning  forecasting  modeling  model-selection  forecastability 

มันเคยถูกต้องหรือไม่ที่จะรวมการโต้ตอบสองทางในแบบจำลองโดยไม่รวมถึงเอฟเฟกต์หลัก ๆ ? ถ้าสมมติฐานของคุณเกี่ยวกับการมีปฏิสัมพันธ์เพียงอย่างเดียวคุณยังจำเป็นต้องใส่เอฟเฟกต์หลัก ๆ หรือไม่?

85 regression  modeling  interaction  regression-coefficients 

ฉันชอบหนังสือ G Van Belle เกี่ยวกับกฎทางสถิติของ Thumbและข้อผิดพลาดทั่วไปในสถิติ (และวิธีการหลีกเลี่ยง)จาก Phillip I Good และ James W. Hardin ข้อผิดพลาดเหล่านี้จะจัดการกับข้อผิดพลาดทั่วไปเมื่อตีความผลลัพธ์จากการศึกษาเชิงทดลองและเชิงสังเกตการณ์และให้คำแนะนำเชิงปฏิบัติสำหรับการอนุมานเชิงสถิติหรือการวิเคราะห์ข้อมูลเชิงสำรวจ แต่ฉันรู้สึกว่าแนวทาง "ทันสมัย" ค่อนข้างขาดโดยเฉพาะอย่างยิ่งการใช้สถิติการคำนวณและการใช้งานที่เพิ่มขึ้นอย่างต่อเนื่องในหลาย ๆ ด้านหรือการแนะนำเทคนิคจากชุมชนการเรียนรู้ของเครื่องจักรเช่นชีวสถิติคลินิกหรือระบาดวิทยาทางพันธุกรรม นอกเหนือจากเทคนิคการคำนวณหรือข้อผิดพลาดทั่วไปในการสร้างภาพข้อมูลซึ่งสามารถแก้ไขได้ที่อื่นฉันต้องการถาม: อะไรคือกฎสูงสุดของหัวแม่มือที่คุณอยากจะแนะนำสำหรับการวิเคราะห์ข้อมูลที่มีประสิทธิภาพ? ( หนึ่งกฎต่อคำตอบโปรด ) ฉันกำลังคิดถึงแนวทางที่คุณอาจมอบให้กับเพื่อนร่วมงานนักวิจัยที่ไม่มีพื้นฐานด้านการสร้างแบบจำลองทางสถิติที่ดีหรือนักเรียนในระดับกลางถึงระดับสูง สิ่งนี้อาจเกี่ยวข้องกับขั้นตอนต่าง ๆ ของการวิเคราะห์ข้อมูลเช่นกลยุทธ์การสุ่มตัวอย่างการเลือกคุณสมบัติหรือการสร้างแบบจำลองการเปรียบเทียบแบบจำลองการประมาณค่าภายหลัง ฯลฯ

85 modeling  eda  rule-of-thumb 

ฉันสงสัยว่าสิ่งที่มีค่าในการใช้ตัวแปรทำนายอย่างต่อเนื่องและสลายมัน (เช่นเป็น quintiles) ก่อนที่จะใช้ในแบบจำลอง สำหรับฉันแล้วดูเหมือนว่าการเปลี่ยนแปลงตัวแปรทำให้เราสูญเสียข้อมูล นี่เป็นเพียงเพื่อให้เราสามารถจำลองเอฟเฟกต์ที่ไม่ใช่เชิงเส้นได้หรือไม่ ถ้าเราเก็บตัวแปรอย่างต่อเนื่องและมันไม่ได้เป็นความสัมพันธ์เชิงเส้นตรงที่เราจะต้องเกิดขึ้นกับเส้นโค้งบางชนิดเพื่อให้พอดีกับข้อมูลหรือไม่

78 regression  modeling  continuous-data  binning  regression-strategies 

"โดยพื้นฐานแล้วทุกรุ่นผิด แต่บางรุ่นก็มีประโยชน์" --- กล่องจอร์จสอี; นอร์แมนอาร์เดรเปอร์ (1987) การสร้างแบบจำลองและการตอบโต้พื้นผิวหน้า 424 ไวลีย์ ไอ 0471810339 ความหมายของวลีข้างต้นคืออะไร?

76 modeling 

มิวสิกวิดีโอของ PSY "Gangnam style"ได้รับความนิยมหลังจากนั้นไม่เกิน 2 เดือนผู้ชมประมาณ 540 ล้านคน ฉันได้เรียนรู้สิ่งนี้จากเด็กอายุสิบสามของฉันที่งานเลี้ยงอาหารค่ำเมื่อสัปดาห์ที่แล้วและในไม่ช้าการอภิปรายก็ดำเนินไปในทิศทางที่เป็นไปได้ถ้ามันเป็นไปได้ที่จะทำนายว่ามีผู้ชมกี่คนใน 10-12 วันและเมื่อไหร่ จะส่งผู้ชม 800 ล้านคนหรือผู้ชม 1 พันล้านคน นี่คือภาพจากจำนวนผู้ชมนับตั้งแต่มีการโพสต์: นี่คือรูปภาพจากจำนวนผู้ชมของ No1 "Justin Biever-Baby" และ No2 "Eminem - รักในแบบที่คุณโกหก" มิวสิควิดีโอที่ทั้งคู่อยู่กันมานานกว่านี้มาก ความพยายามครั้งแรกของฉันที่จะให้เหตุผลเกี่ยวกับตัวแบบคือมันควรจะเป็น S-curve แต่ดูเหมือนจะไม่เหมาะกับเพลง No1 และ No2 และยังไม่พอดีที่จะไม่มีการ จำกัด จำนวนการดูวิดีโอเพลง สามารถมีได้เพียงการเติบโตที่ช้าลง ดังนั้นคำถามของฉันคือฉันควรใช้รูปแบบใดในการทำนายจำนวนผู้ชมมิวสิควิดีโอ

73 modeling  web 

คำถาม: ฉันต้องการความมั่นใจในบางสิ่งบางอย่างการใช้การตรวจสอบความถูกต้องข้ามของ k-fold กับอนุกรมเวลานั้นตรงไปตรงมาหรือไม่หรือเราจำเป็นต้องให้ความสนใจเป็นพิเศษก่อนใช้งานหรือไม่ แบ็คกราวน์: ฉันกำลังสร้างโมเดลอนุกรมเวลา 6 ปี (ที่มีลูกโซ่กึ่งมาร์คอฟ) โดยมีตัวอย่างข้อมูลทุก 5 นาที ในการเปรียบเทียบหลายรุ่นฉันใช้การตรวจสอบข้ามแบบ 6 เท่าโดยแยกข้อมูลใน 6 ปีดังนั้นชุดฝึกอบรมของฉัน (เพื่อคำนวณพารามิเตอร์) มีความยาว 5 ปีและชุดทดสอบมีความยาว 1 ปี. ฉันไม่ได้คำนึงถึงลำดับเวลาดังนั้นชุดที่แตกต่างของฉันคือ: พับ 1: ฝึก [1 2 3 4 5] ทดสอบ [6] เท่าที่ 2: การฝึก [1 2 3 4 6] ทดสอบ [5] เท่า 3: การฝึก [1 2 3 …

70 time-series  modeling  cross-validation 

ฉันกำลังทบทวนต้นฉบับที่ผู้เขียนเปรียบเทียบแบบจำลองการถดถอยโลจิท 5-6 กับ AIC อย่างไรก็ตามบางรุ่นมีเงื่อนไขการใช้ร่วมกันโดยไม่รวมถึงข้อกำหนด covariate แต่ละรายการ มันสมเหตุสมผลไหมที่จะทำสิ่งนี้? ตัวอย่างเช่น (ไม่เฉพาะสำหรับรุ่น logit): M1: Y = X1 + X2 + X1*X2 M2: Y = X1 + X2 M3: Y = X1 + X1*X2 (missing X2) M4: Y = X2 + X1*X2 (missing X1) M5: Y = X1*X2 (missing X1 & X2) ฉันอยู่ภายใต้ความประทับใจเสมอว่าหากคุณมีคำศัพท์โต้ตอบระหว่าง …

68 regression  modeling  interaction  aic 

แก้ไข:ฉันได้เพิ่มเป็นตัวอย่างง่ายๆอนุมานของค่าเฉลี่ยของx_iฉันยังได้ชี้แจงด้วยเล็กน้อยว่าทำไมช่วงเวลาที่น่าเชื่อถือและไม่ตรงกับช่วงความมั่นใจไม่ดีXiXผมX_i ฉันเป็นคนเบย์เซียนที่มีใจศรัทธาอย่างยุติธรรมฉันกำลังอยู่ในช่วงวิกฤตการณ์แห่งศรัทธาแปลก ๆ ปัญหาของฉันคือต่อไปนี้ สมมติว่าผมต้องการที่จะวิเคราะห์ข้อมูล IID บางx_iสิ่งที่ฉันจะทำคือ:XiXผมX_i ก่อนเสนอแบบจำลองตามเงื่อนไข: p(X|θ)พี(X|θ) p(X|\theta) จากนั้นเลือกก่อนหน้าบน : θθ\thetap(θ)พี(θ) p(\theta) ในที่สุดใช้กฎของเบย์คำนวณหลัง: (หรือประมาณโดยประมาณถ้ามันไม่ควรคำนวณได้) และตอบคำถามทั้งหมดที่ฉันมีเกี่ยวกับθp(θ|X1…Xn)พี(θ|X1...Xn)p(\theta | X_1 \dots X_n )θθ\theta นี่เป็นวิธีการที่สมเหตุสมผล: ถ้าแบบจำลองที่แท้จริงของข้อมูลเป็น "ข้างใน" ของเงื่อนไขของฉัน (มันสอดคล้องกับค่าบางอย่างθ 0 ) จากนั้นฉันสามารถเรียกทฤษฎีการตัดสินใจทางสถิติเพื่อบอกว่าวิธีการของฉันเป็นที่ยอมรับ (ดู Robert's "ตัวเลือก Bayesian" สำหรับรายละเอียด; "สถิติทั้งหมด" ยังให้ข้อมูลที่ชัดเจนในบทที่เกี่ยวข้องด้วย)XiXผมX_iθ0θ0\theta_0 อย่างไรก็ตามอย่างที่ทุกคนรู้ว่าสมมติว่าแบบจำลองของฉันถูกต้องค่อนข้างหยิ่ง: ทำไมธรรมชาติควรอยู่ในกล่องแบบจำลองที่ฉันได้พิจารณาอย่างเป็นธรรมชาติ มันเป็นจริงมากขึ้นที่จะคิดว่ารูปแบบที่แท้จริงของข้อมูลที่แตกต่างจากP ( X | θ )สำหรับทุกค่าของθ ซึ่งมักเรียกว่าแบบจำลอง "misspecified"ptrue(X)พีเสื้อRยูอี(X)p_{true}(X)p(X|θ)พี(X|θ)p(X|\theta)θθ\theta ปัญหาของฉันคือว่าในกรณีที่สะกดผิดพลาดเหมือนจริงมากขึ้นฉันไม่มีข้อโต้แย้งที่ดีสำหรับการเป็น Bayesian (เช่นการคำนวณการกระจายหลัง) …

68 bayesian  modeling  philosophical  misspecification 

คำถามนี้ถูกถามใน CV เมื่อหลายปีที่ผ่านมาดูเหมือนว่ามูลค่าของ repost ในแง่ของ 1) ลำดับความสำคัญของเทคโนโลยีการคำนวณที่ดีกว่า (เช่นการคำนวณแบบขนาน, HPC เป็นต้น) และ 2) เทคนิคที่ใหม่กว่าเช่น [3] ก่อนบริบทบางอย่าง สมมติว่าเป้าหมายไม่ใช่การทดสอบสมมติฐานไม่ใช่การประมาณผล แต่คาดการณ์จากชุดทดสอบที่ไม่เห็น ดังนั้นจะไม่มีการให้น้ำหนักกับผลประโยชน์ใด ๆ ที่สามารถตีความได้ ประการที่สองสมมติว่าคุณไม่สามารถแยกแยะความเกี่ยวข้องของตัวทำนายใด ๆ ในการพิจารณาเรื่องเช่น พวกเขาดูเหมือนจะมีเหตุผลเป็นรายบุคคลหรือใช้ร่วมกับตัวทำนายอื่น ๆ ประการที่สามคุณต้องเผชิญหน้ากับผู้ทำนายหลายล้านคน ข้อที่สี่สมมติว่าคุณมีสิทธิ์เข้าถึง AWS ด้วยงบประมาณไม่ จำกัด ดังนั้นพลังในการคำนวณจึงไม่ใช่ข้อ จำกัด ปกติสำหรับการเลือกตัวแปรคือ 1) ประสิทธิภาพ; เร็วกว่าเพื่อให้พอดีกับโมเดลที่เล็กลงและถูกลงเพื่อรวบรวมตัวทำนายที่น้อยลง, 2) การตีความ; การรู้ตัวแปร "สำคัญ" จะช่วยให้เข้าใจกระบวนการที่เป็นพื้นฐาน [1] ตอนนี้เป็นที่ทราบกันอย่างกว้างขวางว่าวิธีการเลือกตัวแปรหลายวิธีนั้นไม่มีประสิทธิภาพและมักเป็นอันตรายทันที (เช่นการถดถอยแบบขั้นตอนไปข้างหน้า) [2] ประการที่สองถ้าแบบจำลองที่เลือกนั้นดีคุณไม่จำเป็นต้องลดรายชื่อผู้ทำนายเลย แบบจำลองควรทำเพื่อคุณ ตัวอย่างที่ดีคือ lasso ซึ่งกำหนดค่าสัมประสิทธิ์เป็นศูนย์ให้กับตัวแปรที่ไม่เกี่ยวข้องทั้งหมด …

67 machine-learning  modeling  feature-selection  model-selection  prediction 

ฉันสร้างแบบจำลองสารเติมแต่งทั่วไปสำหรับการตัดไม้ทำลายป่า เพื่ออธิบายความสัมพันธ์เชิงพื้นที่ฉันได้รวมละติจูดและลองจิจูดไว้ในรูปแบบการโต้ตอบที่ราบรื่น (เช่น s (x, y)) ฉันใช้การอ่านบทความจำนวนมากซึ่งผู้เขียนบอกว่า 'เพื่ออธิบายความสัมพันธ์เชิงพื้นที่โดยอัตโนมัติพิกัดของจุดถูกรวมไว้ในรูปแบบที่ราบรื่น' แต่สิ่งเหล่านี้ไม่เคยอธิบายว่าทำไมสิ่งนี้ถึงเกิดขึ้นจริง มันค่อนข้างน่าผิดหวัง ฉันได้อ่านหนังสือทั้งหมดที่ฉันสามารถหาได้ใน GAM โดยหวังว่าจะได้คำตอบ แต่ส่วนใหญ่ (เช่นโมเดลเสริมทั่วไป, บทนำด้วย R, SN Wood) เพียงแค่สัมผัสกับเรื่องโดยไม่อธิบาย ฉันจะซาบซึ้งจริง ๆ ถ้ามีใครสามารถอธิบายได้ว่าทำไมการรวมบัญชีละติจูดและลองจิจูดสำหรับการเปลี่ยนแปลงเชิงพื้นที่และสิ่งที่ 'การบัญชี' สำหรับมันหมายถึงจริงๆ - เป็นเพียงพอที่จะรวมไว้ในรูปแบบหรือถ้าคุณเปรียบเทียบแบบจำลองด้วย s (x, y) และโมเดลที่ไม่มี? และความเบี่ยงเบนที่อธิบายโดยคำนี้ระบุขอบเขตของความสัมพันธ์เชิงพื้นที่อัตโนมัติหรือไม่?

60 r  modeling  spatial  autocorrelation  gam 

หมายความว่าอย่างไรเมื่อเราบอกว่าเรามีแบบจำลองที่อิ่มตัว?

58 modeling  regression 

ในสถานการณ์ใดที่คุณต้องการหรือไม่ต้องการปรับขนาดหรือทำให้มาตรฐานเป็นตัวแปรก่อนที่จะทำการปรับแบบจำลอง ข้อดีและข้อเสียของการปรับขนาดตัวแปรคืออะไร?

56 modeling  predictive-models  feature-selection  theory  standardization 

จากทฤษฎีสถิติโดย Mark J. Schervish (หน้า 12): แม้ว่าทฤษฎีบทการเป็นตัวแทนของ DeFinetti 1.49 เป็นหัวใจสำคัญของการสร้างแบบจำลองพารามิเตอร์ แต่มันไม่ได้ถูกนำมาใช้จริง ทฤษฎีบทเป็นศูนย์กลางของแบบจำลองพารามิเตอร์อย่างไร

55 probability  modeling  mathematical-statistics  parametric