คำถามติดแท็ก deviance

จะแปลความหมายของ Null และ Residual Deviance ใน GLM ใน R ได้อย่างไร? อย่างที่เราบอกว่า AIC ที่เล็กกว่านั้นดีกว่า มีการตีความที่คล้ายกันและรวดเร็วสำหรับความเบี่ยงเบนด้วยหรือไม่ ความเบี่ยงเบนว่าง: 1146.1 เมื่อ 1,077 องศาอิสระส่วนที่เหลือเบี่ยงเบน: 4589.4 เมื่อ 1,099 องศาอิสระ AIC: 11089

47 generalized-linear-model  deviance 

"Deviance" คืออะไรคำนวณอย่างไรและการใช้งานในด้านต่าง ๆ ของสถิติคืออะไร โดยเฉพาะอย่างยิ่งฉันมีความสนใจเป็นการส่วนตัวในการใช้งาน CART (และการนำไปใช้ใน rpart ใน R) ฉันถามสิ่งนี้เนื่องจากบทความ wikiดูเหมือนว่าค่อนข้างขาดและข้อมูลเชิงลึกของคุณจะได้รับการต้อนรับมากที่สุด

45 r  cart  rpart  deviance 

ฉันต้องการทำการถดถอยโลจิสติกด้วยการตอบสนองทวินามต่อไปนี้และด้วยX1X1X_1และX2X2X_2เป็นตัวทำนายของฉัน ฉันสามารถนำเสนอข้อมูลเดียวกับการตอบสนองของ Bernoulli ในรูปแบบต่อไปนี้ ผลลัพธ์การถดถอยโลจิสติกสำหรับชุดข้อมูล 2 ชุดนี้ส่วนใหญ่จะเหมือนกัน ส่วนเบี่ยงเบนความเบี่ยงเบนและ AIC นั้นแตกต่างกัน (ความแตกต่างระหว่างการเบี่ยงเบนแบบ null และการเบี่ยงเบนที่เหลืออยู่เหมือนกันในทั้งสองกรณี - 0.228) ต่อไปนี้คือผลลัพธ์การถดถอยจาก R ชุดข้อมูลเรียกว่า binom.data และ bern.data นี่คือเอาต์พุตทวินาม Call: glm(formula = cbind(Successes, Trials - Successes) ~ X1 + X2, family = binomial, data = binom.data) Deviance Residuals: [1] 0 0 0 Coefficients: Estimate Std. Error z …

32 logistic  binomial  aic  bernoulli-distribution  deviance 

ฉันข้ามการตรวจสอบรูปแบบที่พยายามทำนายการนับ หากนี่เป็นปัญหาการจำแนกเลขฐานสองฉันจะคำนวณ AUC แบบพับได้และถ้านี่เป็นปัญหาการถดถอยฉันจะคำนวณ RMSE หรือ Mae แบบ out-of-fold สำหรับโมเดลปัวซงฉันสามารถใช้เมตริกข้อผิดพลาดใดในการประเมิน "ความถูกต้อง" ของการคาดการณ์ที่ไม่อยู่ในกลุ่มตัวอย่าง มีส่วนขยายของปัวซองของ AUC ที่ดูว่าการทำนายลำดับค่าที่แท้จริงดีเพียงใด ดูเหมือนว่าการแข่งขัน Kaggle จำนวนมากสำหรับการนับ (เช่นจำนวนคะแนนโหวตที่เป็นประโยชน์ที่รีวิวร้องเอ๋งจะได้รับหรือจำนวนวันที่ผู้ป่วยจะใช้จ่ายในโรงพยาบาล) ใช้ข้อผิดพลาดรากหมายถึงบันทึกกำลังสองหรือ RMLSE / แก้ไข: สิ่งหนึ่งที่ฉันได้ทำคือการคำนวณ deciles ของค่าที่คาดการณ์ไว้และจากนั้นดูที่การนับจริงโดย binned by decile ถ้า decile 1 อยู่ในระดับต่ำ decile 10 จะสูงและ decile ในระหว่างนั้นเพิ่มขึ้นอย่างเคร่งครัดฉันได้เรียกโมเดล "ดี" แต่ฉันประสบปัญหาในการหาจำนวนกระบวนการนี้และฉันเชื่อว่ามันดีกว่า เข้าใกล้ / แก้ไข 2: ฉันกำลังมองหาสูตรที่ใช้ค่าที่คาดการณ์และตามจริงและส่งกลับเมตริก "ข้อผิดพลาด" หรือ "ความแม่นยำ" บางส่วน แผนของฉันคือการคำนวณฟังก์ชั่นนี้เกี่ยวกับข้อมูลที่อยู่นอกกรอบในระหว่างการตรวจสอบความถูกต้องและจากนั้นใช้เพื่อเปรียบเทียบแบบจำลองที่หลากหลาย …

29 cross-validation  poisson-distribution  count-data  deviance  scoring-rules 

ฉันเพิ่งอ่านบทความนี้ซึ่งอธิบายถึงวิธีการคำนวณความสามารถในการทำซ้ำ (ความน่าเชื่อถือหรือความสัมพันธ์ภายในอินทราเน็ต) ของการวัดผ่านการสร้างแบบจำลองเอฟเฟกต์ผสม รหัส R จะเป็น: #fit the model fit = lmer(dv~(1|unit),data=my_data) #obtain the variance estimates vc = VarCorr(fit) residual_var = attr(vc,'sc')^2 intercept_var = attr(vc$id,'stddev')[1]^2 #compute the unadjusted repeatability R = intercept_var/(intercept_var+residual_var) #compute n0, the repeatability adjustment n = as.data.frame(table(my_data$unit)) k = nrow(n) N = sum(n$Freq) n0 = (N-(sum(n$Freq^2)/N))/(k-1) #compute …

28 mixed-model  reliability  intraclass-correlation  repeatability  spss  factor-analysis  survey  modeling  cross-validation  error  curve-fitting  mediation  correlation  clustering  sampling  machine-learning  probability  classification  metric  r  project-management  optimization  svm  python  dataset  quality-control  checking  clustering  distributions  anova  factor-analysis  exponential  poisson-distribution  generalized-linear-model  deviance  machine-learning  k-nearest-neighbour  r  hypothesis-testing  t-test  r  variance  levenes-test  bayesian  software  bayesian-network  regression  repeated-measures  least-squares  change-scores  variance  chi-squared  variance  nonlinear-regression  regression-coefficients  multiple-comparisons  p-value  r  statistical-significance  excel  sampling  sample  r  distributions  interpretation  goodness-of-fit  normality-assumption  probability  self-study  distributions  references  theory  time-series  clustering  econometrics  binomial  hypothesis-testing  variance  t-test  paired-comparisons  statistical-significance  ab-test  r  references  hypothesis-testing  t-test  normality-assumption  wilcoxon-mann-whitney  central-limit-theorem  t-test  data-visualization  interactive-visualization  goodness-of-fit 

ฉันเพิ่งอ่านเกี่ยวกับมาตรการเบี่ยงเบนสำหรับการถดถอยโลจิสติก อย่างไรก็ตามส่วนที่เรียกว่าแบบจำลองแบบอิ่มตัวนั้นไม่ชัดเจนสำหรับฉัน ฉันทำการค้นหาด้วย Google อย่างกว้างขวาง แต่ไม่มีผลลัพธ์ใดที่ตอบคำถามของฉัน จนถึงตอนนี้ฉันพบว่าแบบจำลองอิ่มตัวมีพารามิเตอร์สำหรับการสังเกตแต่ละครั้งซึ่งเป็นผลให้ผลลัพธ์ในแบบที่สมบูรณ์แบบ ชัดเจนสำหรับฉัน แต่: ยิ่งไปกว่านั้นค่าติดตั้ง (ของโมเดลอิ่มตัว) จะเท่ากับค่าที่สังเกตได้ ตั้งแต่จากความรู้ของฉันถดถอยโลจิสติถูกนำมาใช้สำหรับการจำแนกประเภทข้อมูลที่สังเกตให้เป็นตัวแปรที่มีป้ายชื่อเพิ่มเติม\} อย่างไรก็ตามมาตรการเบี่ยงเบนใช้ความน่าจะเป็น แต่ไม่ใช่ฉลากจริง หนึ่งนำไปใช้คำนวณความน่าจะเป็นที่คาดการณ์ของการถดถอยโลจิสติกเมื่อเทียบกับความน่าจะเป็นที่สังเกต อย่างไรก็ตามเนื่องจากมีเพียงป้ายกำกับแทนที่จะเป็นความน่าจะเป็นฉันจึงสับสนว่าจะสร้างแบบจำลองที่อิ่มตัวจากป้ายกำกับเหล่านี้ได้อย่างไรY∈ { 0 , 1 }Y∈{0,1}y \in \{0,1\}

17 logistic  deviance 

ฉันรู้ว่าเพียร์สันที่เหลือมาตรฐานได้รับในความน่าจะเป็นแบบดั้งเดิม: ri=yi−πiπi(1−πi)−−−−−−−−√ri=yi−πiπi(1−πi) r_i = \frac{y_i-\pi_i}{\sqrt{\pi_i(1-\pi_i)}} และ Deviance Residuals ได้มาจากวิธีการทางสถิติที่มากขึ้น (การสนับสนุนของแต่ละจุดสู่โอกาส): di=si−2[yilogπi^+(1−yi)log(1−πi)]−−−−−−−−−−−−−−−−−−−−−−−−−−√di=si−2[yilog⁡πi^+(1−yi)log⁡(1−πi)] d_i = s_i \sqrt{-2[y_i \log \hat{\pi_i} + (1 - y_i)\log(1-\pi_i)]} โดยที่sisis_i = 1 ถ้าyiyiy_i = 1 และsisis_i = -1 ถ้าyiyiy_i = 0 คุณสามารถอธิบายให้ฉันอย่างสังหรณ์ใจได้อย่างไรวิธีการตีความสูตรการเบี่ยงเบนที่เหลืออยู่? ยิ่งไปกว่านั้นถ้าฉันต้องการเลือกอันไหนอันไหนที่เหมาะกว่าและทำไม? BTW การอ้างอิงบางอย่างอ้างว่าเราได้รับค่าเบี่ยงเบนเหลืออยู่จากคำว่า −12ri2−12ri2-\frac{1}{2}{r_i}^2 ที่ถูกกล่าวถึงข้างต้นririr_i

16 regression  logistic  generalized-linear-model  residuals  deviance 

ข้อมูลประกอบ:ขณะนี้ฉันกำลังทำงานเปรียบเทียบรูปแบบลำดับชั้นแบบเบย์ต่างๆ ข้อมูลyijyijy_{ij}มีตัวเลขของการวัดเป็นอยู่ที่ดีสำหรับผู้เข้าร่วมiiiและเวลาที่ jjjjฉันมีผู้เข้าร่วมประมาณ 1,000 คนและผู้สังเกตการณ์ 5 ถึง 10 คนต่อผู้เข้าร่วม เช่นเดียวกับชุดข้อมูลระยะยาวส่วนใหญ่ฉันคาดหวังว่าจะเห็นรูปแบบความสัมพันธ์อัตโนมัติซึ่งการสังเกตที่ใกล้เวลาจะมีความสัมพันธ์มากกว่ารูปแบบอื่น ๆ ลดความซับซ้อนของบางสิ่งบางอย่างโมเดลพื้นฐานมีดังนี้: yij∼N(μij,σ2)yij∼N(μij,σ2)y_{ij} \sim N(\mu_{ij}, \sigma^2) ฉันกำลังเปรียบเทียบรุ่นที่ไม่มีความล่าช้า: μij=β0iμij=β0i\mu_{ij} = \beta_{0i} ด้วยความล่าช้าแบบ: μij=β0i+β1(yi(j−1)−β0i)μij=β0i+β1(yi(j−1)−β0i)\mu_{ij} = \beta_{0i} + \beta_{1} (y_{i(j-1)} - \beta_{0i}) β0iβ0i\beta_{0i}β1β1\beta_1yi0yi0y_{i0} ผลลัพธ์ที่ฉันได้รับบ่งชี้ว่า: พารามิเตอร์ lag มีค่าประมาณ. 18, 95% CI [.14, .21] คือมันไม่ใช่ศูนย์ ความเบี่ยงเบนเฉลี่ยและ DIC เพิ่มขึ้นหลายร้อยเมื่อความล่าช้ารวมอยู่ในโมเดล การตรวจสอบการคาดการณ์หลังแสดงให้เห็นว่าการรวมเอฟเฟกต์ความล่าช้าแบบจำลองสามารถกู้คืนความสัมพันธ์อัตโนมัติในข้อมูลได้ดีขึ้น ดังนั้นโดยสรุปพารามิเตอร์ lag ที่ไม่เป็นศูนย์และการตรวจสอบการทำนายหลังแนะนำโมเดล lag จะดีกว่า ยังหมายถึงความเบี่ยงเบนและ …

14 bayesian  autocorrelation  hierarchical-bayesian  deviance 

ในฐานะที่เป็นส่วนหนึ่งของเอาท์พุทของตัวแบบเชิงเส้นแบบทั่วไปนั้นการเบี่ยงเบนแบบ null และส่วนที่เหลือจะถูกใช้ในการประเมินแบบจำลอง ฉันมักจะเห็นสูตรสำหรับปริมาณเหล่านี้แสดงในแง่ของโอกาสในการเข้าสู่ระบบของรูปแบบอิ่มตัวเช่น: /stats//a/113022/22199 , ถดถอยโลจิสติ: วิธีการที่จะได้รับรูปแบบการอิ่มตัว แบบจำลองที่อิ่มตัวตามที่ฉันเข้าใจเป็นแบบจำลองที่เหมาะสมกับการตอบสนองที่สังเกตได้อย่างสมบูรณ์แบบ ดังนั้นในสถานที่ส่วนใหญ่ที่ฉันเคยเห็นความเป็นไปได้ของแบบจำลองความอิ่มตัวจะได้รับเป็นศูนย์เสมอ ทว่าวิธีการกำหนดสูตรการเบี่ยงเบนแสดงให้เห็นว่าบางครั้งปริมาณนี้ไม่ใช่ศูนย์ (ราวกับว่ามันเป็นศูนย์เสมอทำไมต้องรวมมันด้วย) ในกรณีใดบ้างที่ไม่เป็นศูนย์ ถ้าไม่ใช่ศูนย์ไม่ใช่ทำไมรวมไว้ในสูตรสำหรับการเบี่ยงเบน

14 regression  generalized-linear-model  deviance  log-likelihood 

นี่คือบริบทของฉันสำหรับคำถามนี้: จากสิ่งที่ฉันสามารถบอกได้เราไม่สามารถเรียกใช้การถดถอยกำลังสองน้อยสุดธรรมดาใน R เมื่อใช้ข้อมูลที่มีน้ำหนักและsurveyแพคเกจ ที่นี่เราต้องใช้svyglm()ซึ่งใช้โมเดลเชิงเส้นทั่วไปแทน (ซึ่งอาจเป็นสิ่งเดียวกันหรือไม่ฉันคลุมเครือที่นี่ในแง่ของสิ่งที่แตกต่างกัน) ใน OLS และผ่านlm()ฟังก์ชั่นมันจะคำนวณค่า R-squared ซึ่งเป็นการตีความที่ฉันเข้าใจ อย่างไรก็ตามsvyglm()ดูเหมือนจะไม่สามารถคำนวณสิ่งนี้ได้และให้ค่าเบี่ยงเบนมาตรฐานแทนซึ่งการเดินทางสั้น ๆ รอบอินเทอร์เน็ตของฉันบอกฉันว่าเป็นการวัดความดีที่พอดีซึ่งตีความได้แตกต่างจาก R-squared ดังนั้นฉันเดาว่าฉันมีคำถามสองข้อที่ฉันหวังว่าจะได้รับทิศทาง: ทำไมเราไม่สามารถเรียกใช้ OLS ในsurveyแพ็คเกจได้ แต่ดูเหมือนว่าเป็นไปได้ที่จะทำกับข้อมูลที่มีน้ำหนักใน Stata อะไรคือความแตกต่างในการตีความระหว่างความเบี่ยงเบนของตัวแบบเส้นตรงทั่วไปกับค่า r-squared?

14 r  generalized-linear-model  least-squares  r-squared  deviance 

สำหรับการวิจัยปัจจุบันของฉันฉันใช้วิธี Lasso ผ่านแพ็คเกจ glmnet ใน R บนตัวแปรที่ขึ้นกับทวินาม ใน glmnet แลมบ์ดาที่ดีที่สุดจะพบได้ผ่านการตรวจสอบข้ามและแบบจำลองผลลัพธ์สามารถนำมาเปรียบเทียบกับมาตรการต่าง ๆ เช่นข้อผิดพลาดการแบ่งประเภทหรือการเบี่ยงเบน คำถามของฉัน: กำหนด deviance ใน glmnet อย่างไร มันคำนวณอย่างไร (ในกระดาษที่สอดคล้องกัน "เส้นทางการทำให้เป็นมาตรฐานสำหรับโมเดลเชิงเส้นทั่วไปผ่านพิกัดโคตร" โดย Friedman et al. ฉันพบเฉพาะความคิดเห็นนี้เกี่ยวกับการเบี่ยงเบนที่ใช้ใน cv.glmnet: "หมายถึงการเบี่ยงเบน (ลบสองเท่า ข้อมูล) "(หน้า 17))

12 cross-validation  lasso  glmnet  deviance  lars 

การเบี่ยงเบนสเกลที่กำหนดไว้เป็น D = 2 * (บันทึกความน่าจะเป็นของโมเดลอิ่มตัวลบบันทึกความน่าจะเป็นของโมเดลที่ติดตั้ง) มักใช้เป็นเครื่องวัดความดีพอดีในโมเดล GLM เปอร์เซ็นต์การเบี่ยงเบนที่อธิบายถูกกำหนดเป็น [D (โมเดลว่าง) - D (โมเดลที่พอดี)] / D (โมเดลว่าง) บางครั้งก็ใช้เป็น GLM อนาล็อกเพื่อการถดถอยเชิงเส้นของ R-squared นอกเหนือจากข้อเท็จจริงที่ว่าการแจกแจง ZIP และ ZINB ไม่ได้เป็นส่วนหนึ่งของตระกูลการแจกแจงแบบเลขชี้กำลังฉันกำลังมีปัญหาในการทำความเข้าใจว่าเหตุใดส่วนเบี่ยงเบนส่วนเบี่ยงเบนขนาดและเปอร์เซ็นต์เบี่ยงเบนที่อธิบายไม่ถูกนำมาใช้ ทุกคนสามารถแสดงความเห็นในเรื่องนี้หรือให้การอ้างอิงที่เป็นประโยชน์ ขอบคุณล่วงหน้า!

11 goodness-of-fit  zero-inflation  deviance 

เป็นการยากที่จะบอกสิ่งที่ถูกถามที่นี่ คำถามนี้คลุมเครือคลุมเครือไม่สมบูรณ์กว้างเกินไปหรือโวหารและไม่สามารถตอบได้อย่างสมเหตุสมผลในรูปแบบปัจจุบัน สำหรับความช่วยเหลือในการทำความเข้าใจคำถามนี้เพื่อที่จะสามารถเปิด, ไปที่ศูนย์ช่วยเหลือ ปิดให้บริการใน7 ปีที่ผ่านมา ฉันมีรูปแบบไม่เชิงเส้นโดยที่Φคือ cdf ของการแจกแจงแบบปกติมาตรฐานและ f เป็นแบบไม่เชิงเส้น (ดูด้านล่าง) ฉันต้องการทดสอบความดีพอดีของโมเดลนี้ด้วยพารามิเตอร์aต่อข้อมูลของฉัน( x 1 , y 1 ) , ( x 2 , y 2 ) , … , ( x n , y n )y=Φ(f(x,a))+εy=Φ(f(x,a))+εy=\Phi(f(x,a)) + \varepsilonΦΦ\Phiaaa(x1,y1),(x2,y2),…,(xn,yn)(x1,y1),(x2,y2),…,(xn,yn)(x_1,y_1),(x_2,y_2),\dots,(x_n,y_n)หลังจากที่มีการใช้ในการประมาณค่าความน่าจะเป็นสูงสุดที่จะหา การทดสอบที่เหมาะสมจะเป็นอย่างไร ฉันต้องการใช้การทดสอบนี้เพื่อติดป้ายกำกับข้อมูลไม่ดีพอและระบุว่าควรรวบรวมข้อมูลเพิ่มเติมหรือไม่aaa ผมมองในการใช้อันซ์ซึ่งเปรียบเทียบรุ่นนี้กับรุ่นอิ่มตัวที่มีของการทดสอบของความดีของพอดีสอดคล้องกันโดยใช้กระจาย สิ่งนี้จะเหมาะสมหรือไม่ สิ่งที่ฉันได้อ่านเกี่ยวกับความเบี่ยงเบนส่วนใหญ่นั้นนำไปใช้กับ GLMs ซึ่งไม่ใช่สิ่งที่ฉันมี หากการทดสอบแบบเบี่ยงเบนมีความเหมาะสมสมมติฐานใดที่จำเป็นต้องมีเพื่อให้การทดสอบมีผลχ2n−1χn−12\chi^2_{n-1} อัปเดต: สำหรับx>1,a>0ในกรณีนี้ช่วยได้f=x−1ax2+1√f=x−1ax2+1f = …

10 nonlinear-regression  goodness-of-fit  deviance