คำถามติดแท็ก log-likelihood

ในงานการเรียนรู้เครื่องมากที่สุดที่คุณสามารถกำหนดบางส่วนน่าจะเป็นซึ่งควรจะขยายเราจริงจะเพิ่มประสิทธิภาพการบันทึกความน่าจะเป็นบันทึกหน้าแทนน่าจะเป็นสำหรับบางพารามิเตอร์θ เช่นในการฝึกความเป็นไปได้สูงสุดมักจะเป็นโอกาสในการบันทึก เมื่อทำเช่นนี้ด้วยวิธีการไล่ระดับสีบางสิ่งนี้เกี่ยวข้องกับปัจจัย:พีppเข้าสู่ระบบพีlog⁡p\log pθθ\theta ∂เข้าสู่ระบบพี∂θ= 1พี⋅ ∂พี∂θ∂log⁡p∂θ=1p⋅∂p∂θ \frac{\partial \log p}{\partial \theta} = \frac{1}{p} \cdot \frac{\partial p}{\partial \theta} ดูที่นี่หรือที่นี่สำหรับตัวอย่างบางส่วน แน่นอนว่าการเพิ่มประสิทธิภาพนั้นเทียบเท่า แต่การไล่ระดับจะแตกต่างกันดังนั้นวิธีการไล่ระดับสีใด ๆ จะทำงานแตกต่างกัน (โดยเฉพาะวิธีการไล่ระดับสีแบบสุ่ม stochastic) มีเหตุผลใดที่เข้าสู่ระบบพีlog⁡p\log pลาดทำงานดีกว่าพีppลาด?

66 probability  optimization  log-likelihood 

การเขียนของ Christopher Manning เกี่ยวกับการถดถอยโลจิสติกใน Rแสดงการถดถอยโลจิสติกใน R ดังนี้: ced.logr <- glm(ced.del ~ cat + follows + factor(class), family=binomial) เอาท์พุทบาง: > summary(ced.logr) Call: glm(formula = ced.del ~ cat + follows + factor(class), family = binomial("logit")) Deviance Residuals: Min 1Q Median 3Q Max -3.24384 -1.34325 0.04954 1.01488 6.40094 Coefficients: Estimate Std. Error z …

46 r  logistic  log-likelihood 

ฉันพยายามที่จะเข้าใจในระดับที่ลึกกว่าความแพร่หลายของความน่าจะเป็นในการบันทึก (และความน่าจะเป็นโดยทั่วไปของการบันทึก) ในสถิติและทฤษฎีความน่าจะเป็น ความน่าจะเป็นบันทึกปรากฏขึ้นทั่วทุกสถานที่: เรามักจะทำงานร่วมกับบันทึกความน่าจะเป็นสำหรับการวิเคราะห์ (เช่นสำหรับการขยายให้ใหญ่สุด) ข้อมูลฟิชเชอร์ถูกกำหนดในแง่ของอนุพันธ์อันดับสองของบันทึกความน่าจะเป็น , Kullback-Liebler divergence เกี่ยวข้องกับความน่าจะเป็นของล็อก, การคาดหวังของนักทำนายนั้นเป็นโอกาสในการบันทึกที่คาดหวัง, เป็นต้น ตอนนี้ฉันขอขอบคุณเหตุผลที่เป็นประโยชน์และสะดวกสบายมากมาย ไฟล์ PDF ทั่วไปและมีประโยชน์มากมายนั้นมาจากตระกูลเอ็กซ์โปเนนเชียล ผลรวมจะทำงานได้ง่ายกว่าผลิตภัณฑ์ (โดยเฉพาะสำหรับการแยกแยะ) Log-probs มีข้อได้เปรียบจากการใช้โพรบ การแปลงรูปแบบไฟล์ PDF มักจะแปลงฟังก์ชั่นที่ไม่ใช่เว้าให้เป็นฟังก์ชั่นเว้า แต่เหตุผลทางเหตุผล / เหตุผล / แรงจูงใจสำหรับ log-probs คืออะไร? เป็นตัวอย่างของความฉงนสนเท่ห์ของฉันพิจารณาข้อมูลของชาวประมง (FI) คำอธิบายตามปกติสำหรับสัญชาตญาณของ FI คืออนุพันธ์อันดับสองของบันทึกความน่าจะเป็นบอกเราว่า "ยอดแหลม" บันทึกความเป็นเหมือนกันคืออะไร: บันทึกความน่าจะเป็นยอดแหลมสูงหมายถึง MLE ระบุไว้อย่างดีและเราค่อนข้างมั่นใจในคุณค่า ในขณะที่ความใกล้ชิดบันทึก (ความโค้งต่ำ) หมายถึงค่าพารามิเตอร์ที่แตกต่างกันหลายอย่างเกือบจะดี (ในแง่ของความน่าจะเป็นบันทึก) เช่นเดียวกับ MLE ดังนั้น MLE ของเราจึงมีความไม่แน่นอนมากขึ้น …

18 probability  bayesian  likelihood  log-likelihood 

ในฐานะที่เป็นส่วนหนึ่งของเอาท์พุทของตัวแบบเชิงเส้นแบบทั่วไปนั้นการเบี่ยงเบนแบบ null และส่วนที่เหลือจะถูกใช้ในการประเมินแบบจำลอง ฉันมักจะเห็นสูตรสำหรับปริมาณเหล่านี้แสดงในแง่ของโอกาสในการเข้าสู่ระบบของรูปแบบอิ่มตัวเช่น: /stats//a/113022/22199 , ถดถอยโลจิสติ: วิธีการที่จะได้รับรูปแบบการอิ่มตัว แบบจำลองที่อิ่มตัวตามที่ฉันเข้าใจเป็นแบบจำลองที่เหมาะสมกับการตอบสนองที่สังเกตได้อย่างสมบูรณ์แบบ ดังนั้นในสถานที่ส่วนใหญ่ที่ฉันเคยเห็นความเป็นไปได้ของแบบจำลองความอิ่มตัวจะได้รับเป็นศูนย์เสมอ ทว่าวิธีการกำหนดสูตรการเบี่ยงเบนแสดงให้เห็นว่าบางครั้งปริมาณนี้ไม่ใช่ศูนย์ (ราวกับว่ามันเป็นศูนย์เสมอทำไมต้องรวมมันด้วย) ในกรณีใดบ้างที่ไม่เป็นศูนย์ ถ้าไม่ใช่ศูนย์ไม่ใช่ทำไมรวมไว้ในสูตรสำหรับการเบี่ยงเบน

14 regression  generalized-linear-model  deviance  log-likelihood 

mgcvแพคเกจสำหรับการRมีสองฟังก์ชั่นสำหรับการปฏิสัมพันธ์กระชับเมตริกซ์ผลิตภัณฑ์: และte() ti()ฉันเข้าใจการแบ่งขั้นพื้นฐานของการใช้แรงงานระหว่างคนทั้งสอง (ปรับให้เหมาะสมกับการทำงานแบบไม่เป็นเชิงเส้นเปรียบเทียบกับการย่อยสลายการโต้ตอบนี้เป็นผลกระทบหลักและการโต้ตอบ) สิ่งที่ฉันไม่เข้าใจคือสาเหตุte(x1, x2)และti(x1) + ti(x2) + ti(x1, x2)อาจให้ผลลัพธ์ที่แตกต่าง (เล็กน้อย) MWE (ดัดแปลงมาจาก?ti): require(mgcv) test1 <- function(x,z,sx=0.3,sz=0.4) { x <- x*20 (pi**sx*sz)*(1.2*exp(-(x-0.2)^2/sx^2-(z-0.3)^2/sz^2)+ 0.8*exp(-(x-0.7)^2/sx^2-(z-0.8)^2/sz^2)) } n <- 500 x <- runif(n)/20;z <- runif(n); xs <- seq(0,1,length=30)/20;zs <- seq(0,1,length=30) pr <- data.frame(x=rep(xs,30),z=rep(zs,rep(30,30))) truth <- matrix(test1(pr$x,pr$z),30,30) f <- test1(x,z) y <- f …

11 r  gam  mgcv  conditional-probability  mixed-model  references  bayesian  estimation  conditional-probability  machine-learning  optimization  gradient-descent  r  hypothesis-testing  wilcoxon-mann-whitney  time-series  bayesian  inference  change-point  time-series  anova  repeated-measures  statistical-significance  bayesian  contingency-tables  regression  prediction  quantiles  classification  auc  k-means  scikit-learn  regression  spatial  circular-statistics  t-test  effect-size  cohens-d  r  cross-validation  feature-selection  caret  machine-learning  modeling  python  optimization  frequentist  correlation  sample-size  normalization  group-differences  heteroscedasticity  independence  generalized-least-squares  lme4-nlme  references  mcmc  metropolis-hastings  optimization  r  logistic  feature-selection  separation  clustering  k-means  normal-distribution  gaussian-mixture  kullback-leibler  java  spark-mllib  data-visualization  categorical-data  barplot  hypothesis-testing  statistical-significance  chi-squared  type-i-and-ii-errors  pca  scikit-learn  conditional-expectation  statistical-significance  meta-analysis  intuition  r  time-series  multivariate-analysis  garch  machine-learning  classification  data-mining  missing-data  cart  regression  cross-validation  matrix-decomposition  categorical-data  repeated-measures  chi-squared  assumptions  contingency-tables  prediction  binary-data  trend  test-for-trend  matrix-inverse  anova  categorical-data  regression-coefficients  standard-error  r  distributions  exponential  interarrival-time  copula  log-likelihood  time-series  forecasting  prediction-interval  mean  standard-error  meta-analysis  meta-regression  network-meta-analysis  systematic-review  normal-distribution  multiple-regression  generalized-linear-model  poisson-distribution  poisson-regression  r  sas  cohens-kappa