คำถามติดแท็ก information-theory

ฉันมีปัญหาในการสร้างสัญชาตญาณเกี่ยวกับเอนโทรปีร่วม = ความไม่แน่นอนในการกระจายข้อต่อ ; = ความไม่แน่นอนใน ; = ไม่แน่นอนใน(y)H( X, วาย)H(X,Y)H(X,Y)p ( x , y)p(x,y)p(x,y)H( X)H(X)H(X)พีx( x )px(x)p_x(x)H( Y)H(Y)H(Y)พีY( y)py(y)p_y(y) ถ้า H (X) สูงการกระจายจะไม่แน่นอนมากขึ้นและถ้าคุณรู้ว่าผลลัพธ์ของการกระจายนั้นคุณมีข้อมูลเพิ่มเติม! ดังนั้น H (X) จึงทำการหาปริมาณข้อมูล ตอนนี้เราสามารถแสดงH( X, วาย) ≤ H( X) + H( Y)H(X,Y)≤H(X)+H(Y)H(X,Y) \leq H(X) + H(Y) แต่ถ้าคุณรู้ว่าคุณสามารถรับและดังนั้นในบางกรณีมีข้อมูลมากกว่าทั้งและดังนั้นไม่ควร ' ความไม่แน่นอนที่เกี่ยวข้องกับ p (x, y) นั้นมากกว่าความไม่แน่นอนของบุคคลหรือไม่p ( x …

9 information-theory  mutual-information 

สมมติว่าฉันมีตัวอย่างหนึ่งความถี่ของเหตุการณ์ที่เป็นไปได้ 4 เหตุการณ์: Event1 - 5 E2 - 1 E3 - 0 E4 - 12 และฉันมีโอกาสที่จะเกิดเหตุการณ์ที่คาดหวัง: p1 - 0.2 p2 - 0.1 p3 - 0.1 p4 - 0.6 ด้วยผลรวมของความถี่ที่สังเกตได้จากเหตุการณ์ทั้งสี่ของฉัน (18) ฉันสามารถคำนวณความถี่ที่คาดหวังของเหตุการณ์ได้ใช่ไหม expectedE1 - 18 * 0.2 = 3.6 expectedE2 - 18 * 0.1 = 1.8 expectedE1 - 18 * 0.1 …

9 r  statistical-significance  chi-squared  multivariate-analysis  exponential  joint-distribution  statistical-significance  self-study  standard-deviation  probability  normal-distribution  spss  interpretation  assumptions  cox-model  reporting  cox-model  statistical-significance  reliability  method-comparison  classification  boosting  ensemble  adaboost  confidence-interval  cross-validation  prediction  prediction-interval  regression  machine-learning  svm  regularization  regression  sampling  survey  probit  matlab  feature-selection  information-theory  mutual-information  time-series  forecasting  simulation  classification  boosting  ensemble  adaboost  normal-distribution  multivariate-analysis  covariance  gini  clustering  text-mining  distance-functions  information-retrieval  similarities  regression  logistic  stata  group-differences  r  anova  confidence-interval  repeated-measures  r  logistic  lme4-nlme  inference  fiducial  kalman-filter  classification  discriminant-analysis  linear-algebra  computing  statistical-significance  time-series  panel-data  missing-data  uncertainty  probability  multivariate-analysis  r  classification  spss  k-means  discriminant-analysis  poisson-distribution  average  r  random-forest  importance  probability  conditional-probability  distributions  standard-deviation  time-series  machine-learning  online  forecasting  r  pca  dataset  data-visualization  bayes  distributions  mathematical-statistics  degrees-of-freedom