คำถามติดแท็ก mutual-information

ฉันต้องการหาปริมาณความสัมพันธ์ระหว่างตัวแปรสองตัวคือ A และ B โดยใช้ข้อมูลร่วมกัน วิธีการคำนวณก็คือการทำข้อสังเกต (ดูตัวอย่างโค้ดไพ ธ อนด้านล่าง) อย่างไรก็ตามสิ่งที่ปัจจัยกำหนดจำนวนถังขยะที่เหมาะสม? ฉันต้องการการคำนวณที่รวดเร็วดังนั้นฉันจึงไม่สามารถใช้ถังขยะจำนวนมากเพื่อความปลอดภัย from sklearn.metrics import mutual_info_score def calc_MI(x, y, bins): c_xy = np.histogram2d(x, y, bins)[0] mi = mutual_info_score(None, None, contingency=c_xy) return mi

10 information-theory  mutual-information  binning 

ฉันกำลังพยายามที่จะเข้าใจรูปแบบของข้อมูลร่วมกันแบบจุดตามปกติ npmi=pmi(x,y)log(p(x,y))npmi=pmi(x,y)log(p(x,y))npmi = \frac{pmi(x,y)}{log(p(x,y))} เหตุใดความน่าจะเป็นร่วมของบันทึกจึงทำให้ข้อมูลร่วมกันที่เป็นจุดเป็นปกติอยู่ระหว่าง [-1, 1]? ข้อมูลร่วมกันที่ชาญฉลาดคือ: pmi=log(p(x,y)p(x)p(y))pmi=log(p(x,y)p(x)p(y))pmi = log(\frac{p(x,y)}{p(x)p(y)}) p (x, y) ถูกล้อมรอบด้วย [0, 1] ดังนั้นล็อก (p (x, y)) ถูกล้อมรอบด้วย (, 0] ดูเหมือนว่าบันทึก (p (x, y)) ควรเปลี่ยนแปลงสมดุลใน ตัวเศษ แต่ฉันไม่เข้าใจอย่างชัดเจนว่ามันทำให้ฉันนึกถึงเอนโทรปีh=−log(p(x))h=−log(p(x))h=-log(p(x))แต่อีกครั้งฉันไม่เข้าใจความสัมพันธ์ที่แน่นอน

9 entropy  information-theory  mutual-information 

ฉันมีปัญหาในการสร้างสัญชาตญาณเกี่ยวกับเอนโทรปีร่วม = ความไม่แน่นอนในการกระจายข้อต่อ ; = ความไม่แน่นอนใน ; = ไม่แน่นอนใน(y)H( X, วาย)H(X,Y)H(X,Y)p ( x , y)p(x,y)p(x,y)H( X)H(X)H(X)พีx( x )px(x)p_x(x)H( Y)H(Y)H(Y)พีY( y)py(y)p_y(y) ถ้า H (X) สูงการกระจายจะไม่แน่นอนมากขึ้นและถ้าคุณรู้ว่าผลลัพธ์ของการกระจายนั้นคุณมีข้อมูลเพิ่มเติม! ดังนั้น H (X) จึงทำการหาปริมาณข้อมูล ตอนนี้เราสามารถแสดงH( X, วาย) ≤ H( X) + H( Y)H(X,Y)≤H(X)+H(Y)H(X,Y) \leq H(X) + H(Y) แต่ถ้าคุณรู้ว่าคุณสามารถรับและดังนั้นในบางกรณีมีข้อมูลมากกว่าทั้งและดังนั้นไม่ควร ' ความไม่แน่นอนที่เกี่ยวข้องกับ p (x, y) นั้นมากกว่าความไม่แน่นอนของบุคคลหรือไม่p ( x …

9 information-theory  mutual-information 

สมมติว่าฉันมีตัวอย่างหนึ่งความถี่ของเหตุการณ์ที่เป็นไปได้ 4 เหตุการณ์: Event1 - 5 E2 - 1 E3 - 0 E4 - 12 และฉันมีโอกาสที่จะเกิดเหตุการณ์ที่คาดหวัง: p1 - 0.2 p2 - 0.1 p3 - 0.1 p4 - 0.6 ด้วยผลรวมของความถี่ที่สังเกตได้จากเหตุการณ์ทั้งสี่ของฉัน (18) ฉันสามารถคำนวณความถี่ที่คาดหวังของเหตุการณ์ได้ใช่ไหม expectedE1 - 18 * 0.2 = 3.6 expectedE2 - 18 * 0.1 = 1.8 expectedE1 - 18 * 0.1 …

9 r  statistical-significance  chi-squared  multivariate-analysis  exponential  joint-distribution  statistical-significance  self-study  standard-deviation  probability  normal-distribution  spss  interpretation  assumptions  cox-model  reporting  cox-model  statistical-significance  reliability  method-comparison  classification  boosting  ensemble  adaboost  confidence-interval  cross-validation  prediction  prediction-interval  regression  machine-learning  svm  regularization  regression  sampling  survey  probit  matlab  feature-selection  information-theory  mutual-information  time-series  forecasting  simulation  classification  boosting  ensemble  adaboost  normal-distribution  multivariate-analysis  covariance  gini  clustering  text-mining  distance-functions  information-retrieval  similarities  regression  logistic  stata  group-differences  r  anova  confidence-interval  repeated-measures  r  logistic  lme4-nlme  inference  fiducial  kalman-filter  classification  discriminant-analysis  linear-algebra  computing  statistical-significance  time-series  panel-data  missing-data  uncertainty  probability  multivariate-analysis  r  classification  spss  k-means  discriminant-analysis  poisson-distribution  average  r  random-forest  importance  probability  conditional-probability  distributions  standard-deviation  time-series  machine-learning  online  forecasting  r  pca  dataset  data-visualization  bayes  distributions  mathematical-statistics  degrees-of-freedom 

อะไรคือความแตกต่างระหว่างสหสัมพันธ์ข้ามและข้อมูลซึ่งกันและกัน ปัญหาประเภทใดที่สามารถแก้ไขได้โดยใช้มาตรการเหล่านี้และเมื่อใดควรใช้อีกข้อหนึ่ง ขอบคุณสำหรับความคิดเห็น เพื่อชี้แจงคำถามที่ได้รับแจ้งจากความสนใจในการวิเคราะห์ iomage มากกว่าการวิเคราะห์อนุกรมเวลาแม้ว่าการตรัสรู้ใด ๆ ในพื้นที่นั้นจะได้รับการชื่นชม

9 cross-correlation  mutual-information