คำถามติดแท็ก information-theory

วิกิพีเดียจะกำหนดข้ามเอนโทรปีของการแจกแจงแบบแยกส่วนและให้เป็นPPPQQQ H×( P; Q )= - ∑xp ( x )เข้าสู่ระบบQ( x )H×(P;Q)=-Σxพี(x)เข้าสู่ระบบ⁡Q(x).\begin{align} \mathrm{H}^{\times}(P; Q) &= -\sum_x p(x)\, \log q(x). \end{align} ใครเป็นคนแรกที่เริ่มใช้ปริมาณนี้ และใครเป็นคนคิดค้นคำนี้ ฉันดูใน: JE Shore และ RW Johnson "หลักการที่ได้มาจากหลักการของเอนโทรปีสูงสุดและหลักการของการข้ามเอนโทรปีขั้นต่ำ" ทฤษฎีข้อมูลธุรกรรม IEEE บนฉบับที่ หมายเลข 26 1, pp. 26-37, ม.ค. 1980 ฉันทำตามคำแนะนำของพวกเขา A. Wehrl, "คุณสมบัติทั่วไปของเอนโทรปี" ความคิดเห็นเกี่ยวกับฟิสิกส์ยุคใหม่ 50, ไม่ 2, pp. 221-260, เม.ย. …

15 information-theory  entropy 

ฉันคิดว่าแนวคิดของเซตทั่วไปนั้นค่อนข้างง่าย: ลำดับความยาวจะเป็นของเซตทั่วไปถ้าความน่าจะเป็นของลำดับออกมาสูง ดังนั้นลำดับใด ๆ ที่มีแนวโน้มที่จะอยู่ใน{(n)} (ฉันกำลังหลีกเลี่ยงการนิยามอย่างเป็นทางการที่เกี่ยวข้องกับเอนโทรปีเพราะฉันพยายามที่จะเข้าใจในเชิงคุณภาพ)A ( n ) ϵ A ( n ) ϵnnnA(n)ϵAϵ(n)A_\epsilon ^{(n)}A(n)ϵAϵ(n)A_\epsilon ^{(n)} อย่างไรก็ตามฉันได้อ่านโดยทั่วไปแล้วลำดับที่เป็นไปได้มากที่สุดไม่ได้อยู่ในชุดทั่วไป นี่ทำให้ฉันสับสนครั้งใหญ่ มีคำจำกัดความที่เข้าใจง่ายของชุดทั่วไปหรือไม่ หรือเป็นเพียงเครื่องมือทางคณิตศาสตร์ที่ไม่เกี่ยวกับสามัญสำนึกมากนัก?

15 entropy  intuition  information-theory 

คำถามนี้ให้คำจำกัดความเชิงปริมาณของเอนโทรปีข้ามในแง่ของสูตร ฉันกำลังมองหาความหมายที่คาดการณ์เพิ่มเติมวิกิพีเดียพูดว่า: ในทฤษฎีสารสนเทศ, การข้ามเอนโทรปีระหว่างการแจกแจงความน่าจะเป็นสองครั้งเป็นการวัดจำนวนเฉลี่ยของบิตที่จำเป็นในการระบุเหตุการณ์จากชุดของความเป็นไปได้, หากใช้การเข้ารหัสแบบแผนบนพื้นฐานของการแจกแจงความน่าจะเป็นที่กำหนด . ฉันได้เน้นส่วนที่ทำให้ฉันมีปัญหาในการทำความเข้าใจนี้ ฉันต้องการคำจำกัดความที่ดีซึ่งไม่จำเป็นต้องมีความเข้าใจในเอนโทรปี

15 entropy  information-theory 

ฉันเพิ่งอ่านนี้บทความเกี่ยวกับเอนโทรปีของการกระจายความน่าจะเป็นที่ไม่ต่อเนื่อง มันอธิบายวิธีคิดที่ดีเกี่ยวกับเอนโทรปีเป็นบิตจำนวนที่คาดหวัง (อย่างน้อยเมื่อใช้ในการกำหนดเอนโทรปีของคุณ) จำเป็นต้องเข้ารหัสข้อความเมื่อการเข้ารหัสของคุณดีที่สุดเนื่องจากการกระจายความน่าจะเป็นของคำที่คุณใช้เข้าสู่ระบบ2log2\log_2 อย่างไรก็ตามเมื่อขยายไปถึงกรณีอย่างต่อเนื่องเช่นที่นี่ฉันเชื่อว่าวิธีคิดนี้หยุดลงเนื่องจากสำหรับการแจกแจงความน่าจะเป็นแบบต่อเนื่องp ( x ) (โปรดแก้ไขให้ฉันด้วยถ้าผิด) ดังนั้นฉันจึง สงสัยว่ามีวิธีคิดที่ดีเกี่ยวกับความหมายของเอนโทรปีต่อเนื่องเช่นเดียวกับกรณีที่ไม่ต่อเนื่องΣxp ( x ) = ∞∑xp(x)=∞\sum_x p(x) = \inftyp ( x )p(x)p(x)

15 entropy  information-theory 

แบบจำลองการผสมแบบเกาส์ (GMMs) มีความน่าสนใจเพราะง่ายต่อการทำงานกับทั้งในเชิงวิเคราะห์และในทางปฏิบัติ มีคุณสมบัติการวิเคราะห์เล็กน้อยที่เราควรคาดว่าจะมีซึ่งไม่ชัดเจนโดยทั่วไป โดยเฉพาะอย่างยิ่ง: SnSnS_nnnnPPPnnnPPPlimn→∞infP^∈SnD(P||P^)=0?limn→∞infP^∈SnD(P||P^)=0?\lim_{n\rightarrow \infty}\inf_{\hat{P}\in S_n} D(P||\hat{P})=0? บอกว่าเรามีการกระจายอย่างต่อเนื่องและเราได้พบ -component ผสมแบบเกาส์ซึ่งอยู่ใกล้กับPในรูปแบบรวม: \ เดลต้า (P \ hat {P}) &lt;\ varepsilon เราสามารถผูกD (P || \ hat {P})ในแง่ของ\ epsilon ได้หรือไม่?N P P δ ( P , P ) &lt; ε D ( P | | P ) εPPPNNNP^P^\hat{P}PPPδ(P,P^)&lt;εδ(P,P^)&lt;ε\delta(P,\hat{P})<\varepsilonD(P||P^)D(P||P^)D(P||\hat{P})ϵϵ\epsilon ถ้าเราต้องการสังเกตุผ่านเสียงเพิ่มเติมอิสระY \ sim P_Y …

14 probability  normal-distribution  references  gaussian-mixture  information-theory 

สำหรับตัวแปรสุ่มแบบต่อเนื่องตามอำเภอใจบอกว่า , ค่าเอนโทรปีของค่านั้นน้อยกว่าหรือไม่? (มันก็โอเคถ้ามัน .) ถ้าไม่มันเป็นเงื่อนไขที่จำเป็นและเพียงพอสำหรับมันที่จะน้อยกว่า ?∞ - ∞ ∞XXX∞∞\infty- ∞−∞-\infty∞∞\infty

14 entropy  information-theory  maximum-entropy 

ฉันพยายามที่จะทำให้หัวของฉันรอบต่อไปนี้เป็นข้อพิสูจน์ว่าเกาส์มีเอนโทรปีสูงสุด ขั้นตอนที่ติดดาวทำให้รู้สึกอย่างไร ความแปรปรวนร่วมที่เฉพาะเจาะจงจะแก้ไขช่วงเวลาที่สองเท่านั้น เกิดอะไรขึ้นกับช่วงเวลาที่สามสี่และห้า?

13 entropy  information-theory  maximum-entropy 

ฉันทำงานเกี่ยวกับการสุ่มตัวอย่างที่สำคัญอย่างใกล้ชิดสำหรับปีที่ผ่านมาและมีคำถามปลายเปิดสองสามข้อที่ฉันหวังว่าจะได้รับความช่วยเหลือ ประสบการณ์เชิงปฏิบัติของฉันกับแผนการสุ่มตัวอย่างที่สำคัญคือพวกเขาสามารถสร้างค่าความแปรปรวนต่ำและค่าอคติต่ำได้เป็นครั้งคราว อย่างไรก็ตามบ่อยครั้งที่พวกเขามีแนวโน้มที่จะประเมินความผิดพลาดสูงที่มีความแปรปรวนตัวอย่างต่ำ แต่มีอคติสูงมาก ฉันสงสัยว่าทุกคนสามารถอธิบายได้อย่างชัดเจนว่าปัจจัยชนิดใดที่ส่งผลต่อความถูกต้องของการประมาณตัวอย่างที่สำคัญ? โดยเฉพาะอย่างยิ่งฉันสงสัยว่า: 1) การประมาณการตัวอย่างที่สำคัญรับประกันว่าจะรวมกันเป็นผลลัพธ์ที่ถูกต้องเมื่อการแจกแจงความเอนเอียงมีการสนับสนุนเช่นเดียวกับการกระจายแบบดั้งเดิมหรือไม่? ถ้าเป็นเช่นนั้นทำไมสิ่งนี้ถึงใช้เวลานานในการฝึกฝน? 2) มีความสัมพันธ์เชิงปริมาณระหว่างข้อผิดพลาดในการประมาณการที่เกิดจากการสุ่มตัวอย่างที่สำคัญและ "คุณภาพ" ของการแจกแจงการให้น้ำหนัก (เช่นเท่าใดมันตรงกับการกระจายศูนย์แปรปรวน) 3) บางส่วนอิงจาก 1) และ 2) - มีวิธีการวัดปริมาณ 'เท่าใด' ที่คุณต้องรู้เกี่ยวกับการแจกแจงก่อนที่คุณจะดีขึ้นโดยใช้การออกแบบการสุ่มตัวอย่างที่สำคัญกว่าวิธี Monte Carlo แบบง่าย ๆ

13 monte-carlo  information-theory  importance-sampling 

มีการใช้ปริมาณ ∫f(x)2dx∫f(x)2dx \int f(x)^2 dx ในสถิติหรือทฤษฎีข้อมูลหรือไม่?

13 probability  entropy  information-theory 

(ฉันโพสต์คำถามที่คล้ายกันในmath.se ) ในเรขาคณิตข้อมูล, ดีเทอร์มิแนนต์ของเมทริกซ์ข้อมูลฟิชเชอร์เป็นรูปแบบปริมาตรตามธรรมชาติบนท่อร่วมทางสถิติดังนั้นจึงมีการตีความทางเรขาคณิตที่ดี ความจริงที่ว่ามันปรากฏในคำจำกัดความของเจฟฟรีย์ก่อนหน้านั้นเชื่อมโยงกับความไม่แปรเปลี่ยนของมันภายใต้การซ่อมแซมซ้ำซึ่งเป็นสมบัติทางเรขาคณิต แต่อะไรคือปัจจัยในสถิติ ? มันวัดสิ่งที่มีความหมายหรือไม่? (ตัวอย่างเช่นฉันจะบอกว่าถ้ามันเป็นศูนย์แล้วพารามิเตอร์ไม่ได้เป็นอิสระสิ่งนี้จะไปอีกหรือไม่) นอกจากนี้มีรูปแบบปิดใด ๆ ในการคำนวณอย่างน้อยในบางกรณี "ง่าย"

13 variance  information-theory  fisher-information  information-geometry 

สำหรับชื่อเรื่องความคิดคือการใช้ข้อมูลร่วมกันที่นี่และหลัง MI เพื่อประมาณค่า "สหสัมพันธ์" (นิยามว่า "เท่าที่ฉันรู้เกี่ยวกับ A เมื่อฉันรู้จัก B") ระหว่างตัวแปรต่อเนื่องและตัวแปรเด็ดขาด ฉันจะบอกคุณความคิดของฉันเกี่ยวกับเรื่องนี้ในช่วงเวลาหนึ่ง แต่ก่อนที่ฉันจะแนะนำให้คุณอ่านคำถาม / คำตอบอื่น ๆ เกี่ยวกับ CrossValidatedเนื่องจากมีข้อมูลที่มีประโยชน์ ตอนนี้เนื่องจากเราไม่สามารถรวมกับตัวแปรเด็ดขาดเราต้องแยกแยะตัวแปรต่อเนื่อง สิ่งนี้สามารถทำได้ค่อนข้างง่ายใน R ซึ่งเป็นภาษาที่ฉันได้ทำการวิเคราะห์ด้วย ฉันชอบที่จะใช้cutฟังก์ชั่นนี้เพราะมันก็ใช้แทนค่า แต่ก็มีตัวเลือกอื่นเช่นกัน ประเด็นก็คือเราต้องตัดสินใจก่อนถึงจำนวนของ "ถังขยะ" (สถานะที่ไม่ต่อเนื่อง) ก่อนที่จะสามารถแยกแยะได้ อย่างไรก็ตามปัญหาหลักเป็นอีกปัญหาหนึ่ง: MI อยู่ในช่วงตั้งแต่ 0 ถึง∞เนื่องจากเป็นการวัดที่ไม่ได้มาตรฐานซึ่งหน่วยเป็นบิต ทำให้ยากมากที่จะใช้มันเป็นค่าสัมประสิทธิ์สหสัมพันธ์ ส่วนนี้สามารถแก้ไขได้โดยใช้สัมประสิทธิ์สหสัมพันธ์ทั่วโลกที่นี่และหลัง GCC ซึ่งเป็นเวอร์ชันมาตรฐานของ MI; GCC ถูกกำหนดดังนี้: การอ้างอิง: สูตรมาจากข้อมูลร่วมกันเป็นเครื่องมือไม่เชิงเส้นสำหรับการวิเคราะห์ตลาดหุ้นโลกาภิวัตน์โดย Andreia Dionísio, Rui Menezes &amp; Diana Mendes, 2010 GCC …

13 correlation  information-theory  mutual-information 

เอนโทรปีความแตกต่างของเกาส์ RV เป็น ) สิ่งนี้ขึ้นอยู่กับσซึ่งเป็นค่าเบี่ยงเบนมาตรฐานเข้าสู่ระบบ2( σ2 πอี---√)log2⁡(σ2πe)\log_2(\sigma \sqrt{2\pi e})σσ\sigma ถ้าเราทำให้ตัวแปรสุ่มเป็นมาตรฐานเพื่อให้มันมีความแปรปรวนของหน่วย สำหรับฉันนี่คือการตอบโต้ที่ใช้งานง่ายเพราะ Kolmogorov ความซับซ้อนของค่าคงที่ normalizing ควรมีขนาดเล็กมากเมื่อเทียบกับการลดลงของเอนโทรปี หนึ่งสามารถประดิษฐ์ตัวถอดรหัสที่แบ่ง / ทวีคูณด้วยค่าคงที่ normalizing เพื่อกู้คืนชุดข้อมูลใด ๆ ที่สร้างขึ้นโดยตัวแปรสุ่มนี้ ความเข้าใจของฉันอาจจะปิด คุณช่วยชี้จุดบกพร่องของฉันได้ไหม

13 information-theory  entropy  randomness 

จากวิกิพีเดียมีคำนิยามของ Akaike's Information Criterion (AIC) เป็นโดยที่kคือจำนวนพารามิเตอร์และlog Lคือความเป็นไปได้ของโมเดลA Iค= 2 k - 2 บันทึกLAIC=2k−2log⁡L AIC = 2k -2 \log L kkkเข้าสู่ระบบLlog⁡L\log L อย่างไรก็ตามบันทึกเศรษฐเราในมหาวิทยาลัยของรัฐที่นับหน้าถือตาที่ฉันC = บันทึก( σ 2 ) + 2 ⋅ k . นี่ σ 2คือความแปรปรวนโดยประมาณสำหรับข้อผิดพลาดในรูปแบบ ARMA และTคือจำนวนของการสังเกตในชุดข้อมูลชุดเวลาA Iค= บันทึก( σ^2) + 2 ⋅ kTAIC=log⁡(σ^2)+2⋅kT AIC = \log (\hat{\sigma}^2) + \frac{2 …

12 econometrics  aic  arma  information-theory 

หมายเหตุ: คำถามนี้เป็นคำถามใหม่เนื่องจากต้องลบคำถามก่อนหน้านี้ด้วยเหตุผลทางกฎหมาย ในขณะที่เปรียบเทียบ PROC MIXED จาก SAS กับฟังก์ชันlmeจากnlmeแพ็คเกจใน R ฉันพบความแตกต่างที่ค่อนข้างสับสน โดยเฉพาะอย่างยิ่งองศาอิสระในการทดสอบที่แตกต่างกันระหว่างPROC MIXEDและlmeและฉันสงสัยว่าทำไม เริ่มจากชุดข้อมูลต่อไปนี้ (รหัส R ระบุด้านล่าง): ind: ปัจจัยบ่งชี้บุคคลที่จะทำการวัด fac: อวัยวะที่ใช้ทำการวัด trt: ปัจจัยบ่งชี้การรักษา y: ตัวแปรตอบสนองต่อเนื่องบางอย่าง ความคิดคือการสร้างแบบจำลองง่ายๆดังต่อไปนี้: y ~ trt + (ind): indเป็นปัจจัยสุ่ม y ~ trt + (fac(ind)): facซ้อนกันindเป็นปัจจัยสุ่ม โปรดทราบว่ารุ่นสุดท้ายที่ควรทำให้เกิดเอกเป็นมีเพียง 1 ค่าของyสำหรับการรวมกันของทุกและindfac แบบจำลองแรก ใน SAS ฉันสร้างโมเดลต่อไปนี้: PROC MIXED data=Data; CLASS ind fac …

12 r  mixed-model  sas  degrees-of-freedom  pdf  unbiased-estimator  distance-functions  functional-data-analysis  hellinger  time-series  outliers  c++  relative-risk  absolute-risk  rare-events  regression  t-test  multiple-regression  survival  teaching  multiple-regression  regression  self-study  t-distribution  machine-learning  recommender-system  self-study  binomial  standard-deviation  data-visualization  r  predictive-models  pearson-r  spearman-rho  r  regression  modeling  r  categorical-data  data-visualization  ggplot2  many-categories  machine-learning  cross-validation  weka  microarray  variance  sampling  monte-carlo  regression  cross-validation  model-selection  feature-selection  elastic-net  distance-functions  information-theory  r  regression  mixed-model  random-effects-model  fixed-effects-model  dataset  data-mining 

ฉันต้องการคำนวณ divergence ของเซ่น - แชนนอนสำหรับเขาหลังจากการกระจาย 3 ครั้ง การคำนวณด้านล่างถูกต้องหรือไม่ (ฉันติดตามสูตร JSD จากวิกิพีเดีย ): P1 a:1/2 b:1/2 c:0 P2 a:0 b:1/10 c:9/10 P3 a:1/3 b:1/3 c:1/3 All distributions have equal weights, ie 1/3. JSD(P1, P2, P3) = H[(1/6, 1/6, 0) + (0, 1/30, 9/30) + (1/9,1/9,1/9)] - [1/3*H[(1/2,1/2,0)] + 1/3*H[(0,1/10,9/10)] + 1/3*H[(1/3,1/3,1/3)]] …

12 distance-functions  information-theory