ความสัมพันธ์ระหว่างเอนโทรปีและ SNR

โดยทั่วไปแล้วรูปแบบของพลังงานใด ๆ นั้นหมายถึงความไม่แน่นอนหรือการสุ่ม ในสภาพแวดล้อมที่มีเสียงดังผมเชื่อว่าการเพิ่มขึ้นของเอนโทรปีจะเพิ่มขึ้นเนื่องจากเรามีความไม่แน่นอนเกี่ยวกับเนื้อหาข้อมูลของสัญญาณที่ต้องการ ความสัมพันธ์ระหว่างเอนโทรปีและ SNR คืออะไร? ด้วยการเพิ่มขึ้นของสัญญาณการปันส่วนเสียงพลังเสียงลดลง แต่นี่ไม่ได้หมายความว่าเนื้อหาข้อมูลของสัญญาณจะเพิ่มขึ้น !! เนื้อหาข้อมูลอาจยังคงเหมือนเดิมนั่นหมายความว่าเอนโทรปีไม่ได้รับผลกระทบหรือไม่?

เมื่อคุณพูดว่า "เนื้อหาข้อมูลอาจยังคงเหมือนเดิม" คุณหมายถึงข้อมูลในสัญญาณทั้งหมดหรือข้อมูลของสัญญาณที่ต้องการหรือไม่ หวังว่านี่จะตอบทั้งสองกรณี ฉันรู้ว่านอนส์เอนโทรปีดีกว่า Kolmogorov ดังนั้นฉันจะใช้มัน แต่หวังว่าตรรกะจะแปล

สมมติว่าเป็นสัญญาณของคุณรวม ( X ) ประกอบด้วยผลรวมของสัญญาณของคุณต้องการSของคุณและองค์ประกอบเสียงN ขอเรียกเอนโทรปีH อย่างที่คุณพูดเสียงรบกวนจะเพิ่มเอนโทรปีให้กับระบบโดยการเพิ่มความซับซ้อน อย่างไรก็ตามไม่จำเป็นเพียงเพราะเราไม่แน่ใจเกี่ยวกับเนื้อหาข้อมูลของสัญญาณมากขึ้น แต่เนื่องจากมีความไม่แน่นอนโดยรวมในสัญญาณ ถ้า SNR เป็นเครื่องบ่งชี้ว่าเราแน่ใจว่าSคืออะไรH ( X ) จะเป็นเครื่องวัดว่าเราสามารถทำนายสถานะXในอนาคตได้ดีเพียงใด$X = S + N$$X$$S$$N$$H$$S$$H(X)$$X$ขึ้นอยู่กับสถานะปัจจุบันของXเอนโทรปีเกี่ยวข้องกับความซับซ้อนของสัญญาณทั้งหมดโดยไม่คำนึงถึงองค์ประกอบของเสียงรบกวนและไม่มีเสียงรบกวน$X$

หากคุณเพิ่ม SNR โดยการลบเสียงรบกวน (ลดทอน ) คุณจะลดความซับซ้อนของสัญญาณXทั้งหมดและทำให้เอนโทรปีของมันลดลง คุณไม่ได้สูญเสียข้อมูลใด ๆ ที่ดำเนินการโดยSข้อมูลที่ไม่มีการดำเนินการโดยNเท่านั้น ถ้าNเป็นสัญญาณรบกวนแบบสุ่มเห็นได้ชัดว่ามันไม่มีข้อมูลที่มีความหมาย แต่จะต้องใช้ข้อมูลจำนวนหนึ่งเพื่ออธิบายสถานะของNโดยพิจารณาจากจำนวนสถานะที่ N สามารถเข้ามาและความน่าจะเป็นที่จะอยู่ใน แต่ละรัฐเหล่านั้น นั่นคือเอนโทรปี$N$$X$$S$$N$$N$$N$

เราสามารถมองไปที่สองการแจกแจงแบบเกาส์ที่มีความแปรปรวนที่แตกต่างกัน, พูดหนึ่งมีความแปรปรวนของและอื่น ๆ ที่มีความแปรปรวนของ100 เพียงดูที่สมการของการแจกแจงแบบเกาส์เราจะเห็นว่าการกระจายV a r = 100มีความน่าจะเป็นสูงสุดที่เป็นเพียง$1$$100$$Var=100$ค่าความน่าจะเป็นของvar=1distr ในทางกลับกันหมายความว่ามีความเป็นไปได้สูงกว่าที่Var=100distr จะใช้ค่าอื่นที่ไม่ใช่ค่าเฉลี่ยหรือมีความมั่นใจมากขึ้นว่าการกระจายVar=1จะใช้ค่าใกล้ค่าเฉลี่ย ดังนั้นการกระจายVar=1จึงมีค่าเอนโทรปีต่ำกว่าการกระจายVar=$\frac {1} {10}$$var=1$$Var=100$$Var=1$$Var=1$$Var=100$

เรายอมรับว่าความแปรปรวนที่สูงขึ้นหมายถึงเอนโทรปีที่สูงขึ้น มองไปที่การขยายพันธุ์ข้อผิดพลาดก็ยังเป็นความจริงที่ว่า (เท่ากับอิสระX , Y ) ถ้าX = S + Nแล้วสำหรับเอนโทรปีH , H ( X ) = H ( S + N ) ตั้งแต่$Var(X+Y) >= Var(X) + Var(Y)$$X$$Y$$X = S + N$$H$$H(X) = H(S+N)$คือ (อ้อม) ฟังก์ชั่นความแปรปรวนเราสามารถเหลวไหลสิ่งเล็ก ๆ น้อย ๆ ที่จะพูด H ( V R [ X ] ) = H ( V R [ S + N ] ) เพื่อให้ง่ายขึ้นเราบอกว่า Sและ Nเป็นอิสระดังนั้น H ( V a r [ X ] ) = H ( V a r [ S ] + V a r [ $H$$H(Var[X]) = H(Var[S+N])$$S$$N$ ) SNR ที่ปรับปรุงแล้วมักหมายถึงการลดทอนสัญญาณรบกวน สัญญาณใหม่ที่มี SNR ที่สูงกว่านี้จะเป็น X = S + ( $H(Var[X]) = H(Var[S] + Var[N])$สำหรับk>1 เอนโทรปีแล้วจะกลายเป็นH(VR[X])=H(VR[S]+(1/k)2*VR[N]) kมากกว่า1ดังนั้นVar[N]จะลดลงเมื่อไม่มีการลดทอน ถ้าV$X = S + (\frac {1} {k})N$$k>1$$H(Var[X]) = H(Var[S] + (1/k)^2*Var[N])$$k$$1$$Var[N]$ลดลงจึงไม่ V R [ S + N ]และดังนั้นจึง V R [ X ]ผลในการลดลงของ H ( X )$Var[N]$$Var[S+N]$$Var[X]$$H(X)$

ไม่รัดกุมขออภัย ในระยะสั้น 's เอนโทรปีลดลงถ้าคุณเพิ่ม SNR แต่คุณไม่มีอะไรทำเพื่อS ' s ข้อมูล ฉันไม่สามารถหาแหล่งที่มาได้ในขณะนี้ แต่มีวิธีการในการคำนวณ SNR และข้อมูลร่วมกัน (ตัวชี้วัด bivariate คล้ายกับเอนโทรปี) จากกันและกัน บางทีประเด็นหลักคือ SNR และเอนโทรปีไม่ได้วัดในสิ่งเดียวกัน$X$$S$

ต่อไปนี้เป็นข้อความจากการ[1, p. 186]ให้คุณ OP หรือ Googler เริ่มต้น:

$\mathcal{H} \approx \text{(number of active components in data)} \times \log \text{SNR}$

$\mathcal{H}$

[1] D. Sivia and J. Skilling, Data analysis: a Bayesian tutorial. OUP Oxford, 2006