ข้อมูลรวมเป็นความน่าจะเป็น

ข้อมูลร่วมกันของเอนโทรปีสามารถร่วมกันได้:

หมายถึง: "ความน่าจะเป็นในการถ่ายทอดข้อมูลจาก X ถึง Y"?

ฉันขอโทษที่ไร้เดียงสามาก แต่ฉันไม่เคยศึกษาทฤษฎีข้อมูลและฉันพยายามเข้าใจแนวคิดบางอย่างของเรื่องนั้น

การวัดที่คุณอธิบายนั้นเรียกว่าอัตราส่วนคุณภาพสารสนเทศ [IQR] (Wijaya, Sarno และ Zulaika, 2017) IQR คือข้อมูลร่วมกัน หารด้วย "ความไม่แน่นอนทั้งหมด" (เอนโทรปีร่วม) (แหล่งที่มาของภาพ: Wijaya, Sarno และ Zulaika, 2017)$I(X,Y)$$H(X,Y)$

ตามที่อธิบายโดย Wijaya, Sarno และ Zulaika (2017),

ช่วงของ IQR เป็น[0,1]มูลค่าสูงสุด (IQR = 1) สามารถเข้าถึงได้หาก DWT สามารถสร้างสัญญาณใหม่ได้อย่างสมบูรณ์แบบโดยไม่สูญเสียข้อมูล มิฉะนั้นค่าต่ำสุด (IQR = 0) หมายความว่า MWT เข้ากันไม่ได้กับสัญญาณดั้งเดิม กล่าวอีกนัยหนึ่งสัญญาณที่สร้างขึ้นใหม่ด้วย MWT เฉพาะไม่สามารถเก็บข้อมูลที่จำเป็นและแตกต่างอย่างสิ้นเชิงกับลักษณะสัญญาณดั้งเดิม$[0,1]$

คุณสามารถตีความว่ามันเป็นความน่าจะเป็นสัญญาณว่าจะได้รับการสร้างขึ้นใหม่ได้อย่างสมบูรณ์แบบโดยไม่สูญเสียข้อมูล ขอให้สังเกตว่าการตีความดังกล่าวใกล้เคียงกับการตีความความน่าจะเป็นของอัตนัยนิยมแล้วเป็นการตีความแบบดั้งเดิมและบ่อยครั้ง

มันเป็นความน่าจะเป็นสำหรับเหตุการณ์ไบนารี (การสร้างข้อมูลใหม่เทียบกับไม่) โดยที่ IQR = 1 หมายความว่าเราเชื่อว่าข้อมูลที่สร้างขึ้นใหม่จะเชื่อถือได้และ IQR = 0 หมายถึงสิ่งที่ตรงกันข้าม มันแบ่งปันคุณสมบัติทั้งหมดสำหรับความน่าจะเป็นของเหตุการณ์ไบนารี ยิ่งไปกว่านั้นเอนโทรปียังมีคุณสมบัติอื่น ๆ อีกมากมายที่มีความน่าจะเป็น (เช่นคำนิยามของเอนโทรปีแบบมีเงื่อนไขความเป็นอิสระและอื่น ๆ ) ดังนั้นดูเหมือนความน่าจะเป็นและการหลอกลวงเหมือนกัน

Wijaya, DR, Sarno, R. , & Zulaika, E. (2017) อัตราส่วนคุณภาพสารสนเทศเป็นตัวชี้วัดที่แปลกใหม่สำหรับการเลือกเวฟเล็ต เคมีและระบบห้องปฏิบัติการอัจฉริยะ, 160, 59-71

นี่คือนิยามของพื้นที่ความน่าจะเป็น ให้เราใช้สัญลักษณ์ที่นั่น IQR เป็นฟังก์ชั่นของ tuple $(\Omega,\mathscr F,P,X,Y)$ (สามองค์ประกอบแรกในรูปแบบของพื้นที่ความน่าจะเป็นที่ตัวแปรสุ่มสองตัวกำหนดไว้) การวัดความน่าจะเป็นต้องเป็นฟังก์ชั่นชุดที่ตอบสนองทุกเงื่อนไขของคำจำกัดความที่ระบุไว้ในคำตอบของทิม หนึ่งจะต้องระบุ$\Theta:=(\Omega,\mathscr F,P,X,Y)$เป็นส่วนบางส่วนของชุด$\tilde\Omega$ Ω ยิ่งกว่านั้นชุดของ$\Theta$ต้องสร้างเขตข้อมูลย่อยของ$\tilde\Omega$และ$\text{IQR}(\Omega,\mathscr F,P,X,Y)$นั้น( Ω , F , P , X , Y )ต้องตอบสนองคุณสมบัติทั้งสามที่ระบุไว้ในคำจำกัดความของความน่าจะเป็นที่ระบุไว้ในคำตอบของ Tim จนกว่าจะมีใครสร้างวัตถุเช่นนี้มันผิดที่จะบอกว่า IQR เป็นการวัดความน่าจะเป็น ฉันคนหนึ่งไม่เห็นประโยชน์ของการวัดความน่าจะเป็นที่ซับซ้อน (ไม่ใช่ฟังก์ชัน IQR แต่เป็นการวัดความน่าจะเป็น) IQR ในบทความที่อ้างถึงในคำตอบของทิมไม่ได้ถูกเรียกหรือใช้เป็นความน่าจะเป็น แต่เป็นตัวชี้วัด (ตัวแรกคือตัวหลังตัวหนึ่ง แต่ตัวหลังนั้นไม่ใช่แบบตัวแรก)

ในทางกลับกันมีการก่อสร้างเล็กน้อยที่อนุญาตให้หมายเลขใด ๆใน$[0,1]$เป็นความน่าจะเป็น โดยเฉพาะในกรณีของเราพิจารณาใดก็ตามΘ$\Theta$เลือกชุดที่สององค์ประกอบเป็นพื้นที่ตัวอย่าง$\tilde\Omega:=\{a,b\}$ให้สนามเป็น$\tilde{\mathscr F}:=2^{\tilde\Omega}$และกำหนดตัวชี้วัดความน่าจะเป็น$\tilde P(a):=\text{IQR}(\Theta)$ ) เรามีคลาสของความน่าจะเป็นที่ว่างซึ่งจัดทำดัชนีโดย$\Theta$Θ