การผูกข้อมูลร่วมกันที่กำหนดขอบเขตบนข้อมูลร่วมกันตามจุด

สมมติว่าฉันมีสองชุดและและกระจายความน่าจะร่วมกันมากกว่าชุดนี้y) อนุญาตให้และแสดงถึงการกระจายตัวเล็กน้อยเหนือและตามลำดับ $X$ $Y$ $p(x,y)$ $p(x)$ $p(y)$ $X$ $Y$

ข้อมูลร่วมกันระหว่างและถูกกำหนดให้เป็น: $X$ $Y$

I (X; Y) = \sum_{x, y} p (x, y) \cdot \log (\frac{p (x, y)}{p (x) p (y)})

$I(X; Y) = \sum_{x,y}p(x,y)\cdot\log\left(\frac{p(x,y)}{p(x)p(y)}\right)$

คือมันเป็นค่าเฉลี่ยของ PMI pointwise ข้อมูลร่วมกันขวา) $(x,y) \equiv \log\left(\frac{p(x,y)}{p(x)p(y)}\right)$

สมมติว่าฉันรู้ขอบเขตบนและล่างของ pmi : นั่นคือฉันรู้ว่าสำหรับมีดังต่อไปนี้: $(x,y)$ $x,y$

- k \leq \log (\frac{p (x, y)}{p (x) p (y)}) \leq k

$-k \leq \log\left(\frac{p(x,y)}{p(x)p(y)}\right) \leq k$

สิ่งที่ถูกผูกไว้ด้านบนนี้จะบ่งบอกเกี่ยวกับ $I(X; Y)$ Y) แน่นอนว่ามันหมายถึง $I(X; Y) \leq k$ แต่ฉันต้องการขอบเขตที่แน่นกว่าถ้าเป็นไปได้ นี้ดูเหมือนว่าเป็นไปได้กับผมเพราะพีกำหนดกระจายความน่าจะเป็นและ PMI $(x,y)$ ไม่สามารถใช้ค่าสูงสุด (หรือแม้กระทั่งไม่เป็นลบ) สำหรับค่าของทุก $x$ และy ที่ $y$

entropy mutual-information information-theory

— Florian
แหล่งที่มา

เมื่อความน่าจะเป็นร่วมและส่วนเพิ่มนั้นมีค่าเท่ากัน pmi ( , ) จะมีค่าเป็นศูนย์อย่างสม่ำเสมอ (ดังนั้นจึงไม่ใช่ค่าลบ ดูเหมือนว่าผมถ้าผมไม่ผิดที่ทำให้ยุ่งสถานการณ์นี้มากกว่าส่วนย่อยเล็ก ๆ ของแสดงให้เห็นว่าในวันที่ขอบเขต PMI บอกว่าเกือบไม่มีอะไรเกี่ยวกับตัวเอง

x

$x$

y

$y$

X \times Y

$X \times Y$

I (X; Y)

$I(X;Y)$

— whuber

ในความเป็นจริงถ้าและเป็นอิสระแล้วเป็นค่าคงที่โดยไม่คำนึงถึงการแจกแจงขอบ ดังนั้นจึงมีทั้งชั้นของการกระจายที่ได้รับค่าสูงสุดสำหรับทุกและy ที่

X

$X$

Y

$Y$

p m i (x, y)

$\mathrm{pmi}(x,y)$

p (x, y)

$p(x,y)$

p m i (x, y)

$\mathrm{pmi}(x,y)$

x

$x$

y

$y$

— พระคาร์ดินัล

ใช่มันเป็นความจริงอย่างแน่นอนที่ pmiสามารถเท่ากันได้สำหรับและทั้งหมด แต่นั่นไม่ได้ จำกัด ขอบเขตที่แน่นกว่า ยกตัวอย่างเช่นมันไม่ยากที่จะพิสูจน์ว่าk-1) นี่คือเมื่อและเป็นเสริมสร้างความเข้มแข็งไม่น่ารำคาญของที่ถูกผูกไว้เมื่อ<1 ฉันสงสัยว่ามีขอบเขตที่ไม่สำคัญซึ่งถือโดยทั่วไปมากกว่าหรือไม่

(x, y)

$(x,y)$

x

$x$

y

$y$

I (X; Y) \leq k (e^{k} - 1)

$I(X; Y) \leq k(e^k-1)$

\approx k^{2}

$\approx k^2$

k < 1

$k < 1$

k

$k$

k < 1

$k < 1$

— ฟลอเรียน

ฉันสงสัยว่าคุณจะได้รับที่ถูกผูกไว้ดีกว่าสำหรับ0 หากคุณต้องการดูยากขึ้นให้ลองกำหนดคำถามใหม่ในแง่ของ KL divergence ระหว่าง p (x) p (y) และ p (x, y) ความไม่เท่าเทียมกันของ Pinsker ให้ขอบเขตล่างใน MI ที่อาจยืนยันลางสังหรณ์ของฉัน ดูเพิ่มเติมมาตรา 4 แห่งajmaa.org/RGMIA/papers/v2n4/relog.pdf

O (k^{2})

$O(k^2)$

k \to 0

$k \to 0$

— vqv

คำตอบ:

ผลงานของฉันประกอบด้วยตัวอย่าง มันแสดงให้เห็นถึงข้อ จำกัด บางประการเกี่ยวกับวิธีการที่ข้อมูลร่วมกันสามารถถูก จำกัด ขอบเขตบนข้อมูลร่วมกันแบบจุด

รับและสำหรับทั้งหมด สำหรับให้เป็นคำตอบของสมการ จากนั้นเราจะวางจุดมวลในจุดในพื้นที่ผลิตภัณฑ์ในลักษณะที่มีจุดเหล่านี้ในแต่ละแถวและแต่ละคอลัมน์ (ซึ่งสามารถทำได้หลายวิธี. เริ่มการทำงานเช่นกับครั้งแรกจุดในแถวแรกและจากนั้นกรอกข้อมูลในแถวที่เหลือโดยขยับ $X = Y = \{1,\ldots, n\}$ $p(x) = 1/n$ $x \in X$ $m \in \{1,\ldots, n/2\}$ $k > 0$

m e^{k} + (n - m) e^{- k} = n .

$m e^{k} + (n - m) e^{-k} = n.$

e^{k} / n^{2}

$e^k / n^2$

n m

$nm$

{1, \dots, n}^{2}

$\{1,\ldots,n\}^2$

m

$m$

m

$m$

m

$m$ ชี้หนึ่งไปทางขวาโดยมีเงื่อนไขขอบเขตเป็นวงกลมสำหรับแต่ละแถว) เราวางมวลจุดในส่วนที่เหลืออีกจุด ผลรวมของมวลจุดเหล่านี้คือ ดังนั้นพวกเขาจึงให้การวัดความน่าจะเป็น ความน่าจะเป็นจุดด้อยทั้งหมดคือ ดังนั้นการแจกแจงร่อแร่ทั้งสองจึงเหมือนกัน

e^{- k} / n^{2}

$e^{-k}/n^2$

n^{2} - n m

$n^2 - nm$

\frac{n m}{n^{2}} e^{k} + \frac{n^{2} - n m}{n^{2}} e^{- k} = \frac{m e^{k} + (n - m) e^{- k}}{n} = 1,

$\frac{nm}{n^2} e^{k} + \frac{n^2 - nm}{n^2} e^{-k} = \frac{me^k + (n-m)e^{-k}}{n} = 1,$

\frac{m}{n^{2}} e^{k} + \frac{m - n}{n^{2}} e^{- k} = \frac{1}{n},

$\frac{m}{n^2} e^{k} + \frac{m - n}{n^2} e^{-k} = \frac{1}{n},$

โดยการก่อสร้างเป็นที่ชัดเจนว่าสำหรับและ (หลังจากนั้นบางส่วน การคำนวณ) มี ข้อมูลซึ่งกันและกันพฤติกรรมตามที่สำหรับและสำหรับ\ $\mathrm{pmi}(x,y) \in \{-k,k\},$ $x,y \in \{1,\ldots,n\}$

I (X; Y) = k \frac{n m}{n^{2}} e^{k} - k \frac{n^{2} - n m}{n^{2}} e^{- k} = k (\frac{1 - e^{- k}}{e^{k} - e^{- k}} (e^{k} + e^{- k}) - e^{- k}),

$I(X;Y) = k \frac{nm}{n^2} e^{k} - k \frac{n^2 - nm}{n^2} e^{-k} = k\Big(\frac{1-e^{-k}}{e^k - e^{-k}} (e^k + e^{-k}) - e^{-k}\Big),$

k^{2} / 2

$k^2 / 2$

k \to 0

$k \to 0$

k

$k$

k \to \infty

$k \to \infty$

— NRH
แหล่งที่มา

ฉันไม่แน่ใจว่านี่คือสิ่งที่คุณกำลังมองหาหรือเปล่าเพราะส่วนใหญ่เป็นพีชคณิตและไม่ใช้ประโยชน์จากคุณสมบัติของการกระจายความน่าจะเป็นจริง ๆ แต่นี่คือสิ่งที่คุณสามารถลองได้

เนื่องจากขอบเขตบน pmi ชัดเจนและทำให้ k เราสามารถแทนที่ในเพื่อรับ $\frac{p(x,y)}{p(x)p(y)}\leq e^k$ $p(x,y)\leq p(x)p(y)\cdot e^k$ $p(x,y)$ $I(X;Y)$ $I(X;Y)\leq \sum_{x,y}p(x)p(y)\cdot e^k\cdot log(\frac{p(x)p(y)\cdot e^k}{p(x)p(y)}) = \sum_{x,y}p(x)p(y)\cdot e^k\cdot k$

ฉันไม่แน่ใจว่ามีประโยชน์หรือไม่

แก้ไข: จากการตรวจสอบเพิ่มเติมฉันเชื่อว่านี่เป็นประโยชน์น้อยกว่าขอบเขตดั้งเดิมของ k ฉันจะไม่ลบสิ่งนี้แม้ว่าในกรณีที่มันอาจบอกเป็นนัยถึงจุดเริ่มต้น

— Michael McGowan
แหล่งที่มา

ค่าของที่ถูกผูกไว้นี้กลายเป็นที่ชัดเจนหลังจากที่คุณทราบ

และ (ตั้งแต่

) ที่

\sum_{x, y} p (x) p (y) = 1

$\sum_{x,y}p(x)p(y)=1$

k \geq 0

$k \ge 0$

e^{k} \geq 1

$e^k \ge 1$

— whuber

ใช่เมื่อฉันรู้ว่าฉันได้ทำการแก้ไข

— Michael McGowan