Kullback-Leibler divergence โดยไม่มีทฤษฎีข้อมูล

หลังจากผ่านการตรวจสอบของ Cross Validated แล้วฉันยังไม่รู้สึกว่าฉันเข้าใกล้การเข้าใจความแตกต่างของ KL นอกทฤษฎีข้อมูล มันค่อนข้างแปลกสำหรับใครบางคนที่มีพื้นฐานทางคณิตศาสตร์เพื่อให้เข้าใจคำอธิบายทฤษฎีข้อมูลได้ง่ายขึ้น

เพื่อสรุปความเข้าใจของฉันจากเบื้องหลังทฤษฎีข้อมูล: ถ้าเรามีตัวแปรสุ่มที่มีจำนวนผลลัพธ์ที่แน่นอนมีการเข้ารหัสที่ดีที่สุดซึ่งช่วยให้เราสามารถสื่อสารผลลัพธ์กับคนอื่นโดยเฉลี่ยกับข้อความสั้นที่สุด (ฉันพบสิ่งนี้ง่ายที่สุดในการ รูปภาพในรูปของบิต) ความยาวที่คาดหวังของข้อความจะต้องสื่อสารผลลัพธ์โดยหากใช้การเข้ารหัสที่เหมาะสมที่สุด หากคุณต้องใช้การเข้ารหัสที่เหมาะสมที่สุดย่อยแล้ว KL divergence จะบอกเราโดยเฉลี่ยว่าข้อความของเราจะนานเท่าไร

- \underset{α}{Σ} {พี}_{α} {เข้าสู่ระบบ}_{2} ({พี}_{α})

$-\sum _{\alpha}p_{\alpha}\log_{2}(p_{\alpha})$

ฉันชอบคำอธิบายนี้เพราะมันค่อนข้างเกี่ยวข้องกับความไม่สมมาตรของ KL divergence หากเรามีระบบที่แตกต่างกันสองระบบคือสองเหรียญที่โหลดแตกต่างกันพวกเขาจะมีการเข้ารหัสที่ดีที่สุดที่แตกต่างกัน ฉันไม่รู้สึกอย่างสัญชาตญาณว่าการใช้การเข้ารหัสของระบบที่สองสำหรับครั้งแรกนั้น "แย่พอ ๆ กัน" กับการใช้การเข้ารหัสของระบบแรกเป็นครั้งที่สอง โดยไม่ต้องผ่านกระบวนการคิดว่าฉันเชื่อมั่นในตัวเองอย่างไรตอนนี้ฉันมีความสุขมากที่จะช่วยให้คุณนี้ "ข้อความยาวคาดว่าพิเศษ" เมื่อใช้ 's เข้ารหัสสำหรับพี

\underset{α}{Σ} {พี}_{α} ({เข้าสู่ระบบ}_{2} Q_{α} - {เข้าสู่ระบบ}_{2} {พี}_{α})

$\sum _{\alpha}p_{\alpha}( \log _{2}q_{\alpha}-\log_{2}p_{\alpha})$

q

$q$

p

$p$

อย่างไรก็ตามคำจำกัดความส่วนใหญ่ของ KL divergence รวมถึงวิกิพีเดียก็ทำให้คำแถลง (ทำให้สิ่งนี้เป็นคำที่ไม่ต่อเนื่องเพื่อให้สามารถเปรียบเทียบกับการตีความทฤษฏีข้อมูลซึ่งทำงานได้ดีกว่าในแง่ที่ไม่ต่อเนื่องกันเป็นบิต) การแจกแจงจากนั้น KL จะให้การวัดบางส่วนของ "ความแตกต่าง" ฉันยังไม่เห็นคำอธิบายเดียวว่าแนวคิดทั้งสองนี้เกี่ยวข้องกันอย่างไร ฉันดูเหมือนจะจำได้ว่าในหนังสือของเขาเกี่ยวกับการอนุมานเดฟแมคเคย์ให้คะแนนเกี่ยวกับวิธีการบีบอัดข้อมูลและการอนุมานนั้นเป็นสิ่งเดียวกันและฉันสงสัยว่าคำถามของฉันเกี่ยวข้องกับเรื่องนี้จริงๆ

ไม่ว่าจะเป็นหรือไม่ก็ตามคำถามที่ฉันมีอยู่ในใจก็คือปัญหาของการอนุมาน (การรักษาสิ่งต่าง ๆ โดยสิ้นเชิง) ถ้าเรามีตัวอย่างกัมมันตภาพรังสีสองตัวอย่างและเรารู้ว่าหนึ่งในนั้นเป็นวัสดุบางอย่างที่มีกัมมันตภาพรังสีที่รู้จัก (นี่คือฟิสิกส์ที่น่าสงสัย แต่เราแสร้งทำเป็นเอกภพทำงานเช่นนั้น) ของการคลิกกัมมันตภาพรังสีที่เราควรวัดควรเป็นปัวซองเซียนที่รู้จักมันยุติธรรมที่จะสร้างการกระจายเชิงประจักษ์สำหรับตัวอย่างทั้งสองและเปรียบเทียบความแตกต่าง KL ของพวกเขากับการกระจายที่รู้จักและบอกว่า $\lambda$

ถ้าฉันรู้ว่าตัวอย่างสองตัวอย่างถูกดึงออกมาจากการกระจายตัวแบบเดียวกัน แต่ฉันรู้ว่าพวกมันไม่ได้ถูกเลือกแบบสุ่มจะเปรียบเทียบความแตกต่าง KL ของพวกเขากับการกระจายที่เป็นที่รู้จักการกระจายทั่วโลกทำให้ฉันรู้สึกว่า เกี่ยวข้องกับอย่างใดอย่างหนึ่งหรือไม่?

และในที่สุดถ้าคำตอบของคำถามก่อนหน้านี้คือใช่แล้วทำไม? เป็นไปได้ไหมที่จะเข้าใจสิ่งเหล่านี้จากมุมมองทางสถิติโดยลำพังโดยไม่ต้องเชื่อมโยงกับทฤษฎีสารสนเทศ

— gazza89
แหล่งที่มา

ดูคำตอบของฉันที่นี่: stats.stackexchange.com/questions/188903/ … ซึ่งไม่ได้อ้างถึงทฤษฎีข้อมูล

— kjetil b halvorsen

ความแตกต่างของ KL ไม่ใช่แนวคิดเชิงทฤษฎีข้อมูลหรือไม่? ฉันรู้ว่ามันให้ข้อมูลร่วมกันระหว่าง Bayesian ก่อนและหลังหรืออะไรทำนองนั้นและฉันจำได้ว่าเคยเห็นมันในบริบทของ Fenchel แปลง / คอนจูเกต (ทฤษฎีการเบี่ยงเบนขนาดใหญ่) แต่ในกรณีใด ๆ ฉันคิดว่ามันเป็นแนวคิดเชิงทฤษฎีข้อมูล .

— Chill2Macht

คำตอบ:

มีวิธีการทางสถิติล้วนๆเพื่อ Kullback-Leibler divergence: นำตัวอย่าง iid จากการแจกแจงที่ไม่รู้จักและพิจารณาความเหมาะสมที่อาจเกิดขึ้นโดยครอบครัวของการแจกแจงโอกาสที่สอดคล้องกันถูกกำหนดเป็น และ ลอการิทึมคือ ดังนั้น ซึ่ง เป็นส่วนที่น่าสนใจของ Kullback-Leibler divergence ระหว่างกับ $X_1,\ldots,X_n$ $p^\star$

F = {p_{θ}, θ \in Θ}

$\mathfrak{F}=\{p_\theta\,,\ \theta\in\Theta\}$

L (θ | x_{1}, \dots, x_{n}) = \prod_{i = 1}^{n} p_{θ} (x_{i})

$L(\theta|x_1,\ldots,x_n)=\prod_{i=1}^n p_\theta(x_i)$

ℓ (θ | x_{1}, \dots, x_{n}) = \sum_{i = 1}^{n} \log p_{θ} (x_{i})

$\ell(\theta|x_1,\ldots,x_n)=\sum_{i=1}^n \log p_\theta(x_i)$

\frac{1}{n} ℓ (θ | x_{1}, \dots, x_{n}) ⟶ E [\log p_{θ} (X)] = \int \log p_{θ} (x) p^{⋆} (x) d x

$\frac{1}{n} \ell(\theta|x_1,\ldots,x_n) \longrightarrow \mathbb{E}[\log p_\theta(X)]=\int \log p_\theta(x)\,p^\star(x)\text{d}x$

p_{θ}

$p_\theta$

p^{⋆}

$p^\star$

H ({พี}_{θ} | {พี}^{⋆}) \overset{def}{=} \int เข้าสู่ระบบ {{พี}^{⋆} (x) / {พี}_{θ} (x)} {พี}^{⋆} (x) d x

$\mathfrak{H}(p_\theta|p^\star)\stackrel{\text{def}}{=}\int \log \{p^\star(x)/p_\theta(x)\}\,p^\star(x)\text{d}x$ ส่วนอื่นอยู่ที่นั่นเพื่อให้มีขั้นต่ำ [ใน ] ของเท่ากับศูนย์

\int เข้าสู่ระบบ {{พี}^{⋆} (x)} {พี}^{⋆} (x) d x

$\int \log \{p^\star(x)\}\,p^\star(x)\text{d}x$

θ

$\theta$

H (p_{θ} | p^{⋆})

$\mathfrak{H}(p_\theta|p^\star)$

หนังสือที่เชื่อมต่อความแตกต่างทฤษฎีข้อมูลและการอนุมานทางสถิติเป็น Rissanen ของ การประมาณค่าที่เหมาะสมของพารามิเตอร์ซึ่งเราได้ตรวจสอบที่นี่

— ซีอาน
แหล่งที่มา

ความเป็นไปได้ใด ๆ ที่เห็นตัวอย่างตัวเลขนี้?

— Paul Uszak

ฉันหมายถึงการได้เห็นตัวเลขจริง ทฤษฎีน่ารัก แต่โลกนี้มีตัวเลข ไม่มีตัวอย่างของความแตกต่างของ KL ที่ใช้ตัวเลขจริงดังนั้นฉันจึงสรุปว่ามันเป็นทฤษฎีที่ไม่มีการใช้งานที่เป็นไปได้ OP กล่าวถึงความยาวของข้อความเป็นบิตและการบีบอัดข้อมูล ฉันหมายถึงตัวอย่างใด ๆ ที่มีจำนวนของบิตในมัน ...

— พอล Uszak

@ PaulUszak: ถ้าฉันบอกคุณว่า Kullaback-Leibler ระยะทางระหว่าง N (0,1) และการกระจาย N (1,1) คือ 1/2 สิ่งนี้ช่วยได้อย่างไร

— ซีอาน

@ ซีอาน: จะต้องมีการเชื่อมต่อระหว่างจำนวนที่ 1/2 และพลังของการทดสอบอัตราส่วนความน่าจะเป็นที่สอดคล้องกัน?

— kjetil b halvorsen

+1 อีกเธรดความคิดเห็น: จิตใจกระวนกระวายใจว่าแนวคิดใด ๆ ที่ไม่สามารถลดเป็น "จำนวนบิต" นั้นไร้ประโยชน์

— whuber

นี่คือการตีความทางสถิติของการเบี่ยงเบน Kullback-Leibler ซึ่งนำมาจาก IJ ดีอย่างหลวม ๆ ( น้ำหนักของหลักฐาน: การสำรวจสั้น ๆ , Bayesian Statistics 2, 1985)

น้ำหนักของหลักฐาน

$x_1, x_2, \dots, x_n$ $f_0$ $H_1$ $H_2$ $f_0$ $H_1 = \{f_1\}$ $H_2 = \{f_2\}$ $f_0$ $f_1$ $f_2$

$x = (x_1, \dots, x_n)$ $H_1$ $H_2$

W (x) = เข้าสู่ระบบ \frac{ฉ_{1} (x)}{ฉ_{2} (x)} .

$W(x) = \log \frac{f_1(x)}{f_2(x)} .$

P

$P$

H_{0}

$H_0$

H_{1}

$H_1$

W

$W$

เข้าสู่ระบบ \frac{P (H_{0} | x)}{P (H_{1} | x)} = W (x) + เข้าสู่ระบบ \frac{P (H_{0})}{P (H_{1})} .

$\log \frac{P(H_0 | x)}{P(H_1 | x)} = W(x) + \log\frac{P(H_0)}{P(H_1)}.$

W (x_{1}, ..., x_{n}) = W (x_{1}) + \dots + W (x_{n}) .

$W(x_1, \dots, x_n) = W(x_1) + \dots +W(x_n) .$

W (x)

$W(x)$ $x$ $H_1$ $H_2$

$x$ $W(x)$ $W(x) > 2$

ความแตกต่างของ Kullback-Leibler

$f_1$ $f_2$ $x \sim f_1$

K L (ฉ_{1}, ฉ_{2}) = E_{x ~ ฉ_{1}} W (x) = \int ฉ_{1} เข้าสู่ระบบ \frac{ฉ_{1}}{ฉ_{2}} .

$KL(f_1, f_2) = \mathbb{E}_{x \sim f_1} W(x) = \int f_1 \log\frac{f_1}{f_2}.$

$x \sim f_1$ $H_1 = \{f_1\}$ $H_2$

E_{x ~ ฉ_{1}} W (x) \geq 0

$\mathbb{E}_{x \sim f_1} W(x) \geq 0.$

— โอลิเวีย
แหล่งที่มา

ฉันยังไม่เห็นคำอธิบายเดียวว่าแนวคิดทั้งสองนี้เกี่ยวข้องกันอย่างไร

ฉันไม่รู้อะไรมากเกี่ยวกับทฤษฎีข้อมูล แต่นี่คือสิ่งที่ฉันคิดเกี่ยวกับมัน: เมื่อฉันได้ยินคนทฤษฎีข้อมูลพูดว่า "ความยาวของข้อความ" สมองของฉันบอกว่า "ประหลาดใจ" ความประหลาดใจคือ 1) สุ่มและ 2) อัตนัย

$X$ $q(X)$ $- \log q(X)$

$q$ $X$ $p$ $p$ $E_p[-\log p(X)]$ $q$ $p$ $E_p[-\log q(X)]$

แทนที่จะคิดเกี่ยวกับ "พวกเขาต่างกันอย่างไร" ฉันคิดถึง "การเพิ่มขึ้นของความประหลาดใจที่คาดหวังจากการใช้การแจกแจงผิด นี่คือทั้งหมดที่มาจากคุณสมบัติของลอการิทึม

E_{พี} [เข้าสู่ระบบ (\frac{พี (X)}{Q (X)})] = E_{พี} [- เข้าสู่ระบบ Q (X)] - E_{พี} [- เข้าสู่ระบบ พี (X)] \geq 0

$E_p[\log \left( \frac{p(X)}{q(X)} \right)] = E_p[-\log q(X)] - E_p[- \log p(X)] \ge 0.$

แก้ไข

$−\log(q(x))$ $q$

$X$ $q$ $x$ $0$ $-\log(0) = \infty$ $1$ $0$

$-\log$

$q(x) > 1$

$X \sim q_X(x)$ $Y=aX+b \sim q_x((y-b)/a)|1/a|$ $X$ $-\log q_X(X) \neq -\log q_Y(Y)$

$(X-EX)^2$

แก้ไข 2: ดูเหมือนว่าฉันไม่ใช่คนเดียวที่คิดเรื่องนี้ว่า "ประหลาดใจ" จากที่นี่ :

$y$ $\theta$ $-2 \log\{ p(y \mid \theta)\}$

— เทย์เลอร์
แหล่งที่มา

- \log (q (x))

$-\log(q(x))$

q

$q$

T

$T$

T (X) = a X

$T(X) = aX$

a \neq 0

$a \not = 0$

T

$T$

T (x)

$T(x)$

x

$x$

T (x)

$T(x)$

x

$x$

- \log q_{T (X)} (T (x)) > - \log q_{X} (x)

$-\log q_{T(X)}(T(x)) > -\log q_X (x)$

(X - E [X])^{2}

$(X - E[X])^2$