42

ฉันเจอคำที่ทำให้งงซึ่งหมายถึงความน่าจะเป็นค่าผกผันเฉลี่ยของข้อมูลที่มองไม่เห็น บทความ Wikipedia เกี่ยวกับความงุนงงไม่ได้ให้ความหมายที่เข้าใจง่ายสำหรับสิ่งเดียวกัน

การวัดความฉงนสนเท่ห์นี้ใช้ในกระดาษpLSA

ใครสามารถอธิบายความต้องการและความหมายที่เข้าใจง่ายของการวัดที่น่างง ?

measurement perplexity

— ผู้เรียน
แหล่งที่มา

ฉันจะคำนวณความฉงนสนเท่ห์สำหรับ pLSA ได้อย่างไร ฉันมี datamatrixซึ่งมีการนับและโดยอัลกอริทึม TEMและมีการคำนวณ

X

$X$

p (d)

$p(d)$

p (w | d)

$p(w|d)$

— ผู้เรียน

3

ฉันได้ตรวจสอบดัชนีของหนังสือการทำเหมืองข้อมูล / การเรียนรู้ด้วยเครื่อง / การวิเคราะห์เชิงทำนาย 5 เล่มโดย Nisbett, Larose, Witten, Torgo และ Shemueli (รวมถึงผู้เขียนร่วม) และคำนี้ไม่ได้เกิดขึ้นกับพวกเขาเลย ฉันงงงวย :)

— zbicyclist

1

ความฉงนสนเท่ห์เป็นอีกชื่อที่แปลกประหลาดสำหรับความไม่แน่นอน มันสามารถถือเป็นการประเมินผลภายในกับการประเมินภายนอก Jan Jurafsky อธิบายอย่างสง่างามด้วยตัวอย่างตามแบบจำลองภาษาที่นี่ที่ youtube.com/watch?v=BAN3NB_SNHY

— bicepjai

2

@zbicyclist หากคุณกำลังมองหาตัวอย่างในป่ามันเป็นเรื่องธรรมดาโดยเฉพาะอย่างยิ่งใน NLP และโดยเฉพาะสำหรับการประเมินสิ่งต่าง ๆ เช่นแบบจำลองภาษา

— Matt Krause

ในบางสาขา (เช่นเศรษฐศาสตร์) ผู้คนพูดถึงจำนวนที่เท่ากันเพื่อที่ว่าโดยที่คือเอนโทรปีบนพื้นฐานของลอการิทึมธรรมชาติเป็นจำนวนหมวดหมู่ที่เท่ากัน ดังนั้นสองหมวดหมู่ที่มีความน่าจะเป็น 0.5 ผลตอบแทนของเอนโทรปีของและการยกกำลังกลับมา 2 ตามจำนวนหมวดหมู่ที่เท่ากัน สำหรับความน่าจะเป็นที่ไม่เท่ากันตัวเลขที่เทียบเท่านั้นไม่ได้เป็นจำนวนเต็ม

\exp (H)

$\exp(H)$

H

$H$

\ln 2

$\ln 2$

— Nick Cox

21

คุณได้มองไปที่บทความวิกิพีเดียฉงนสนเท่ห์ มันให้ความฉงนสนเท่ห์ของการกระจายแบบไม่ต่อเนื่องเป็น

2^{- \sum_{x} p (x) \log_{2} p (x)}

$2^{-\sum_x p(x)\log_2 p(x)}$

ซึ่งสามารถเขียนเป็น

\exp (\sum_{x} p (x) \log_{e} \frac{1}{p (x)})

$\exp\left({\sum_x p(x)\log_e \frac{1}{p(x)}}\right)$

กล่าวคือเป็นค่าเฉลี่ยถ่วงน้ำหนักทางเรขาคณิตของค่าผกผันของความน่าจะเป็น สำหรับการกระจายอย่างต่อเนื่องผลรวมจะกลายเป็นอินทิกรัล

บทความนี้ยังให้วิธีการประเมินความงุนงงสำหรับแบบจำลองโดยใช้ข้อมูลทดสอบชิ้น $N$

2^{- \sum_{i = 1}^{N} \frac{1}{N} \log_{2} q (x_{i})}

$2^{-\sum_{i=1}^N \frac{1}{N} \log_2 q(x_i)}$

ซึ่งสามารถเขียนได้

\exp (\frac{\sum_{i = 1}^{N} \log_{e} (\frac{1}{q (x_{i})})}{N}) or \sqrt[N]{\prod_{i = 1}^{N} \frac{1}{q (x_{i})}}

$\exp\left(\frac{{\sum_{i=1}^N \log_e \left(\dfrac{1}{q(x_i)}\right)}}{N}\right) \text{ or } \sqrt[N]{\prod_{i=1}^N \frac{1}{q(x_i)}}$

หรือด้วยวิธีอื่น ๆ ที่หลากหลายและสิ่งนี้ควรทำให้ชัดเจนยิ่งขึ้นโดยที่ "ความน่าจะเป็นแบบอินวอยซ์เฉลี่ยล็อก" มาจาก

— เฮนรี่
แหล่งที่มา

มีความแตกต่างระหว่างอีเมื่อใช้เป็นเลขชี้กำลังแทนที่จะเป็น 2 หรือไม่?

— Henry E

2

@HenryE: ไม่และลอการิทึมพื้นฐานจะใช้งานได้เช่นกัน - ลอการิทึมในฐานที่แตกต่างกันเป็นสัดส่วนซึ่งกันและกันอย่างชัดเจน

10

$10$

a^{\log_{a} x} = b^{\log_{b} x}

$a^{\log_a x} = b^{\log_b x}$

— Henry

ฉันคิดได้มาก ฉันเจอคำตอบนี้เมื่อฉันพยายามที่จะเข้าใจว่าทำไมชิ้นส่วนของรหัสจึงใช้ e เพื่อคำนวณความงุนงงเมื่อสูตรอื่น ๆ ทั้งหมดที่ฉันเคยเห็นมาก่อนหน้านี้เคยใช้งานอยู่ 2. ฉันตระหนักแล้วว่ามันสำคัญขนาดไหนที่รู้กรอบ ใช้เป็นฐานสำหรับการคำนวณการสูญเสียบันทึก

— Henry E

27

ฉันพบสิ่งนี้ค่อนข้างง่าย:

ความสับสนของสิ่งที่คุณกำลังประเมินบนข้อมูลที่คุณประเมินมันเรียงลำดับของบอกคุณว่า "สิ่งนี้ถูกต้องบ่อยครั้งเท่าที่ตายด้าน x จะเป็น"

http://planspace.org/2013/09/23/perplexity-what-it-is-and-what-yours-is/

— pandasEverywhere
แหล่งที่มา

นั่นเป็นบทความที่น่าสนใจ อาจไม่ใช่ในเชิงลึก แต่เป็นการอ่านเบื้องต้นที่ดี

— โมนิก้า Heddneck

1

ฉันยังพบว่าบทความนี้มีประโยชน์jamesmccaffrey.wordpress.com/2016/08/16/…

— user2561747

11

ฉันก็สงสัยเช่นกัน คำอธิบายแรกนั้นไม่เลว แต่นี่คือ 2 nats ของฉันสำหรับสิ่งที่คุ้มค่า

ก่อนอื่นความฉงนสนเท่ห์นั้นไม่เกี่ยวกับลักษณะนิสัยที่คุณคาดเดาบางสิ่งถูก มันมีอะไรเพิ่มเติมเกี่ยวกับการจำแนกลักษณะความซับซ้อนของลำดับสุ่ม

เรากำลังดูปริมาณ

2^{- \sum_{x} p (x) \log_{2} p (x)}

$2^{-\sum_x p(x)\log_2 p(x)}$

ก่อนอื่นให้ยกเลิกการบันทึกและการยกกำลัง

2^{- \sum_{x} p (x) \log_{2} p (x)} = \frac{1}{\prod_{x} p (x)^{p (x)}}

$2^{-\sum_{x} p(x)\log_2 p(x)}=\frac{1}{\prod_{x} p(x)^{p(x)}}$

ฉันคิดว่ามันคุ้มค่าที่จะชี้ให้เห็นว่าความงุนงงไม่แปรปรวนกับฐานที่คุณใช้เพื่อกำหนดเอนโทรปี ดังนั้นในแง่นี้ความงุนงงจึงมีความเป็นเอกลักษณ์มากขึ้น / น้อยลงโดยพลการกว่าเอนโทรปีในการวัด

ความสัมพันธ์กับลูกเต๋า

มาเล่นกับเรื่องนี้กันหน่อย สมมติว่าคุณแค่มองเหรียญ เมื่อเหรียญมีความยุติธรรมเอนโทรปีมีค่ามากที่สุดและความงุนงงมากที่สุดคือ

\frac{1}{{\frac{1}{2}}^{\frac{1}{2}} \times {\frac{1}{2}}^{\frac{1}{2}}} = 2

$\frac{1}{\frac{1}{2}^\frac{1}{2}\times\frac{1}{2}^\frac{1}{2}}=2$

ตอนนี้จะเกิดอะไรขึ้นเมื่อเราดูลูกเต๋าด้าน ความฉงนคือ $N$

\frac{1}{{({\frac{1}{N}}^{\frac{1}{N}})}^{N}} = N

$\frac{1}{\left(\frac{1}{N}^\frac{1}{N}\right)^N}=N$

ดังนั้นความฉงนแสดงถึงจำนวนของด้านของการตายที่ยุติธรรมที่เมื่อรีดสร้างลำดับที่มีเอนโทรปีเดียวกับการกระจายความน่าจะเป็นของคุณ

จำนวนรัฐ

ตกลงดังนั้นตอนนี้เรามีคำจำกัดความหยั่งรู้ของความงุนงงอย่างง่ายมาดูกันอย่างรวดเร็วว่ามันได้รับผลกระทบจากจำนวนสถานะในแบบจำลองอย่างไร ขอเริ่มต้นด้วยการกระจายความน่าจะเป็นมากกว่ารัฐและสร้างแจกแจงความน่าจะใหม่กว่ารัฐเช่นว่าอัตราส่วนความน่าจะเป็นของเดิมรัฐยังคงเหมือนเดิมและรัฐใหม่ที่มีความน่าจะเป็น\ในกรณีที่เริ่มต้นด้วยการตายด้านอย่างยุติธรรมเราอาจจินตนาการว่าการสร้างตายแบบใหม่เพื่อให้ฝ่ายใหม่ได้รับความน่าจะเป็นและดั้งเดิม $N$ $N+1$ $N$ $\epsilon$ $N$ $N + 1$ $\epsilon$ $N$ ด้านรีดด้วยโอกาสที่เท่าเทียมกัน ดังนั้นในกรณีของการแจกแจงความน่าจะเป็นแบบดั้งเดิมโดยพลการหากความน่าจะเป็นของแต่ละรัฐจะได้รับจากการแจกแจงแบบใหม่ของรัฐดั้งเดิมที่ได้รับจากสถานะใหม่จะเป็นและความฉงนสนเท่ห์ใหม่จะได้รับจาก: $x$ $p_x$ $N$

p_{x}^{'} = p_{x} (1 - ϵ)

$p^\prime_x=p_x\left(1-\epsilon\right)$

\frac{1}{ϵ^{ϵ} \prod_{x}^{N} {p_{x}^{'}}^{p_{x}^{'}}} = \frac{1}{ϵ^{ϵ} \prod_{x}^{N} {(p_{x} (1 - ϵ))}^{p_{x} (1 - ϵ)}} = \frac{1}{ϵ^{ϵ} \prod_{x}^{N} p_{x}^{p_{x} (1 - ϵ)} {(1 - ϵ)}^{p_{x} (1 - ϵ)}} = \frac{1}{ϵ^{ϵ} {(1 - ϵ)}^{(1 - ϵ)} \prod_{x}^{N} p_{x}^{p_{x} (1 - ϵ)}}

$\frac{1}{\epsilon^\epsilon\prod_x^N {p^\prime_x}^{p^\prime_x}}=\frac{1}{\epsilon^\epsilon\prod_x^N {\left(p_x\left(1-\epsilon\right)\right)}^{p_x\left(1-\epsilon\right)}} = \frac{1}{\epsilon^\epsilon\prod_x^N p_x^{p_x\left(1-\epsilon\right)} {\left(1-\epsilon\right)}^{p_x\left(1-\epsilon\right)}} = \frac{1}{\epsilon^\epsilon{\left(1-\epsilon\right)}^{\left(1-\epsilon\right)}\prod_x^N p_x^{p_x\left(1-\epsilon\right)}}$

ในขีด จำกัด ที่ปริมาณนี้ใกล้ถึง $\epsilon\rightarrow 0$

\frac{1}{\prod_{x}^{N} {p_{x}}^{p_{x}}}

$\frac{1}{\prod_x^N {p_x}^{p_x}}$

ดังนั้นเมื่อคุณทำให้การกลิ้งด้านหนึ่งของผู้ตายไม่น่าเป็นไปได้มากขึ้นความสับสนจะจบลงด้วยการมองราวกับว่าไม่มีด้านอยู่

— Alex Eftimiades
แหล่งที่มา

3

แน่นอนว่ามีค่า ~ 1.39 เท่านั้น?

— Matt Krause

คุณช่วยอธิบายวิธีรับ ? ฉันทำได้แค่

\prod_{x}^{N} {p_{x}^{'}}^{p_{x}^{'}} = (1 - ϵ)^{1 - ϵ} \prod_{x}^{N} {p_{x}}^{p_{x} (1 - ϵ)}

$\prod_x^N {p^\prime_x}^{p^\prime_x} = (1-\epsilon)^{1-\epsilon}\prod_x^N {p_x}^{p_x(1-\epsilon)}$

\prod_{x}^{N} {p_{x}^{'}}^{p_{x}^{'}} = \prod_{x}^{N} {(p_{x} (1 - ϵ))}^{p_{x} (1 - ϵ)} = \prod_{x}^{N} {(1 - ϵ)}^{p_{x} (1 - ϵ)} \prod_{x}^{N} {p_{x}}^{p_{x} (1 - ϵ)}

$\prod_x^N {p^\prime_x}^{p^\prime_x} = \prod_x^N {(p_x (1-\epsilon)) }^{p_x(1-\epsilon)} = \prod_x^N {(1-\epsilon) }^{p_x(1-\epsilon)} \prod_x^N {p_x }^{p_x(1-\epsilon)}$

— 2740

\prod_x^N\left{(1-\epsilon\right)}^{p_x\left(1-\epsilon\right)}={\left(1-\epsilon\right)}^{\sum_x^N p_x \left(1-\epsilon\right)}={\left(1-\epsilon\right)}^{\left(1-\epsilon\right)\sum_x^N p_x}={\left(1-\epsilon\right)}^{\left(1-\epsilon\right)}

$\prod_x^N\left{(1-\epsilon\right)}^{p_x\left(1-\epsilon\right)}={\left(1-\epsilon\right)}^{\sum_x^N p_x \left(1-\epsilon\right)}={\left(1-\epsilon\right)}^{\left(1-\epsilon\right)\sum_x^N p_x}={\left(1-\epsilon\right)}^{\left(1-\epsilon\right)}$

— Alex Eftimiades

5

จริงๆแล้วมีการเชื่อมต่อที่ชัดเจนระหว่างความน่างงและความเป็นไปได้ในการคาดเดาค่าจากการแจกแจงที่ถูกต้องซึ่งกำหนดโดยองค์ประกอบข้อมูลของทฤษฎี 2ed (2.146): หากและเป็นตัวแปร iid ดังนั้น $X$ $X'$

$P(X=X') \ge 2^{-H(X)} = \frac{1}{2^{H(X)}} = \frac{1}{\text{perplexity}}$ (1)

เพื่ออธิบายความสับสนของการกระจายตัวแบบ X คือ | X | จำนวนขององค์ประกอบ หากเราพยายามที่จะคาดเดาค่าที่ตัวอย่าง iid จากการแจกแจงเครื่องแบบ X จะใช้เพียงแค่ทำการเดา iid จาก X เราจะถูกต้อง 1 / | X | = 1 / ความน่างงของเวลา เนื่องจากการกระจายแบบสม่ำเสมอนั้นยากที่สุดในการคาดเดาค่าจากเราสามารถใช้ 1 / perplexity เป็นค่าประมาณที่ต่ำกว่า / ฮิวริสติกสำหรับการคาดเดาของเราว่าจะถูกต้องบ่อยแค่ไหน

— user49404
แหล่งที่มา

ความฉงนคืออะไร?

ความสัมพันธ์กับลูกเต๋า

จำนวนรัฐ