ทฤษฎีบทของเบย์

22

ฉันได้รับการพยายามที่จะพัฒนาสัญชาตญาณพื้นฐานของการทำความเข้าใจทฤษฎีบท Bayes' ในแง่ของก่อน , หลัง , ความน่าจะเป็นและร่อแร่ความน่าจะเป็น ด้วยเหตุนี้ฉันจึงใช้สมการต่อไปนี้: โดยที่แทนสมมติฐานหรือความเชื่อและแทนข้อมูลหรือหลักฐาน ฉันเข้าใจแนวคิดของคนหลัง - มันเป็นเอนทิตี้แบบรวมที่รวมความเชื่อก่อนหน้านี้และความน่าจะเป็นของเหตุการณ์ สิ่งที่ฉันไม่เข้าใจคือโอกาสที่จะมีความหมายอะไร และทำไมถึงเป็นชายขอบ

P (B | A) = \frac{P (A | B) P (B)}{P (A)}

$P(B|A) = \frac{P(A|B)P(B)}{P(A)}$

A

$A$

B

$B$
น่าจะเป็นในส่วนหรือไม่
หลังจากตรวจสอบแหล่งข้อมูลสองสามข้อฉันพบคำพูดนี้:

ความน่าจะเป็นคือน้ำหนักของเหตุการณ์กำหนดโดยการเกิดของ ...คือความน่าจะเป็นหลังของเหตุการณ์เนื่องจากเหตุการณ์เกิดขึ้น $B$ $A$ $P(B|A)$ $B$ $A$

ข้อความ 2 ข้อข้างต้นดูเหมือนกับฉันเพิ่งเขียนในรูปแบบที่แตกต่างกัน ใครช่วยอธิบายความแตกต่างระหว่างสองคนนี้ได้ไหม?

bayesian likelihood intuition

— Anas Ayubi
แหล่งที่มา

4

คุณพิมพ์ผิด (หรือเข้าใจผิด)

ควรเป็น "สมมติฐานหรือความเชื่อ" และ

ควรเป็น "ข้อมูลหรือหลักฐาน" ในสูตรของคุณ

B

$B$

A

$A$

— gung - Reinstate Monica

1

ดูคำตอบของฉันที่math.stackexchange.com/a/1943255/1505นั่นคือวิธีที่ฉันสิ้นสุดการทำความเข้าใจมันอย่างสังหรณ์ใจ

— Lyndon White

27

แม้ว่าจะมีสี่องค์ประกอบที่ระบุไว้ในกฎหมายของ Bayes ฉันชอบคิดในแง่ของสามองค์ประกอบความคิด:

\underset{2}{\underset{⏟}{P (B | A)}} = \underset{3}{\underset{⏟}{\frac{P (A | B)}{P (A)}}} \underset{1}{\underset{⏟}{P (B)}}

$\underbrace{P(B|A)}_2 = \underbrace{\frac{P(A|B)}{P(A)}}_3 \underbrace{P(B)}_1$

ก่อนคือสิ่งที่คุณเชื่อเกี่ยวกับก่อนที่จะมีการพบชิ้นใหม่และมีความเกี่ยวข้องของข้อมูล (เช่น) $B$ $A$
คนหลังคือสิ่งที่คุณเชื่อ (หรือควรถ้าคุณมีเหตุผล) เกี่ยวกับหลังจากได้รับข้อมูลใหม่และมีความเกี่ยวข้อง $B$
หารโอกาสหารด้วยความน่าจะเป็นชายขอบของชิ้นใหม่ของข้อมูลดัชนีinformativenessของข้อมูลใหม่สำหรับความเชื่อของคุณเกี่ยวกับB $B$

— gung - Reinstate Monica
แหล่งที่มา

19

มีคำตอบที่ดีอยู่แล้วหลายประการ แต่อาจจะเพิ่มสิ่งใหม่ ...

ฉันมักจะคิดถึงกฎของเบย์ในแง่ของความน่าจะเป็นขององค์ประกอบซึ่งสามารถเข้าใจได้ในเชิงเรขาคณิตในแง่ของเหตุการณ์และดังที่แสดงด้านล่าง $A$ $B$

$P(A)$ $P(B)$ $P(A \cup B)=1$ $A$ $B$ $P(A \cap B)$ $A$ $B$

$A$ $B$ $B$ $A \cap B$

P (A | B) = \frac{P (A \cap B)}{P (B)}

$P(A\vert B)=\frac{P(A \cap B)}{P(B)}$

B

$B$

A

$A$

A

$A$

A \cap B

$A \cap B$

P (B | A) = \frac{P (A \cap B)}{P (A)}

$P(B\vert A)=\frac{P(A \cap B)}{P(A)}$

P (B | A) P (A) = P (A \cap B) = P (A | B) P (B)

$P(B\vert A)P(A)=P(A \cap B)=P(A\vert B)P(B)$

p (A)

$p(A)$

p (B)

$p(B)$

(อีกวิธีหนึ่งในการทำความเข้าใจการอภิปรายข้างต้นได้รับคำตอบของคำถามนี้จากมุมมอง "สเปรดชีตการบัญชี" เพิ่มเติม)

— GeoMatt22
แหล่งที่มา

9

@ gung มีคำตอบที่ดี ฉันจะเพิ่มหนึ่งตัวอย่างเพื่ออธิบาย "การเริ่มต้น" ในตัวอย่างโลกแห่งความจริง

$H$ $A$ $E$ $B$

ดังนั้นสูตรคือ

P (H | E) = \frac{P (E | H) P (H)}{P (E)}

$P(H|E) = \frac{P(E|H)P(H)}{P(E)}$

หมายเหตุสามารถเขียนสูตรเดียวกันได้

P (H | E) \propto P (E | H) P (H)

$P(H|E) \propto {P(E|H)P(H)}$

$\propto$ $P(E|H)$ $P(H)$ $P(E)$ $E$

$H \in \{0,1\}$

$1$ $1000$ $P(H=1)=0.001$ $P(H=0)=0.999$

$P(H|E)$

$E\in\{0,1\}$

$P(E=1|H=0)$ $P(E=1|H=1)$

$E=1$

— ไห่เทาดู
แหล่งที่มา

P (H = 0)

$P(H=0)$

0.999

$0.999$

P (H = 1) = 0.001

$P(H=1)=0.001$

1

โปรดทราบว่ากฎของ Bayes คือ

$P(a|b)=\frac{P(b,a)}{P(b)}=\frac{P(b,a)}{P(b)P(a)}P(a)$

สังเกตอัตราส่วน

\frac{P (ข, a)}{P (ข) P (a)} .

$\frac{P(b,a)}{P(b)P(a)}.$

ถ้า $B \perp A$ จากนั้น $P(b,a)=P(b)P(a)$ . มันเกือบจะเหมือนกับบอกเราว่าข้อต่อเบี่ยงเบนไปจากความเป็นอิสระอย่างเต็มที่หรือข้อมูลที่มีร่วมกัน

ที่น่าสนใจบันทึกของอัตราส่วนนี้ยังปรากฏในข้อมูลร่วมกัน:

I (A | B) = \sum_{a, b} P_{} (a, b) \log \frac{P_{} (b, a)}{P (b) P (a)}

$I(A|B) = \sum_{a,b}P_{}(a,b)\mathbf{\log\frac{P_{}(b,a)}{P(b)P(a)}}$

— user0
แหล่งที่มา

0

I often find viewing the theorem as a table, with the possible outcomes for "B" as the rows, and the possible outcomes for "A" as the columns. The joint probabilities $P(A,B)$ are the values for each cell. In this table we have

likelihood = row proportions posterior = column proportions

The prior and marginal are analogously defined, but based on "totals" instead of a particular column

marginal = row total proportions prior = column total proportions

I find this helps me.

— probabilityislogic
แหล่งที่มา