ความน่าจะเป็นและการกระจายแบบมีเงื่อนไขสำหรับการวิเคราะห์แบบเบย์

เราสามารถเขียนทฤษฎีบทของเบย์ได้

p (θ | x) = \frac{f (X | θ) p (θ)}{\int_{θ} f (X | θ) p (θ) d θ}

$p(\theta|x) = \frac{f(X|\theta)p(\theta)}{\int_{\theta} f(X|\theta)p(\theta)d\theta}$

โดยที่คือด้านหลังคือการแจกแจงแบบมีเงื่อนไขและเป็นค่าก่อนหน้า $p(\theta|x)$ $f(X|\theta)$ $p(\theta)$

หรือ

p (θ | x) = \frac{L (θ | x) p (θ)}{\int_{θ} L (θ | x) p (θ) d θ}

$p(\theta|x) = \frac{L(\theta|x)p(\theta)}{\int_{\theta} L(\theta|x)p(\theta)d\theta}$

โดยที่คือด้านหลังเป็นฟังก์ชันความน่าจะเป็นและเป็นหน้าที่ก่อน $p(\theta|x)$ $L(\theta|x)$ $p(\theta)$

คำถามของฉันคือ

ทำไมการวิเคราะห์แบบเบย์ทำโดยใช้ฟังก์ชันความน่าจะเป็นและไม่ใช่การแจกแจงแบบมีเงื่อนไข
คุณสามารถพูดด้วยคำพูดว่าโอกาสและการแจกแจงแบบมีเงื่อนไขแตกต่างกันอย่างไร? ฉันรู้ว่าโอกาสไม่ได้เป็นการกระจายความน่าจะเป็นและtheta) $L(\theta|x) \propto f(X|\theta)$

bayesian likelihood

— kzoo
แหล่งที่มา

ไม่มีความแตกต่าง! ความน่าจะเป็นคือการแจกแจงแบบมีเงื่อนไขก็เป็นไปตามสัดส่วนซึ่งเป็นสิ่งที่สำคัญ

f (X | θ)

$f(X | \theta)$

— kjetil b halvorsen

พารามิเตอร์ก่อนมีความหนาแน่นtheta) ถ้าสำนึกของมีค่าขณะที่เป็นค่าสังเกตของตัวแปรสุ่มแล้วค่าของฟังก์ชั่นความน่าจะเป็นเป็นอย่างแม่นยำค่า ความหนาแน่นเงื่อนไขของxแตกต่างก็คือสำหรับทุกความเข้าใจของ\อย่างไรก็ตามเป็นฟังก์ชั่นของ

Θ

$\Theta$

p_{Θ} (θ)

$p_\Theta(\theta)$

Θ

$\Theta$

θ

$\theta$

x

$x$

X

$X$

L (θ ∣ x)

$L(\theta\mid x)$

f (x ∣ θ)

$f(x\mid \theta)$

f_{X ∣ Θ} (x ∣ Θ = θ)

$f_{X\mid\Theta}(x\mid\Theta=\theta)$

X

$X$

\int_{- \infty}^{\infty} f_{X ∣ Θ} (x ∣ Θ = θ) d x = 1

$\int_{-\infty}^{\infty}f_{X\mid\Theta}(x\mid\Theta=\theta)dx=1$

Θ

$\Theta$

θ

$\theta$ (และคง )คือไม่ได้ความหนาแน่น:

x

$x$

L (θ ∣ x)

$L(\theta\mid x)$

\int L (θ ∣ x) d θ \neq 1

$\int L(\theta\mid x)d\theta\neq 1$

— ดิลลิป Sarwate

คำตอบ:

สมมติว่าคุณมีตัวแปรสุ่ม (ซึ่งจะสังเกตเห็นค่าในการทดสอบของคุณ) ซึ่งมีความเป็นอิสระตามเงื่อนไขเนื่องจากมีความหนาแน่นตามเงื่อนไขสำหรับ n นี้เป็นของคุณ (สมมติฐาน) สถิติ (เงื่อนไข) รูปแบบและความหนาแน่นเงื่อนไขด่วนสำหรับแต่ละค่าที่เป็นไปได้ของ (สุ่ม) พารามิเตอร์ความไม่แน่นอนของคุณเกี่ยวกับค่าของ 's, ก่อนที่คุณจะสามารถเข้าถึงใด ๆ ข้อมูลจริง ด้วยความช่วยเหลือของความหนาแน่นตามเงื่อนไขคุณสามารถคำนวณความน่าจะเป็นตามเงื่อนไขเช่น $X_1,\dots,X_n$ $\Theta=\theta$ $f_{X_i\mid\Theta}(\,\cdot\mid\theta)$ $i=1,\dots,n$ $\theta$ $\Theta$ $X_i$

P {X_{1} \in B_{1}, \dots, X_{n} \in B_{n} ∣ Θ = θ} = \int_{B_{1} \times \dots \times B_{n}} \prod_{i = 1}^{n} f_{X_{i} ∣ Θ} (x_{i} ∣ θ) d x_{1} \dots d x_{n},

$P\{X_1\in B_1,\dots,X_n\in B_n\mid \Theta=\theta\} = \int_{B_1\times\dots\times B_n} \prod_{i=1}^n f_{X_i\mid\Theta}(x_i\mid\theta)\,dx_1\dots dx_n \, ,$ สำหรับแต่ละ\

θ

$\theta$

หลังจากที่คุณสามารถเข้าถึงตัวอย่างจริงของค่า (การรับรู้) ของที่ได้รับการสังเกตในการทดสอบครั้งเดียวของคุณการเปลี่ยนแปลงสถานการณ์: ไม่มีความไม่แน่นอนอีกต่อไปเกี่ยวกับ, สมมติว่าสุ่มถือว่าค่าในพื้นที่พารามิเตอร์บาง\ตอนนี้คุณกำหนดสำหรับค่าที่ทราบ (คงที่)ฟังก์ชั่น โดย โปรดทราบว่าหรือที่เรียกว่า "ฟังก์ชันความน่าจะเป็น" เป็นฟังก์ชันของ $(x_1,\dots,x_n)$ $X_i$ $X_1,\dots,X_n$ $\Theta$ $\Pi$ $(x_1,\dots,x_n)$

L_{x_{1}, \dots, x_{n}} : Π \to R

$L_{x_1,\dots,x_n} : \Pi \to \mathbb{R} \,$

L_{x_{1}, \dots, x_{n}} (θ) = \prod_{i = 1}^{n} f_{X_{i} ∣ Θ} (x_{i} ∣ θ) .

$L_{x_1,\dots,x_n}(\theta)=\prod_{i=1}^n f_{X_i\mid\Theta}(x_i\mid\theta) \, .$

L_{x_{1}, \dots, x_{n}}

$L_{x_1,\dots,x_n}$

θ

$\theta$ \ในสถานการณ์ "หลังจากที่คุณมีข้อมูล" ความน่าจะเป็นสำหรับแบบจำลองตามเงื่อนไขที่เรากำลังพิจารณาข้อมูลทั้งหมดเกี่ยวกับพารามิเตอร์อยู่ในตัวอย่างนี้x_n) ในความเป็นจริงมันเกิดขึ้นที่เป็นสถิติที่เพียงพอสำหรับ\

L_{x_{1}, \dots, x_{n}}

$L_{x_1,\dots,x_n}$

Θ

$\Theta$

(x_{1}, \dots, x_{n})

$(x_1,\dots,x_n)$

L_{x_{1}, \dots, x_{n}}

$L_{x_1,\dots,x_n}$

Θ

$\Theta$

ตอบคำถามของคุณเพื่อทำความเข้าใจความแตกต่างระหว่างแนวคิดของความหนาแน่นของเงื่อนไขและความเป็นไปได้โปรดจำไว้ว่าคำจำกัดความทางคณิตศาสตร์ของพวกเขา (ซึ่งแตกต่างกันอย่างชัดเจน: พวกเขาเป็นวัตถุทางคณิตศาสตร์ที่แตกต่างกันด้วยคุณสมบัติที่แตกต่างกัน) ตัวอย่าง "วัตถุ / แนวคิดในขณะที่ความน่าจะเป็นคือ" after-sample " ฉันหวังว่าทั้งหมดนี้จะช่วยให้คุณตอบว่าทำไมการอนุมานแบบเบย์ (ใช้วิธีการวางซึ่งฉันไม่คิดว่าเหมาะ) จะทำ "ใช้ฟังก์ชันความน่าจะเป็นและไม่ใช่การแจกแจงแบบมีเงื่อนไข": เป้าหมายของการอนุมานแบบเบส์คือ เพื่อคำนวณการแจกแจงหลังและเพื่อให้เป็นไปตามเงื่อนไขของข้อมูลที่สังเกตได้

— เซน
แหล่งที่มา

ฉันคิดว่า Zen นั้นถูกต้องเมื่อเขาบอกว่าโอกาสและความน่าจะเป็นตามเงื่อนไขนั้นแตกต่างกัน ในฟังก์ชันความน่าจะเป็นθไม่ใช่ตัวแปรสุ่มดังนั้นจึงแตกต่างจากความน่าจะเป็นแบบมีเงื่อนไข

— Martine

สัดส่วนถูกนำมาใช้เพื่อลดความซับซ้อนของการวิเคราะห์

โดยทั่วไปการวิเคราะห์แบบเบส์จะกระทำผ่านคำแถลงที่ง่ายขึ้นของทฤษฎีบทของเบย์ซึ่งเราทำงานเฉพาะในแง่ของสัดส่วนที่เกี่ยวข้องกับพารามิเตอร์ของผลประโยชน์ สำหรับโมเดล IID มาตรฐานที่มีความหนาแน่นของการสุ่มตัวอย่างเราสามารถแสดงสิ่งนี้เป็น: $f(X|\theta)$

p (θ | x) \propto L_{x} (θ) \cdot p (θ) L_{x} (θ) \propto \prod_{i = 1}^{n} f (x_{i} | θ) .

$p(\theta|\mathbf{x}) \propto L_\mathbf{x}(\theta) \cdot p(\theta) \quad \quad \quad \quad L_\mathbf{x}(\theta) \propto \prod_{i=1}^n f(x_i|\theta).$

งบคชกรรมปรับปรุงนี้จะทำงานในแง่ของสัดส่วนที่เกี่ยวกับพารามิเตอร์\มันใช้สองการทำให้ง่ายขึ้นตามสัดส่วน: หนึ่งในการใช้ฟังก์ชั่นความน่าจะเป็น (สัดส่วนกับความหนาแน่นของการสุ่มตัวอย่าง) และหนึ่งในด้านหลัง (สัดส่วนกับผลิตภัณฑ์ของความน่าจะเป็นและก่อนหน้า) เนื่องจากด้านหลังเป็นฟังก์ชันความหนาแน่น (ในกรณีต่อเนื่อง) กฎบรรทัดฐานจึงกำหนดค่าคงที่การคูณที่จำเป็นในการให้ความหนาแน่นที่ถูกต้อง (เช่นเพื่อรวมเข้ากับหนึ่ง) $\theta$

การใช้วิธีการนี้ได้สัดส่วนมีประโยชน์ในการช่วยให้เราสามารถละเลยองค์ประกอบคูณใด ๆ ของฟังก์ชั่นที่ไม่ได้ขึ้นอยู่กับพารามิเตอร์\สิ่งนี้มีแนวโน้มที่จะทำให้ปัญหาง่ายขึ้นโดยอนุญาตให้เราปัดส่วนที่ไม่จำเป็นของคณิตศาสตร์ออกไปและรับคำสั่งที่ง่ายขึ้นของกลไกการอัพเดต นี่ไม่ใช่ข้อกำหนดทางคณิตศาสตร์ (เนื่องจากกฎของเบย์ทำงานในรูปแบบที่ไม่เป็นสัดส่วนด้วย) แต่มันทำให้สิ่งต่าง ๆง่ายขึ้นสำหรับสมองสัตว์เล็ก ๆ ของเรา $\theta$

ตัวอย่างการประยุกต์ใช้:พิจารณารูปแบบการ IID กับข้อมูลที่สังเกต1) เพื่อความสะดวกในการวิเคราะห์ของเราเราได้กำหนดสถิติและซึ่งเป็นช่วงเวลาตัวอย่างสองช่วงแรก สำหรับรุ่นนี้เรามีการสุ่มตัวอย่างความหนาแน่น: $X_1, ..., X_n \sim \text{IID N}(\theta, 1)$ $\bar{x} = \tfrac{1}{n} \sum_{i=1}^n x_i$ $\bar{\bar{x}} = \tfrac{1}{n} \sum_{i=1}^n x_i^2$

\begin{aligned} f (x | θ) = \prod_{i = 1}^{n} f (x_{i} | θ) & = \prod_{i = 1}^{n} N (x_{i} | θ, 1) \\ = \prod_{i = 1}^{n} \frac{1}{\sqrt{2 π}} \exp (- \frac{1}{2} (x_{i} - θ)^{2}) \\ = (2 π)^{n / 2} \exp (- \frac{1}{2} \sum_{i = 1}^{n} (x_{i} - θ)^{2}) . \\ = (2 π)^{n / 2} \exp (- \frac{n}{2} (θ^{2} - 2 \bar{x} θ + \bar{\bar{x}})) \\ = (2 π)^{n / 2} \exp (- \frac{n \bar{\bar{x}}}{2}) \cdot \exp (- \frac{n}{2} (θ^{2} - 2 \bar{x} θ)) \end{aligned}

$\begin{equation} \begin{aligned} f(\mathbf{x}|\theta) = \prod_{i=1}^n f(x_i|\theta) &= \prod_{i=1}^n \text{N}(x_i|\theta,1) \\[6pt] &= \prod_{i=1}^n \frac{1}{\sqrt{2 \pi}} \exp \Big( -\frac{1}{2} (x_i-\theta)^2 \Big) \\[6pt] &= (2 \pi)^{n/2} \exp \Big( -\frac{1}{2} \sum_{i=1}^n (x_i-\theta)^2 \Big). \\[6pt] &= (2 \pi)^{n/2} \exp \Big( -\frac{n}{2} ( \theta^2 - 2\bar{x} \theta + \bar{\bar{x}} ) \Big) \\[6pt] &= (2 \pi)^{n/2} \exp \Big( -\frac{n \bar{\bar{x}}}{2} \Big) \cdot \exp \Big( -\frac{n}{2} ( \theta^2 - 2\bar{x} \theta ) \Big) \\[6pt] \end{aligned} \end{equation}$

ตอนนี้เราสามารถทำงานโดยตรงกับความหนาแน่นของการสุ่มตัวอย่างนี้หากเราต้องการ แต่แจ้งให้ทราบว่าทั้งสองเป็นครั้งแรกในแง่ความหนาแน่นนี้คงคูณที่ไม่ได้ขึ้นอยู่กับ\มันเป็นเรื่องที่น่ารำคาญที่ต้องติดตามคำศัพท์เหล่านี้ดังนั้นเราจะต้องกำจัดมันออกไปดังนั้นเราจึงมีฟังก์ชั่นความน่าจะเป็น: $\theta$

L_{x} (θ) = \exp (- \frac{n}{2} (θ^{2} - 2 \bar{x} θ)) .

$L_\mathbf{x}(\theta) = \exp \Big( -\frac{n}{2} ( \theta^2 - 2\bar{x} \theta ) \Big).$

นั่นทำให้สิ่งต่าง ๆ ง่ายขึ้นเล็กน้อยเนื่องจากเราไม่จำเป็นต้องติดตามคำศัพท์เพิ่มเติม ตอนนี้เราสามารถใช้กฎของเบย์โดยใช้สมการฉบับเต็มรวมถึงตัวส่วนที่เป็นส่วนประกอบ แต่อีกครั้งสิ่งนี้ทำให้เราต้องติดตามค่าคงที่ทวีคูณที่น่ารำคาญที่ไม่ได้ขึ้นอยู่กับ (น่ารำคาญกว่าเพราะเราต้องแก้ปัญหาอินทิกรัลเพื่อให้ได้) ดังนั้นลองใช้กฎของเบย์ในรูปแบบสัดส่วน การใช้คอนจูเกตก่อนหน้า , ด้วยพารามิเตอร์ความแม่นยำที่รู้จักบางอย่าง , เราจะได้ผลลัพธ์ดังต่อไปนี้ (โดยทำตารางให้สมบูรณ์ ): $\theta$ $\theta \sim \text{N}(0,\lambda_0)$ $\lambda_0>0$

\begin{aligned} p (θ | x) & \propto L_{x} (θ) \cdot p (θ) \\ = \exp (- \frac{n}{2} (θ^{2} - 2 \bar{x} θ)) \cdot N (θ | 0, λ_{0}) \\ \propto \exp (- \frac{n}{2} (θ^{2} - 2 \bar{x} θ)) \cdot \exp (- \frac{λ_{0}}{2} θ^{2}) \\ = \exp (- \frac{1}{2} (n θ^{2} - 2 n \bar{x} θ + λ_{0} θ^{2})) \\ = \exp (- \frac{1}{2} ((n + λ_{0}) θ^{2} - 2 n \bar{x} θ)) \\ = \exp (- \frac{n + λ_{0}}{2} (θ^{2} - 2 \frac{n \bar{x}}{n + λ_{0}} θ)) \\ \propto \exp (- \frac{n + λ_{0}}{2} (θ - \frac{n}{n + λ_{0}} \cdot \bar{x})^{2}) \\ \propto N (θ | \frac{n}{n + λ_{0}} \cdot \bar{x}, n + λ_{0}) . \end{aligned}

$\begin{equation} \begin{aligned} p(\theta|\mathbf{x}) &\propto L_\mathbf{x}(\theta) \cdot p(\theta) \\[10pt] &= \exp \Big( -\frac{n}{2} ( \theta^2 - 2\bar{x} \theta ) \Big) \cdot \text{N}(\theta|0,\lambda_0) \\[6pt] &\propto \exp \Big( -\frac{n}{2} ( \theta^2 - 2\bar{x} \theta ) \Big) \cdot \exp \Big( -\frac{\lambda_0}{2} \theta^2 \Big) \\[6pt] &= \exp \Big( -\frac{1}{2} ( n\theta^2 - 2n\bar{x} \theta + \lambda_0 \theta^2 ) \Big) \\[6pt] &= \exp \Big( -\frac{1}{2} ( (n+\lambda_0) \theta^2 - 2n\bar{x} \theta ) \Big) \\[6pt] &= \exp \Big( -\frac{n+\lambda_0}{2} \Big( \theta^2 - 2 \frac{n\bar{x}}{n+\lambda_0} \theta \Big) \Big) \\[6pt] &\propto \exp \Big( -\frac{n+\lambda_0}{2} \Big( \theta - \frac{n}{n+\lambda_0} \cdot \bar{x} \Big)^2 \Big) \\[6pt] &\propto \text{N}\Big( \theta \Big| \frac{n}{n+\lambda_0} \cdot \bar{x}, n+\lambda_0 \Big). \\[6pt] \end{aligned} \end{equation}$

จากการทำงานนี้เราจะเห็นได้ว่าการกระจายตัวด้านหลังเป็นสัดส่วนกับความหนาแน่นปกติ ตั้งแต่หลังจะต้องเป็นความหนาแน่นนี้หมายความว่าหลังเป็นที่หนาแน่นปกติ:

p (θ | x) = N (θ | \frac{n}{n + λ_{0}} \cdot \bar{x}, n + λ_{0}) .

$p(\theta|\mathbf{x}) = \text{N}\Big( \theta \Big| \frac{n}{n+\lambda_0} \cdot \bar{x}, n+\lambda_0 \Big).$

ด้วยเหตุนี้เราจะเห็นว่าพารามิเตอร์ส่วนหลังพารามิเตอร์นั้นถูกกระจายด้วยค่าเฉลี่ยหลังและความแปรปรวนที่กำหนดโดย $\theta$

E (θ | x) = \frac{n}{n + λ_{0}} \cdot \bar{x} V (θ | x) = \frac{1}{n + λ_{0}} .

$\mathbb{E}(\theta|\mathbf{x}) = \frac{n}{n+\lambda_0} \cdot \bar{x} \quad \quad \quad \quad \mathbb{V}(\theta|\mathbf{x}) = \frac{1}{n+\lambda_0}.$

ทีนี้การกระจายตัวด้านหลังที่เราได้มานั้นมีการรวมตัวกันอย่างต่อเนื่องที่ด้านหน้า (ซึ่งเราสามารถหาได้ง่ายโดยมองหารูปแบบของการแจกแจงแบบปกติ ) แต่สังเกตว่าเราไม่ต้องกังวลเกี่ยวกับค่าคงที่ทวีคูณ - ค่าคงที่การคูณของเราลบออก (หรือนำเข้า) ค่าคงที่การคูณเมื่อใดก็ตามที่ทำให้คณิตศาสตร์ง่ายขึ้น ผลลัพธ์เดียวกันสามารถรับได้ในขณะที่ติดตามค่าคงที่แบบหลายค่า แต่นี่คือสิ่งที่ยุ่งเหยิงมาก

— Ben - Reinstate Monica
แหล่งที่มา

ฉันคิดว่าคำตอบของ Zen จะบอกคุณจริงๆว่าแนวคิดเรื่องฟังก์ชันความน่าจะเป็นและความหนาแน่นของค่าของตัวแปรสุ่มแตกต่างกันอย่างไร ทางคณิตศาสตร์ในฐานะที่เป็นฟังก์ชันของทั้ง xและθพวกมันเหมือนกันและในแง่นั้นโอกาสที่จะถูกมองว่าเป็นความหนาแน่นของความน่าจะเป็น ความแตกต่างที่คุณชี้ไปในสูตรสำหรับการแจกแจงหลังเบย์เป็นเพียงความแตกต่างที่น่าสังเกต แต่ความละเอียดอ่อนของความแตกต่างนั้นได้ถูกอธิบายไว้อย่างดีในคำตอบของเซน $_i$

ปัญหานี้เกิดขึ้นในคำถามอื่น ๆ ที่กล่าวถึงในเว็บไซต์นี้เกี่ยวกับฟังก์ชั่นความน่าจะเป็น นอกจากนี้ความคิดเห็นอื่น ๆ โดย kjetil และ Dilip ก็ดูเหมือนจะสนับสนุนสิ่งที่ฉันพูด

— Michael R. Chernick
แหล่งที่มา