อัลฟาในการแจกแจงดิริชเลตคืออะไร?

ฉันค่อนข้างใหม่กับสถิติแบบเบย์และฉันได้พบกับการวัดความสัมพันธ์ที่ถูกต้องคือSparCCที่ใช้กระบวนการ Dirichlet ในส่วนหลังของอัลกอริทึม ฉันได้ลองใช้อัลกอริทึมทีละขั้นตอนเพื่อเข้าใจสิ่งที่เกิดขึ้นจริง ๆ แต่ฉันไม่แน่ใจว่าสิ่งที่alphaพารามิเตอร์เวกเตอร์ในการแจกแจง Dirichlet และวิธีการปกติalphaเวกเตอร์พารามิเตอร์?

การดำเนินการอยู่ในPythonการใช้NumPy: https://docs.scipy.org/doc/numpy/reference/generated/numpy.random.dirichlet.html

เอกสารบอกว่า:

alpha: array พารามิเตอร์ของการแจกแจง (k มิติสำหรับตัวอย่างของมิติ k)

คำถามของฉัน:

1. การalphasกระจายมีผลกระทบอย่างไร?;

2. การเป็นalphasปกติได้อย่างไร?; และ

3. จะเกิดอะไรขึ้นเมื่อalphasไม่ใช่จำนวนเต็ม?

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

# Reproducibility
np.random.seed(0)

# Integer values for alphas
alphas = np.arange(10)
# array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])

# Dirichlet Distribution
dd = np.random.dirichlet(alphas) 
# array([ 0.        ,  0.0175113 ,  0.00224837,  0.1041491 ,  0.1264133 ,
#         0.06936311,  0.13086698,  0.15698674,  0.13608845,  0.25637266])

# Plot
ax = pd.Series(dd).plot()
ax.set_xlabel("alpha")
ax.set_ylabel("Dirichlet Draw")

การแจกแจง Dirichletเป็นการแจกแจงความน่าจะเป็นแบบหลายตัวแปรที่อธิบายตัวแปรซึ่งแต่ละและที่ถูกกำหนดโดย เวกเตอร์ของพารามิเตอร์ในเชิงบวกมูลค่าalpha_k) พารามิเตอร์ไม่จำเป็นต้องเป็นจำนวนเต็ม แต่จะต้องเป็นจำนวนจริงบวกเท่านั้น พวกเขาจะไม่ "ปกติ" ในทางใด ๆ พวกเขาเป็นพารามิเตอร์ของการกระจายนี้X 1 , … , X k x i ∈ ( 0 , 1 ) ∑ N i = 1 x i = $k\ge2$$X_1,\dots,X_k$$x_i \in (0,1)$$\sum_{i=1}^N x_i = 1$$\boldsymbol{\alpha} = (\alpha_1,\dots,\alpha_k)$

การแจกแจง Dirichlet เป็นการวางนัยทั่วไปของการแจกแจงเบต้าในหลายมิติดังนั้นคุณสามารถเริ่มต้นด้วยการเรียนรู้เกี่ยวกับการแจกแจงเบต้า Beta คือการกระจาย univariate ของตัวแปรสุ่มแปรโดยพารามิเตอร์และ\สัญชาตญาณที่ดีเกี่ยวกับมันมาถ้าคุณจำได้ว่ามันเป็นคอนจูเกตก่อนสำหรับการกระจายทวินามและถ้าเราสมมติเบต้าแปรก่อนโดยและสำหรับการกระจายทวินามของพารามิเตอร์น่าจะเป็นแล้วกระจายหลังของนี้ยังมี การแจกแจงเบต้าแปรสภาพโดยα β α β พีพีα ' = α + จำนวนความสำเร็จβ ' = β + จำนวนของความล้มเหลวα $X \in (0,1)$$\alpha$$\beta$$\alpha$$\beta$$p$$p$$\alpha' = \alpha + \text{number of successes}$และ{จำนวนของความล้มเหลว} ดังนั้นคุณสามารถคิดถึงและณpseudocounts (พวกเขาไม่จำเป็นต้องเป็นจำนวนเต็ม) ของความสำเร็จและความล้มเหลว (ตรวจสอบหัวข้อนี้ด้วย )$\beta' = \beta + \text{number of failures}$$\alpha$$\beta$

ในกรณีของการกระจาย Dirichlet, มันเป็นคอนจูเกตก่อนสำหรับการกระจายพหุนาม หากในกรณีของการแจกแจงทวินามเราสามารถคิดในแง่ของการวาดลูกบอลสีขาวและสีดำที่มีการแทนที่จากโกศแล้วในกรณีของการกระจาย Multinomial ที่เรากำลังวาดด้วยลูกเปลี่ยนปรากฏในสีซึ่งแต่ละสี ของลูกสามารถวาดด้วยความน่าจะเป็นP_1การกระจาย Dirichlet เป็นคอนจูเกตก่อนหน้าสำหรับความน่าจะเป็นและพารามิเตอร์สามารถคิดเป็นpseudocountsของลูกบอลของแต่ละสีสันนิษฐานว่านิรนัยk P 1$N$$k$p 1 , … , p k α 1 , … , α k α 1 , … , α k α 1 + n 1 , … , α k + n $p_1,\dots,p_k$$p_1,\dots,p_k$$\alpha_1,\dots,\alpha_k$(แต่คุณควรอ่านเกี่ยวกับข้อผิดพลาดของการให้เหตุผลด้วย ) ใน Dirichlet-multinomial modelได้รับการอัพเดตโดยการสรุปรวมกับจำนวนที่สังเกตได้ในแต่ละหมวดหมู่:ในรูปแบบที่คล้ายกันในกรณีของรุ่นเบต้า - ทวินาม$\alpha_1,\dots,\alpha_k$$\alpha_1+n_1,\dots,\alpha_k+n_k$

ค่าที่สูงกว่าของ , "น้ำหนัก" ที่มากขึ้นของและจำนวนที่มากขึ้นของ "มวล" รวมจะถูกกำหนดให้มัน (จำได้ว่าในจำนวนทั้งหมดจะต้องเป็น ) ถ้าทั้งหมดเท่ากันการแจกแจงจะสมมาตร ถ้าสามารถคิดได้ว่าเป็นการลดน้ำหนักที่ผลักไปทางสุดขั้วในขณะที่มันอยู่ในระดับสูงมันจะดึงดูดต่อค่ากลางบางส่วน (ศูนย์กลางในแง่ที่ว่าทุกจุดมีความเข้มข้นรอบตัวไม่ใช่ใน รู้สึกว่ามันเป็นศูนย์กลางสมมาตร) ถ้าคะแนนจะถูกกระจายอย่างสม่ำเสมอX ฉันx 1 + ⋯ + x k = 1 α ฉันα ฉัน < 1 x ฉันx ฉันα 1 = ⋯ = α k = $\alpha_i$$X_i$$x_1+\dots+x_k=1$$\alpha_i$$\alpha_i < 1$$x_i$$x_i$$\alpha_1 = \dots = \alpha_k = 1$

สิ่งนี้สามารถเห็นได้ในแปลงด้านล่างซึ่งคุณสามารถเห็นการแจกแจงแบบดิริแชตขนาดเล็ก (น่าเสียดายที่เราสามารถสร้างแผนการที่เหมาะสมได้มากถึงสามมิติ) โดยกำหนดพารามิเตอร์โดย (a) , (b) (ค) (d)0.2α 1 = α 2 = α 3 = 10 α 1 = 1 , α 2 = 10 , α 3 = 5 α 1 = α 2 = α 3 = $\alpha_1 = \alpha_2 = \alpha_3 = 1$$\alpha_1 = \alpha_2 = \alpha_3 = 10$$\alpha_1 = 1, \alpha_2 = 10, \alpha_3 = 5$$\alpha_1 = \alpha_2 = \alpha_3 = 0.2$

การแจกแจงริชเลต์บางครั้งเรียกว่า"การกระจายตัวของการแจกแจง"เนื่องจากมันอาจถูกมองว่าเป็นการกระจายตัวของความน่าจะเป็น ขอให้สังเกตว่าเนื่องจากแต่ละและแล้ว 's มีความสอดคล้องกับครั้งแรกและครั้งที่สองสัจพจน์ของความน่าจะเป็น ดังนั้นคุณสามารถใช้การแจกแจง Dirichlet เป็นการแจกแจงความน่าจะเป็นสำหรับเหตุการณ์ที่ไม่ต่อเนื่องที่อธิบายโดยการแจกแจงเช่นหมวดหมู่หรือมัลติโนเมียล มันไม่ได้เป็น∑ k i = 1 x i = 1 x i$x_i \in (0,1)$$\sum_{i=1}^k x_i = 1$$x_i$ความจริงที่ว่ามันเป็นการกระจายตัวของการแจกแจงใด ๆ ตัวอย่างเช่นมันไม่เกี่ยวข้องกับความน่าจะเป็นของตัวแปรสุ่มต่อเนื่องหรือแม้กระทั่งบางตัวแปรที่ไม่ต่อเนื่อง (เช่นตัวแปรปัวซองแบบกระจายแบบปัวซงอธิบายถึงความน่าจะเป็น การกระจายของดีริชเลต์เหนือความน่าจะเป็นคุณต้องมีตัวแปรสุ่มจำนวนอนันต์ )$k$

คำเตือน: ฉันไม่เคยทำงานกับการกระจายนี้มาก่อน คำตอบนี้อยู่บนพื้นฐานนี้บทความวิกิพีเดียและการตีความของฉันมัน

---

การแจกแจง Dirichlet เป็นการกระจายความน่าจะเป็นหลายตัวแปรที่มีคุณสมบัติคล้ายกับการแจกแจงแบบเบต้า

PDF ถูกกำหนดดังนี้:

$$\{x_1, \dots, x_K\} \sim\frac{1}{B(\boldsymbol{\alpha})}\prod_{i=1}^Kx_i^{\alpha_i - 1}$$

กับ ,และ1$K \geq 2$$x_i \in (0,1)$$\sum_{i=1}^Kx_i = 1$

หากเราดูการแจกแจงเบต้าที่เกี่ยวข้องอย่างใกล้ชิด:

$$\{x_1, x_2 (=1-x_1)\} \sim \frac{1}{B(\alpha,\beta)}x_1^{\alpha-1}x_2^{\beta-1}$$

เราจะเห็นว่าทั้งสองจะมีการแจกแจงเดียวกันถ้า 2 ดังนั้นขอให้ยึดการตีความของเราในครั้งแรกแล้วคุยไป 2$K=2$$K>2$

---

ในสถิติแบบเบย์การแจกแจงแบบเบต้าจะใช้เป็นคอนจูเกตก่อนหน้าสำหรับพารามิเตอร์ทวินาม (ดูการแจกแจงแบบเบต้า ) ก่อนหน้านี้สามารถกำหนดเป็นความรู้ก่อนหน้านี้ในและ (หรือสอดคล้องกับการแจกแจง Dirichletและ ) หากมีการทดลองใช้ทวินามแล้วมีความสำเร็จและความล้มเหลวของการกระจายหลังเป็นแล้วเป็นดังนี้:และB (ฉันจะไม่ทำสิ่งนี้เพราะนี่อาจเป็นสิ่งแรกที่คุณเรียนรู้ด้วยสถิติแบบเบย์)$\alpha$$\beta$$\alpha_1$$\alpha_2$$A$$B$$\alpha_{1,pos} = \alpha_1 + A$$\alpha_{2,pos}=\alpha_2 + B$

ดังนั้นการแจกแจงแบบเบต้าจึงแทนการแจกแจงแบบหลังบางส่วนบนและซึ่งสามารถตีความได้ว่าเป็นความน่าจะเป็นของความสำเร็จและความล้มเหลวตามลำดับในการแจกแจงแบบทวินาม และยิ่งมีข้อมูล (และ ) มากเท่าไหร่การกระจายของหลังนี้ก็จะแคบลงเท่านั้น$x_1$$x_2 (=1-x_1)$$A$$B$

---

ตอนนี้เรารู้วิธีการแจกแจงแบบแล้วเราสามารถทำให้การกระจายแบบมัลติโนเมียลเป็นแบบกระจายแทนที่จะเป็นแบบทวินาม ซึ่งหมายความว่าแทนที่จะเป็นสองผลลัพธ์ที่เป็นไปได้ (ความสำเร็จหรือความล้มเหลว) เราจะอนุญาตให้มีผลลัพธ์ (ดูว่าทำไมมันถึง generalizes เพื่อ Beta / Binom ถ้า ?) ผลลัพธ์แต่ละค่าเหล่านี้จะมีความน่าจะเป็นซึ่งเท่ากับ 1 ตามความน่าจะเป็น$K=2$$K$$K=2$$K$$x_i$

$\alpha_i$จากนั้นจะมีบทบาทคล้ายกับและในการกระจายเบต้าก่อนหน้านี้สำหรับและได้รับการอัปเดตในลักษณะที่คล้ายกัน$\alpha_1$$\alpha_2$$x_i$

ดังนั้นตอนนี้เพื่อรับคำถามของคุณ:

การalphasกระจายมีผลต่ออย่างไร

การกระจายเป็นที่สิ้นสุดโดยข้อ จำกัดและ1 ตรวจสอบว่าส่วนของพื้นที่มิติได้รับมวลมากที่สุด คุณสามารถเห็นสิ่งนี้ในภาพนี้ (ไม่ฝังที่นี่เพราะฉันไม่ได้เป็นเจ้าของภาพ) ยิ่งข้อมูลมีอยู่ในส่วนหลัง (โดยใช้การตีความนั้น) ยิ่งดังนั้นยิ่งแน่ใจว่าคุณมีค่าของหรือความน่าจะเป็นสำหรับผลลัพธ์แต่ละรายการ ซึ่งหมายความว่าความหนาแน่นจะเข้มข้นมากขึ้น$x_i \in (0,1)$$\sum_{i=1}^Kx_i = 1$$\alpha_i$$K$$\sum_{i=1}^K\alpha_i$$x_i$

การเป็นalphasมาตรฐานได้อย่างไร

การทำให้เป็นมาตรฐานของการแจกแจง (ทำให้แน่ใจว่าอินทิกรัลเท่ากับ 1) ต้องผ่านเทอม :$B(\boldsymbol{\alpha})$

$$B(\boldsymbol{\alpha}) = \frac{\prod_{i=1}^K\Gamma(\alpha_i)}{\Gamma(\sum_{i=1}^K\alpha_i)}$$

อีกครั้งถ้าเราดูที่กรณีเราจะเห็นว่าตัวประกอบ normalizing นั้นเหมือนกับในการแจกแจงแบบเบต้าซึ่งใช้สิ่งต่อไปนี้:$K=2$

$$B(\alpha_1, \alpha_2) = \frac{\Gamma(\alpha_1)\Gamma(\alpha_2)}{\Gamma(\alpha_1+\alpha_2)}$$

สิ่งนี้ขยายไปถึง

$$B(\boldsymbol{\alpha}) = \frac{\Gamma(\alpha_1)\Gamma(\alpha_2)\dots\Gamma(\alpha_K)}{\Gamma(\alpha_1+\alpha_2+\dots+\alpha_K)}$$

จะเกิดอะไรขึ้นเมื่ออัลฟาไม่ใช่จำนวนเต็ม?

การตีความที่ไม่เปลี่ยนแปลงสำหรับแต่อย่างที่คุณเห็นในภาพที่ผมเชื่อมโยงก่อนถ้ามวลของการกระจายสะสมที่ขอบของช่วงสำหรับx_iในมืออื่น ๆ ที่จะเป็นจำนวนเต็มและมีKα i < 1 x i K K ≥ $\alpha_i>1$$\alpha_i < 1$$x_i$$K$$K\geq2$