คำถามติดแท็ก dirichlet-distribution

ฉันเริ่มตะลุยกับการใช้งานglmnetกับการถดถอยแบบ LASSOซึ่งผลลัพธ์ของความสนใจของฉันนั้นเป็นแบบขั้วคู่ ฉันได้สร้างกรอบข้อมูลจำลองขนาดเล็กด้านล่าง: age <- c(4, 8, 7, 12, 6, 9, 10, 14, 7) gender <- c(1, 0, 1, 1, 1, 0, 1, 0, 0) bmi_p <- c(0.86, 0.45, 0.99, 0.84, 0.85, 0.67, 0.91, 0.29, 0.88) m_edu <- c(0, 1, 1, 2, 2, 3, 2, 0, 1) p_edu <- c(0, …

77 r  self-study  lasso  regression  interpretation  anova  statistical-significance  survey  conditional-probability  independence  naive-bayes  graphical-model  r  time-series  forecasting  arima  r  forecasting  exponential-smoothing  bootstrap  outliers  r  regression  poisson-distribution  zero-inflation  genetic-algorithms  machine-learning  feature-selection  cart  categorical-data  interpretation  descriptive-statistics  variance  multivariate-analysis  covariance-matrix  r  data-visualization  generalized-linear-model  binomial  proportion  pca  matlab  svd  time-series  correlation  spss  arima  chi-squared  curve-fitting  text-mining  zipf  probability  categorical-data  distance  group-differences  bhattacharyya  regression  variance  mean  data-visualization  variance  clustering  r  standard-error  association-measure  somers-d  normal-distribution  integral  numerical-integration  bayesian  clustering  python  pymc  nonparametric-bayes  machine-learning  svm  kernel-trick  hyperparameter  poisson-distribution  mean  continuous-data  univariate  missing-data  dag  python  likelihood  dirichlet-distribution  r  anova  hypothesis-testing  statistical-significance  p-value  rating  data-imputation  censoring  threshold 

ในอัลกอริทึมแบบจำลองหัวข้อ LDA ฉันเห็นสมมติฐานนี้ แต่ฉันไม่รู้ว่าทำไมจึงเลือกการกระจาย Dirichlet ฉันไม่รู้ว่าเราสามารถใช้การกระจายแบบเครื่องแบบผ่าน Multinomial เป็นคู่ได้หรือไม่?

36 bayesian  dirichlet-distribution  conjugate-prior 

ฉันค่อนข้างใหม่กับสถิติแบบเบย์และฉันได้พบกับการวัดความสัมพันธ์ที่ถูกต้องคือSparCCที่ใช้กระบวนการ Dirichlet ในส่วนหลังของอัลกอริทึม ฉันได้ลองใช้อัลกอริทึมทีละขั้นตอนเพื่อเข้าใจสิ่งที่เกิดขึ้นจริง ๆ แต่ฉันไม่แน่ใจว่าสิ่งที่alphaพารามิเตอร์เวกเตอร์ในการแจกแจง Dirichlet และวิธีการปกติalphaเวกเตอร์พารามิเตอร์? การดำเนินการอยู่ในPythonการใช้NumPy: https://docs.scipy.org/doc/numpy/reference/generated/numpy.random.dirichlet.html เอกสารบอกว่า: alpha: array พารามิเตอร์ของการแจกแจง (k มิติสำหรับตัวอย่างของมิติ k) คำถามของฉัน: การalphasกระจายมีผลกระทบอย่างไร?; การเป็นalphasปกติได้อย่างไร?; และ จะเกิดอะไรขึ้นเมื่อalphasไม่ใช่จำนวนเต็ม? import numpy as np import pandas as pd import matplotlib.pyplot as plt # Reproducibility np.random.seed(0) # Integer values for alphas alphas = np.arange(10) # array([0, 1, 2, 3, …

26 distributions  bayesian  dirichlet-distribution 

สมมติว่าเรามีการกระจาย Dirichlet กับมิติเวกเตอร์พารามิเตอร์alpha_K] ฉันจะวาดตัวอย่าง ( เวกเตอร์ Dimensional) จากการแจกแจงนี้ได้อย่างไร? ฉันต้องการคำอธิบายง่ายๆ→การα = [ α 1 , α 2 , . . , α K ] KKKKα⃗ = [ α1, α2, . . . , αK]α→=[α1,α2,...,αK]\vec\alpha = [\alpha_1, \alpha_2,...,\alpha_K]KKK

25 sampling  dirichlet-distribution 

ดังนั้นคำถามนี้จะยุ่งเล็กน้อย แต่ฉันจะรวมกราฟสีสันเพื่อชดเชย ก่อนอื่นมาที่พื้นหลังของคำถาม พื้นหลัง สมมติว่าคุณมีการแจกแจงพหุคูณแบบหลายมิติแบบมิติที่มีโพรไบท์เท่ากันในประเภทให้เป็นจำนวนปกติ ( ) จากการแจกแจงนั่นคือ:nnnnnnπ=(π1,…,πn)π=(π1,…,πn)\pi = (\pi_1, \ldots, \pi_n)ccc (c1,…,cn)∼Multinomial(1/n,…,1/n)πi=cin(c1,…,cn)∼Multinomial(1/n,…,1/n)πi=cin(c_1, \ldots, c_n) \sim \text{Multinomial}(1/n, \ldots, 1/n) \\ \pi_i = {c_i \over n} ตอนนี้การกระจายทั่วมีการสนับสนุนใน -simplex แต่มีขั้นตอนแบบแยก ตัวอย่างเช่นด้วยการกระจายนี้มีการสนับสนุนดังต่อไปนี้ (จุดสีแดง):ππ\pinnnn=3n=3n = 3 การแจกแจงอื่นที่มีการรองรับที่คล้ายกันคือการแจกแจงแบบ -dimensionalนั่นคือการกระจายแบบสม่ำเสมอทั่วหน่วย simplex ตัวอย่างเช่นนี่คือการสุ่มจับจาก 3-dimesional :nnnDirichlet(1,…,1)Dirichlet(1,…,1)\text{Dirichlet}(1, \ldots, 1)Dirichlet(1,1,1)Dirichlet(1,1,1)\text{Dirichlet}(1, 1, 1) ตอนนี้ฉันมีความคิดว่าการกระจายของจากการแจกแจงอาจมีลักษณะเหมือนวาดจากที่มี discretized การสนับสนุนต่อเนื่องของ\ต่อเนื่องผมมีอยู่ในใจ (และที่ดูเหมือนว่าจะทำงานได้ดี) คือการใช้เวลาในแต่ละจุดในเริมและ "รอบมันออก" เพื่อจุดที่ใกล้ที่สุดที่อยู่ในการสนับสนุนของ\สำหรับ simplex …

24 distributions  bayesian  bootstrap  multinomial  dirichlet-distribution 

ปล่อยให้แท่งที่มีความยาว 1 แตกเป็นชิ้นเล็ก ๆ น้อย ๆ โดยมีการสุ่มk + 1k+1k+1การกระจายตัวของความยาวของส่วนที่ยาวที่สุดคืออะไร? เป็นทางการมากขึ้นให้เป็น IIDและให้เป็นคำสั่งทางสถิติที่เกี่ยวข้องนั่นคือเราเพียงแค่สั่ง ตัวอย่างในลักษณะที่{(k)} ให้ขวา)( ยู1, … คุณk)(ยู1,...ยูk)(U_1, \ldots U_k)ยู( 0 , 1 )ยู(0,1)U(0,1)U ( 1 ) ≤ U ( 2 ) ≤ , … , ≤ U ( k ) Z k = สูงสุด( U ( 1 ) , U ( …

21 distributions  uniform  order-statistics  dirichlet-distribution  maximum 

ให้X 1 , … , X k + 1X1,…,Xk+1X_1,\dots,X_{k+1}เป็นตัวแปรสุ่มอิสระที่ต่างกันซึ่งแต่ละอันมีการแจกแจงแกมม่าที่มีพารามิเตอร์α i , i = 1 , 2 , … , k + 1αi,i=1,2,…,k+1\alpha_i,i=1,2,\dots,k+1แสดงว่าY i = X iX 1 + ⋯ + X k + 1 ,i=1,…,kYi=XiX1+⋯+Xk+1,i=1,…,kY_i=\frac{X_i}{X_1+\cdots+X_{k+1}},i=1,\dots,k, มีการแบ่งส่วนร่วมเป็นDirichlet(α1,α2,…,αk;αk+1)Dirichlet(α1,α2,…,αk;αk+1)\text{Dirichlet}(\alpha_1,\alpha_2,\dots,\alpha_k;\alpha_{k+1}) PDF ร่วมของ( X 1 , … , X k + 1 ) = e …

18 self-study  multivariate-analysis  gamma-distribution  dirichlet-distribution 

เมื่อใช้การสร้างหัวข้อ (Latent Dirichlet Allocation) จำนวนหัวข้อคือพารามิเตอร์อินพุตที่ผู้ใช้ต้องระบุ ฉันคิดว่าเราควรจะมีชุดหัวข้อผู้สมัครที่กระบวนการ Dirichlet มีตัวอย่าง ความเข้าใจของฉันถูกต้องหรือไม่ ในทางปฏิบัติจะตั้งค่าหัวข้อผู้สมัครประเภทนี้ได้อย่างไร

17 machine-learning  bayesian  clustering  text-mining  dirichlet-distribution 

ดังนั้นในการสร้างแบบจำลองข้อความ (ที่ไม่ได้รับอนุญาต) ดังนั้น Latent Dirichlet Allocation (LDA) จึงเป็นแบบจำลอง Bayesian ของ Probabilistic Latent Semantic Analysis (PLSA) เป็นหลัก LDA = PLSA + Dirichlet ก่อนพารามิเตอร์ ความเข้าใจของฉันคือตอนนี้ LDA เป็นอัลกอริธึมอ้างอิงและนำไปใช้ในแพ็คเกจต่าง ๆ ในขณะที่ PLSA ไม่ควรใช้อีก แต่ในการจัดหมวดหมู่ข้อความ (ภายใต้การดูแล) เราสามารถทำสิ่งเดียวกันสำหรับตัวจําแนกหลายกลุ่ม Naive Bayes และวาง Dirichlet ไว้เหนือพารามิเตอร์ แต่ฉันไม่คิดว่าฉันจะเคยเห็นใครทำอย่างนั้นและเวอร์ชั่น "พอยต์ประมาณ" ของ Naive Bayes multinomial ดูเหมือนจะเป็นเวอร์ชั่นที่ติดตั้งในแพ็คเกจส่วนใหญ่ มีเหตุผลอะไรบ้าง?

15 bayesian  multinomial  prior  naive-bayes  dirichlet-distribution 

มันง่ายในการสร้างตัวแปรสุ่มที่มีการแจกแจงไดริชเลตโดยใช้ตัวแปรแกมม่าที่มีพารามิเตอร์สเกลเดียวกัน ถ้า: Xi∼Gamma(αi,β)Xi∼Gamma(αi,β) X_i \sim \text{Gamma}(\alpha_i, \beta) แล้ว: (X1∑jXj,…,Xn∑jXj)∼Dirichlet(α1,…,αn)(X1∑jXj,…,Xn∑jXj)∼Dirichlet(α1,…,αn) \left(\frac{X_1}{\sum_j X_j},\; \ldots\; , \frac{X_n}{\sum_j X_j}\right) \sim \text{Dirichlet}(\alpha_1,\;\ldots\;,\alpha_n) ปัญหา จะเกิดอะไรขึ้นถ้าพารามิเตอร์ของสเกลไม่เท่ากัน Xi∼Gamma(αi,βi)Xi∼Gamma(αi,βi) X_i \sim \text{Gamma}(\alpha_i, \beta_i) แล้วการกระจายตัวของตัวแปรนี้คืออะไร? (X1∑jXj,…,Xn∑jXj)∼?(X1∑jXj,…,Xn∑jXj)∼? \left(\frac{X_1}{\sum_j X_j},\; \ldots\; , \frac{X_n}{\sum_j X_j}\right) \sim \; ? สำหรับฉันมันคงเพียงพอที่จะรู้คุณค่าที่คาดหวังของการกระจายตัวนี้ ฉันต้องการสูตรพีชคณิตแบบปิดโดยประมาณที่สามารถประเมินได้อย่างรวดเร็วโดยคอมพิวเตอร์ สมมุติว่าการประมาณด้วยความเที่ยงตรง 0.01 นั้นเพียงพอแล้ว คุณสามารถสันนิษฐานได้ว่า: αi,βi∈Nαi,βi∈N \alpha_i, \beta_i \in \mathbb{N} หมายเหตุในระยะสั้นงานคือการหาการประมาณของอินทิกรัลนี้: f(α⃗ ,β⃗ )=∫Rn+x1∑jxj⋅∏jβαjjΓ(αj)xαj−1je−βjxjdx1…dxnf(α→,β→)=∫R+nx1∑jxj⋅∏jβjαjΓ(αj)xjαj−1e−βjxjdx1…dxn …

14 expected-value  dirichlet-distribution  gamma-distribution  integral 

ในบทความวิกิพีเดียเรื่อง Laplace smoothing (หรือการปรับให้เรียบขึ้น) กล่าวกันว่าจากมุมมองแบบเบย์ สิ่งนี้สอดคล้องกับค่าคาดหวังของการแจกแจงหลังโดยใช้การแจกแจง Dirichlet แบบสมมาตรพร้อมพารามิเตอร์เหมือนก่อนαα\alpha ฉันสับสนเกี่ยวกับความจริงที่ว่า ใครช่วยให้ฉันเข้าใจว่าทั้งสองสิ่งนั้นเท่ากัน? ขอบคุณ!

11 bayesian  smoothing  dirichlet-distribution  laplace-smoothing 

ฉันมีคำถามเกี่ยวกับการกระจายหลัง Dirichlet กำหนดฟังก์ชั่นความน่าจะเป็นพหุนามเป็นที่รู้จักกันว่าหลังเป็นที่คือจำนวนครั้งที่เราได้เห็นสังเกตN ฉันฉันทีเอชDir(αi+Ni)Dir(αi+Ni)Dir({\alpha_i + N_i})NiNiN_iithithi^{th} จะเกิดอะไรขึ้นถ้าเราเริ่มต้นที่จะลดลงสำหรับให้คงที่ ? ดูเหมือนว่าจากรูปแบบของหลังที่บางจุดจะหยุดส่งผลกระทบต่อหลังทั้งหมด แต่มันจะไม่ถูกหรือไม่ที่จะบอกว่าเมื่อเราสร้างเล็กมากความน่าจะเป็นของการเคลื่อนที่ไปยังมุมหนึ่งของซิมเพล็กซ์และด้านหลังต้องได้รับผลกระทบมากขึ้นใช่ไหม ข้อความใดที่ถูกต้องD α ααα\alphaDDDαα\alphaαα\alpha

11 dirichlet-distribution 

ฉันจะพยายามอธิบายปัญหาในมือโดยทั่วไปที่สุด ฉันกำลังสร้างแบบจำลองการสังเกตเป็นการกระจายอย่างมีนัยสำคัญกับพารามิเตอร์ความน่าจะเป็นเวกเตอร์ทีต้า จากนั้นผมถือว่า theta พารามิเตอร์เวกเตอร์ต่อไปนี้ก่อน Dirichletกระจายกับพารามิเตอร์\α1, α2, … , αkα1,α2,…,αk\alpha_1,\alpha_2,\ldots,\alpha_k เป็นไปได้หรือไม่ที่จะกำหนดให้มีการแจกแจงเหนือพารามิเตอร์ ? มันจะต้องเป็นการกระจายหลายตัวแปรเช่นการแจกแจงแบบแบ่งหมวดหมู่และแบบดิริชเล็ตหรือไม่? ดูเหมือนว่าอัลฟาจะเป็นบวกเสมอดังนั้นแกมม่าไฮเพอร์ไพน์จึงควรทำงานα1,α2, … ,αkα1,α2,…,αk\alpha_1,\alpha_2,\ldots,\alpha_k ไม่แน่ใจว่ามีใครลองปรับรุ่น overparametrized (อาจจะ) แต่ดูเหมือนว่าสมเหตุสมผลสำหรับฉันที่จะคิดว่าอัลฟ่าไม่ควรได้รับการแก้ไข แต่มาจากการกระจายแกมม่า โปรดพยายามให้ข้อมูลอ้างอิงบางอย่างแก่ฉัน, ให้ข้อมูลเชิงลึกเกี่ยวกับวิธีที่ฉันสามารถลองวิธีการดังกล่าวในทางปฏิบัติ

10 categorical-data  multinomial  dirichlet-distribution  hierarchical-bayesian  dirichlet-process 

ในเอกสาร AlphaGo ZeroและAlphaZeroของ DeepMind พวกเขาอธิบายการเพิ่มสัญญาณรบกวนDirichletให้กับความน่าจะเป็นก่อนหน้าของการกระทำจากโหนดรูท (สถานะกระดาน) ใน Monte Carlo Tree Search: การสำรวจเพิ่มเติมทำได้โดยการเพิ่มเสียง Dirichlet ให้กับความน่าจะเป็นก่อนหน้านี้ในรูทโหนดโดยเฉพาะโดยที่และ ; เสียงรบกวนนี้ทำให้มั่นใจได้ว่าการเคลื่อนไหวทั้งหมดอาจถูกลองใช้ แต่การค้นหาอาจยังคงเป็นการลบล้างการเคลื่อนไหวที่ไม่ดีs0s0s_0P( s , a ) = ( 1 - ε )พีa+ εηaP(s,a)=(1−ε)pa+εηaP(s, a) = (1−\varepsilon)p_a+ \varepsilon \eta_aη~ Dir ( 0.03 )η∼Dir(0.03)\eta \sim \text{Dir}(0.03)ε = 0.25ε=0.25\varepsilon = 0.25 (AlphaGo Zero) และ: เพิ่ม Dirichlet noiseในความน่าจะเป็นก่อนหน้านี้ในโหนดรูท นี่เป็นสัดส่วนในสัดส่วนผกผันกับจำนวนการเคลื่อนไหวทางกฎหมายโดยประมาณในตำแหน่งทั่วไปค่าของสำหรับหมากรุกโชกิและโกตามลำดับDir …

10 machine-learning  neural-networks  dirichlet-distribution 

ฉันกำลังดูกระดาษแบบจำลองเอฟเฟกต์แบบสุ่มของ Dirichlet และสเปคของโมเดลมีดังนี้: YผมψผมG=Xผมβ+ψผม+εผม∼ กรัม~ D P( α ,G0)Yผม=Xผมβ+ψผม+εผมψผม~GG~DP(α,G0) \begin{align*}y_{i} &= X_{i}\beta + \psi_{i} + \epsilon_{i}\\ \psi_{i} &\sim G \\ G &\sim \mathcal{DP}\left(\alpha, G_{0}\right) \end{align*} ที่ไหน αα\alpha เป็นพารามิเตอร์ขนาดและ G0G0G_{0}เป็นตัวชี้วัดพื้นฐาน ต่อมาในบทความแนะนำว่าเรารวมฟังก์ชั่นเข้ากับการวัดพื้นฐานG0G0G_{0} เช่น ∫ฉ(YJ| θ,ψJ)dG0(ψJ) .∫ฉ(YJ|θ,ψJ)dG0(ψJ). \int f\left(y_{j}|\theta, \psi_{j}\right)\, dG_{0}\left(\psi_{j}\right).การวัดพื้นฐานใน Dirichlet ประมวลผลเป็น cdf หรือว่าเป็น pdf หรือไม่? จะเกิดอะไรขึ้นหากการวัดพื้นฐานคือ Gaussian

9 bayesian  dirichlet-distribution  dirichlet-process  nonparametric-bayes  measure-theory